A B тестирование: что это такое, этапы, ошибки и инструменты

В общем, A/B-тестирование – это эффективный способ проверить полезность вносимых на сайте или в приложении изменений до их окончательного внедрения в финальный продукт. По названию можно предположить, что идет тестирование каких-то двух объектов. В нашем случае речь будет идти про веб-сайты, но описываемую методику можно применить к интерфейсам приложений, почтовым рассылкам, лендингам и т.п.

Разновидностью A/B-тестирования является многовариантное тестирование. Выбранный сервис A/B-тестирования покажет, когда тесты достигли статистической значимости на установленном уровне достоверности. Он также сообщит вероятность того, что у расчета есть недостатки, а полученные результаты — некорректные. Длительность тестирования напрямую зависит от необходимого объема выборки, поскольку по итогу важно получить не просто результат, а статистически значимый результат. Результат не должен быть случайным из-за неоднородности выборки. Важно получить высокую вероятность того, что итоги теста достоверные.

Можно ли проводить несколько A/B-тестов одновременно?

Это большое изменение и его стоит проверить в A/B-тесте (чтобы точно понимать что мы улучшим, а не ухудшим нашу метрику). А/Б тест — эксперимент, который проводят продакты (и не только) для проверки гипотез. Чтобы понять, принесет ли пользу конкретное изменение, нужно на практике сравнить первоначальный вариант с модифицированным и проанализировать результаты. Чтобы удостовериться в точности результатов будущих тестов, необходимо проверять работоспособность системы перед началом тестирования. Конверсия в примере действительно повысилась с 4% до 10% при статистической значимости в 95%.

• Так вы увидите, что принесло больше всего клиентов, а какие объявления просто слили бюджет.
• Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.
• Предполагается, что это может увеличить конверсию в 2-2,5 раза.
• Важность анализируемой функции или страницы для бизнеса.
• В Яндекс Метрике, если выводимый показатель статистически значимый, он окрашивается в красный или зеленый цвет.

A/B-тесты помогут собрать поведенческую статистику и остановиться на том, что не приведёт к падению конверсий. Увеличение конверсий невозможно, если вы ничего не меняете на сайте. Хотите, чтобы больше клиентов становилось вашими постоянными покупателями, — сделайте так, чтобы a/b тестирование сайтом было удобно пользоваться. Дизайн страницы, фотографии товаров, tone of voice описаний также влияют на длительность нахождения на ресурсе и на количество покупок. Если вы маркетолог или владелец бизнеса, вы должны уметь проводить эксперименты с использование AB тестов.

Инструменты для A/B-тестирования

Стаб — это тестовый объект, который имитирует внешние воздействия (запросы). Допустим, мы написали класс, который получает данные о погоде из другого сервиса и возвращает их в приложение. Чтобы во время тестов не отправлять реальные запросы сервису, можно написать стаб — заглушку, которая будет формировать запрос и возвращать фиксированное значение температуры. Mock-тестирование — это испытание программы, при котором реальные её компоненты заменяются «дублёрами» — тестовыми объектами. Ими могут быть фейковые базы данных, почтовые серверы и другие сложные системы. Тестовые объекты лишь подражают настоящим, но не содержат реальной логики или данных.

Менеджеры могут понять состояние, бизнес-логику, когда какие-то события отправляются в систему, а тестирование по графу ориентируется в том, что происходит, чтобы тестировать новые фичи. Таким образом, если в эксперименте одна экспериментальная группа , то получаем ожидаемый результат – разбить всех пользователей на две равные группы. В этой статье мы затронем один из аспектов множественного тестирования, а именно определение оптимальных размеров групп в случае общей контрольной группы. Докажем теоретически, что предлагаемый способ является оптимальным и сравним его с другими популярными подходами. Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее.

Заголовки страниц и копирайтинг в целом

Многовариантное тестирование более сложное, но позволяет анализировать воздействие на аудиторию не только каждого элемента по отдельности, но и их сочетаний друг с другом. Это классический способ, в котором сравниваются два варианта (контрольный и тестовый) исследуемого объекта, различающиеся только одним параметром. Например, страница лендинга с синей и желтой кнопкой призыва к действию (см. скриншот). Эта разновидность теста эффективна в случае точечных изменений, не затрагивающих глобально работу сайта. A/Б тестирование позволяет оценить эффективность изменений веб-страниц.

Здесь тоже не требуется знание html для управления интерфейсом. Сделан удобный графический редактор, в котором можно вносить изменения любых элементов страницы. Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга.

Как долго проводить А/Б тесты?

Если нет данных о показателях, которые отражают ситуацию на сегодняшний день, не стоит проводить А/В-тестирование. CTR — более чувствительная метрика, так как для изменения значения требуются только клики. Клик не всегда является показателем выигрыша одного из тестируемых вариантов, потому что пользователь может кликать рандомно. СTR считают, когда тестируют рекламное объявление или дизайн баннера.

Обозначьте показатель, на основании которого вы будете принимать решение, какой вариант тестирования сработал лучше. Если цель — увеличить число просмотров видеоролика, то показатель, соответственно, число просмотров видеоролика или количество кликов на кнопку запуска видео и т. Если на сайте мало трафика, скажем 2000 визитов и 5 заявок в месяц, то, скорее всего, пока нет смысла тратить время на тестирование. Проведение A/B-теста на таких условиях может занять месяцы до получения статистически значимого результата.

A/B тесты – что это такое и как их проводить

Готовый продукт предлагали потребителям и таким образом определяли, какое сочетание ингредиентов нравится им больше всего. A/B тестирование – отличный способ проверить, дадут ли вносимые изменения нужный результат до того, как они будут внедрены в конечный продукт. Если вы хотите получать больше конверсий, время от времени вам потребуется проводить A/B-тестирование. Это позволит не только сэкономить на оптимизации сайта или приложения, но и поможет лучше узнать аудиторию. Если вы одновременно поменяете цвет кнопки и её местоположение, то не поймёте, почему пользователи среагировали лучше или хуже. Выполняйте изменения последовательно, чтобы не потратить зря время и бюджет.

Не проводите A/B-тестирование незначительных изменений

Специализируется на монетизации, онлайн-трафике и веб-разработке. Может оказаться, что исходный вариант A – лучше, чем тестовый вариант B. В этом случае, оставляйте исходный вариант и думайте над тем, что можно улучшить, а затем проводите следующий A/B тест. Предположим, что человек с большей вероятностью задержится на сайте и приобретет букет, если сразу увидит ассортимент. Поэтому для теста уменьшим высоту меню и уберем весь лишний текст.