Станислав Шмагло

А/B-тестирования и их подводные камни

А/B-тестирования и их подводные камни

Развитие продукта, добавление в него новых фишек и идей – это неотъемлемая часть бизнеса. Но будем реалистами, не каждое нововведение повысит конверсию на сайте или положительно повлияет на узнаваемость продукта среди вашей целевой аудитории.

Проведение A/B тестирований как раз и существует для проверки работоспособности гипотез.

Основные принципы A/B тестирований

Давайте для начала разберемся, как это вообще работает:

  1. Выдвигаем гипотезу о том, что какое-то изменение (например, смена цвета кнопки «Оформить заказ») положительно повлияет на итоговую конверсию сайта.
  2. Создаем копию сайта/посадочной страницы с изменениями, от которых мы ожидаем роста эффективности.
  3. Аудиторию сайта делим на две равные группы – первой группе показываем исходный сайт, второй группе показываем измененный вариант.
  4. Оцениваем конверсию каждого варианта.
  5. Определяем победителя!

В теории все выглядит невероятно просто, не правда ли?

Но это впечатление ошибочно и мы расскажем, почему именно.

Количество – это важно

Обязательно проверьте, что тестирование проводится на достаточной выборке из аудитории сайта. Очень часто, при делении пользователей на группы, охватывается только 1-5% аудитории, что, конечно, не является достоверной оценкой эффективности теста.

Ведь кто готов принять решение, влияющее на бизнес в целом, на основе мнения малой доли клиентов?

В интернете можно найти достаточное количество инструментов для корректной оценки, например, тут.

Распределение аудитории

Следующий важный шаг – это равномерное распределение аудитории между группами. И под равномерным распределением подразумевается, что доли пользователей по городам, используемым браузерам, операционным системам, социально-демографическим характеристикам – все они должны быть идентичны.

Предположим, что в одной группе у вас преобладает аудитория с мобильными устройствами, а в другой с ПК. Будут ли итоги тестирования верными, если в верстке мобильной версии сайта будет допущена ошибка, из-за чего упадет процент конверсии с iOS?

Конечно, нет.

Нужно смотреть глубже

Подробный анализ полученных данных статистики невероятно важен. Особенно, если речь идет о крупном проекте, с большим охватом разносторонней аудитории. Предположим, что по итогам тестирования мы наблюдаем рост конверсии в заказ. Но что произойдет, если добавить дополнительный срез данных? Например, «Браузер» или «Тип устройств»?

Вполне возможно, что на какой-то площадке или для какой-то аудитории, ваша гипотеза не работает и критично важно понять это на стадии пост-тест анализа, а не после релиза.

Сезонность?

И пожалуйста, всегда обращайте внимание на даты запуска тестирования. Мы не рекомендуем запускать его перед гендерными праздниками или в праздничные дни. В некоторых случаях это также могут быть кратковременные сезонные всплески – например, период перехода на зимнюю резину для шиномонтажа.

Также важно выделить достаточно времени на тест, ведь на спрос могут повлиять даже такие показатели как даты выплат премий или зарплат, а это дополнительный стимул к покупке дорогих товаров.

Не стоит забывать и о времени принятия решения о покупке или о времени заключения сделки. Ведь невозможно договориться о дизайн-проекте квартиры за пару дней, не правда ли?

 

В любом случае, не бойтесь экспериментировать и стремиться к лучшему, на благо вашего бизнеса и ваших клиентов. А мы, в свою очередь, будем рады помочь вам с этим!