Развитие продукта, добавление в него новых фишек и идей – это неотъемлемая часть бизнеса. Но будем реалистами, не каждое нововведение повысит конверсию на сайте или положительно повлияет на узнаваемость продукта среди вашей целевой аудитории.
Проведение A/B тестирований как раз и существует для проверки работоспособности гипотез.
Основные принципы A/B тестирований
Давайте для начала разберемся, как это вообще работает:
- Выдвигаем гипотезу о том, что какое-то изменение (например, смена цвета кнопки «Оформить заказ») положительно повлияет на итоговую конверсию сайта.
- Создаем копию сайта/посадочной страницы с изменениями, от которых мы ожидаем роста эффективности.
- Аудиторию сайта делим на две равные группы – первой группе показываем исходный сайт, второй группе показываем измененный вариант.
- Оцениваем конверсию каждого варианта.
- Определяем победителя!
В теории все выглядит невероятно просто, не правда ли?
Но это впечатление ошибочно и мы расскажем, почему именно.
Количество – это важно
Обязательно проверьте, что тестирование проводится на достаточной выборке из аудитории сайта. Очень часто, при делении пользователей на группы, охватывается только 1-5% аудитории, что, конечно, не является достоверной оценкой эффективности теста.
Ведь кто готов принять решение, влияющее на бизнес в целом, на основе мнения малой доли клиентов?
В интернете можно найти достаточное количество инструментов для корректной оценки, например, тут.
Распределение аудитории
Следующий важный шаг – это равномерное распределение аудитории между группами. И под равномерным распределением подразумевается, что доли пользователей по городам, используемым браузерам, операционным системам, социально-демографическим характеристикам – все они должны быть идентичны.
Предположим, что в одной группе у вас преобладает аудитория с мобильными устройствами, а в другой с ПК. Будут ли итоги тестирования верными, если в верстке мобильной версии сайта будет допущена ошибка, из-за чего упадет процент конверсии с iOS?
Конечно, нет.
Нужно смотреть глубже
Подробный анализ полученных данных статистики невероятно важен. Особенно, если речь идет о крупном проекте, с большим охватом разносторонней аудитории. Предположим, что по итогам тестирования мы наблюдаем рост конверсии в заказ. Но что произойдет, если добавить дополнительный срез данных? Например, «Браузер» или «Тип устройств»?
Вполне возможно, что на какой-то площадке или для какой-то аудитории, ваша гипотеза не работает и критично важно понять это на стадии пост-тест анализа, а не после релиза.
Сезонность?
И пожалуйста, всегда обращайте внимание на даты запуска тестирования. Мы не рекомендуем запускать его перед гендерными праздниками или в праздничные дни. В некоторых случаях это также могут быть кратковременные сезонные всплески – например, период перехода на зимнюю резину для шиномонтажа.
Также важно выделить достаточно времени на тест, ведь на спрос могут повлиять даже такие показатели как даты выплат премий или зарплат, а это дополнительный стимул к покупке дорогих товаров.
Не стоит забывать и о времени принятия решения о покупке или о времени заключения сделки. Ведь невозможно договориться о дизайн-проекте квартиры за пару дней, не правда ли?
В любом случае, не бойтесь экспериментировать и стремиться к лучшему, на благо вашего бизнеса и ваших клиентов. А мы, в свою очередь, будем рады помочь вам с этим!
