5 способов улучшить А/В тестирование
Маркетологи в большинстве случаев запускают А/В тестирование, чтобы выяснить, какой формат E-mail рассылки имеет большую открываемость, лендинг какого вида пользователи находят более привлекательным и какого цвета CTA более эффективный. Но иногда возникает необходимость узнать ответ на вопрос другого рода: «Как протестировать улучшение в сравнение с "ничего-не-деланием"?».
Например. Вы запустили e-mail рассылку, в которой предлагаете вашим клиентам скидку 20% на «КСБ55». Чтобы определить, насколько успешно прошла акция, нужно знать количество клиентов, которые воспользовались скидкой и совершили покупку, и сколько бы из них совершили туже покупку, но без скидки. Если 100 человек собиралось накачать мышцы, они в любом случае купили бы ваш оффер. И получается, что вы зря дали скидку.
При грамотно спланированном эксперименте с контрольной группой можно достаточно точно спрогнозировать эффективность такого рода кампании. Достаточно сложно определить условия эксперимента, но в итоге можно получить реальное значение ROI вашей РК.
Рассмотрим 5 правил эффективного эксперимента по А/В тестированию.
1. Размер имеет значение
Четко определите размер контрольной группы. При этом нельзя уменьшать ее до размеров исключительно потенциальных клиентов, которая почти 100% купят оффер. Это должны быть разные люди. Как заинтересованные, так и те, кто подумает прежде, чем сделать покупку. Найдя такую золотую середину, разбейте ее пополам. И получите две контрольные группы.
2. Все равны
Если есть возможность, необходимо проследить за тем, чтобы в каждой из групп было приблизительно одинаковое количество испытуемых с одинаковыми характеристиками. Например, если первая контрольная группа содержит 10 женщин, 20 мужчин, в возрасте 21-34, со среднемесячным доходом от $500, которые ходят в спорт зал больше года, то и вторая контрольная группа должна иметь аналогичный набор.
3. Без вариантов
Четко определите цель тестирования. Если вы испытываете влияние скидки на повышение продаж, то никаких других факторов, которые могут повлиять на решение контрольных групп, быть не должно. Так, если одна группа получает каждую неделю рассылку, то вторая должна получить такую же рассылку. Важно, чтобы настрой обоих групп и факторы влияния до теста были одинаковыми.
4. Одно время, одно место
Помимо того, что одинаковые условия должны быть созданы искусственно, те же условия должны быть и вокруг клиентов в жизни. Нельзя набрать контрольные группы из разных городов. Или сравнивать результаты одной группы в текущем месяце, а второй – в следующем.
5. Отслеживание метрик
И одно из главных правил: четко установить метрики для отслеживания. Показатели, которые имеют для вас значение, вот основная цель тестирования. На них будут основаны выводы. Поэтому, убедитесь, прежде чем начать экспериментировать, что вы четко понимаете, какие характеристики будете отслеживать, считать и анализировать. Это усложняется тем, что в момент эксперимента одна контрольная группа не получить от вас письма (не увидит рекламы об акции). То есть, невозможно будет посчитать клики, переходы, посещение лендинга, коэффициент конверсии и прибыль. И поиск путей отслеживания метрик для этой группы зависит только от ваших возможностей.
Подборка сервисов для эффективного А/В тестирования в следующей статье)
AdvanceTS - это сервис автоматизации работы с тизерными сетями и инструмент анализа рекламы из социальных сетей. Если вы до сих пор не знакомы с его функционалом, берите бесплатный доступ!
Кодовая фраза в нашу тех. поддержку: “Хочу доступ!”
