![Первухин Артем [KINETICA]](/upload/startups/l_55531c7c5c526.jpg)
Почему A/B-тесты лгут, и как получить точный результат
На первый взгляд, с A/B-тестами в email-маркетинге все просто. Вы делаете две версии письма, рассылаете по разным группам подписчиков и ждете результат. Вариант с лучшими показателями отправляете по всей базе.
Но если вы не учли размер выборки или поменяли слишком много элементов в письме, есть риск получить недостоверный результат. Вы будете думать, что сделали идеальную рассылку, ведь это подтверждено цифрами. А пользователи — раздражаться и отправлять вас в спам.
В статье разберемся, как этого избежать и получить достоверные результаты тестирования. Внутри найдете бонус — удобный шаблон для реестра гипотез, чтобы не запутаться в результатах.
Сделали рассылку после тестирования, но показатели не растут? Смотрите почему
При любом тестировании важно учитывать статистическую значимость, ее обозначает показатель p-value. Она означает вероятность того, что выборка соответствует всей аудитории, а результаты теста не получились случайно. Обычно необходимым значением p-value считается 95%, а очень хорошим — 99%.
Рассмотрим на примере. Представьте, что у вас есть база на 4000 пользователей. Вы решили протестировать две версии тем — с эмоджи и без. Первое письмо открыли 265 человек, второе — 250. Технически победа присуждается первому варианту. Но любой калькулятор статистической значимости покажет, что достоверность такой проверки около 70%. Для нас это слишком высокий риск ошибиться. Обычно перед запуском тестов на любом проекте мы рассчитываем размер выборки на своём онлайн-калькуляторе, но вы можете использовать сервисы типа Mindbox. Вбиваем средний показатель, ожидаемый прирост, достоверность не ниже 95% и получаем необходимое количество пользователей для проверки. Так у нас получается не только проверить, достаточно ли у нас аудитории для анализа, но и при большей базе подписчиков выставить ограничение и уйти на A/B/C-тестирование. А что делать тем, у кого в базе нет столько подписчиков? Тоже проверять, но более широкие концепции. Плюс с маленькой выборкой тестирование нужно проводить несколько раз. Понятно, что вы не будете постоянно рассылать письмо с одной и той же темой. Но можно отправить несколько писем с темами, похожими по оформлению или структуре, например, с указанием дедлайна акции или без него. Через несколько рассылок вы поймете, какие письма больше нравятся аудитории. Я рекомендую начинать тестирование с показателей, которые влияют на Open Rate. Ведь если письмо не откроют, все остальное бессмысленно. В первую очередь стоит определить: К примеру — нужно определить подходящий день для рассылки. На проекте федеральной сети товаров для творчества мы проводили такое тестирование. С одной стороны, в субботу и воскресенье люди отдыхают и в целом меньше открывают письма. С другой — хобби занимаются как раз в выходные, а значит, можно своевременно предложить нужный товар. Сверстали письмо и разослали его одной группе подписчиков в понедельник, другой — к выходным. Разница между вариантами оказалась незначительной. Но при высокой достоверности — а у нас она была 99% — признаем ее значимой. А значит, делаем рассылку с понедельника по четверг, чтобы получить бОльший Open Rate. Когда определились с базой, можно переходить к тестам, которые влияют на Click Rate, вот что мы пробуем: Измеряем ключевые метрики, например, Open Rate, Click Rate, показатель отписок и жалоб, а также конверсии в покупку или подписку и LTV. На проверку одной гипотезы уходит в среднем два-три дня. Но что делать, если сроки горят? Есть один лайфхак. Сейчас расскажу. Чтобы добиться серьезного улучшения показателей, одного теста не хватит. Для каждого клиента мы проводим от 5 до 20 проверок. На это нужно время, в среднем от 10 дней до полутора месяцев на проекте. Но бывает, что времени на раскачку нет. Тогда быстро запуститься поможет архив проведенных тестов. Мы бережно храним данные по каждому проекту. Работаем в спредшите. В него вносим: Этот формат мы опробовали на десятках клиентов. Информация обо всех проектах хранится в одной папке. Каждый специалист имеет к ней доступ и может посмотреть результаты тестов в похожих компаниях. Реестр много раз выручал в условиях дедлайна. Делимся с вами шаблоном. Сохраняйте себе и используйте в работе Бороться за внимание подписчиков всё сложнее. Каждый день люди получают десятки писем и открывают только те, которые соответствуют их вкусам. Разобраться в предпочтениях помогают A/B-тесты. И чтобы не ошибиться в процессе: Правильно проведенное тестирование поможет нарастить Open и Click Rate и привлечь бизнесу больше лидов. Если хотите, чтобы мы помогли прокачать вашу рассылку, пишите нам в Телеграм.
Если база больше 50 000 подписчиков, можно провести не A/B, а A/B/C-тестирование. Тогда 50% аудитории тестируют две версии рассылки, а оставшиеся 50% получат победивший вариант. То есть лучшую рассылку получат 75% пользователей. А значит — увеличивается вероятность получить больше конверсий.
Что действительно стоит протестировать в письмах. Берите на вооружение
Важно, чтобы прогнозируемые изменения действительно влияли на показатель. Если вы меняете тему письма, это должно изменить открываемость, а если контент — кликабельность или дочитываемость. Показатель должен быть измеряемым в абсолютных числах в определенный промежуток времени. Например, 8000 переходов по ссылке за сутки. Измерить можно открываемость, кликабельность, количество отписок и читаемость, но нельзя — лояльность или любовь ;)
Данные — наше всё. Ведите и храните реестр гипотез, чтобы не тратить время и деньги на ранее протестированное
Подытожим
