7 из 8 A/B тестов не работают. И вот почему
Перевели интересный пост о той части A/B тестирования, про которую все молчат.
Все слышали о том, что такое A/B тестирование и как этот инструмент помогает повышать конверсии. Но знаете ли вы, что огромное количество тестов заканчивается ничем?
Слишком часто бессмысленное тестирование преподносит неоднозначные данные. Конечно, некоторые тесты действительно дают реальный, значительный результат. Это именно те кейсы, которые скрываются за заголовками: «Мы всего лишь изменили цвет кнопки и конверсия возросла на 38%!».
Все эти истории успеха скрывают настоящую статистику A/B тестирования. Лишь 1 из 8 тестов дает значительный результат. Тем не менее многие до сих пор думают, что тестирование — простой и быстрый способ улучшить показатели. Кажется, что проведя несколько тестов, вы наконец-то найдете правильный цвет кнопки и конверсии как по волшебству возрастут на 38%. Начинается бесконечная череда тестов с малозаметным результатом, которые заканчиваются полным разочарованием. Ну, и где же этот скачок в 38%?
Не сдавайтесь. Если вы проводите A/B тестирование, у вас всегда будет несколько неудачных тестов. Но постепенно, проводя хорошие тесты, вы сведете количество безрезультатных к минимуму. Вдумчивое тестирование действительно помогает улучшить продукт.
Кажется, будто после каждого теста вы узнаете что-то новое, но это не так. И это нормально, согласитесь, навряд ли кто-то решит написать в своем блоге о том, как он провел три теста и получил нулевой результат. На самом деле разница кроется не в успехе А или В конкретного теста, а в том, как изменяется шанс, что вы получите похожий результат или результат с большой разницей в показателях после серии тестов.
Представьте, вы подбрасываете две монетки, каждую по двадцать раз. У монеты A орел выпадает 12 раз, а у монеты В — 9. Вы же не будете утверждать, что нашли монету, у которой на 33% чаще выпадает орел. Этот пример показывает, что очень часто разница между вариантами А и В — это всего лишь воля случая, а не реальное улучшение показателей.
Совсем недавно у меня было собственное бессмысленное тестирование. Запуская email рассылку я использовал два заголовка: «Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?» и, вдохновленный рассказами о том, как название компании увеличивает open rate, второй вариант «Mixpanel: Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?». В результате я получил разницу в 0, 02%. Второй заголовок дал мне всего лишь 20 дополнительных просмотров…
Что же нужно было сделать, чтобы получить более внятный результат?
Мое тестирование оказалось бессмысленным, потому что оно не было частью взвешенной стратегии, которая последовательно задает вопросы аудитории, помогая лучше понять ее потребности.
Смысл в том, чтобы проводить последовательное тестирование и вносить незначительные на первый взгляд изменения. Так вы сможете действительно увеличить общие показатели итогового варианта по сравнению с первым, когда все только начиналось.
Все-таки красная или зеленая? Поделитесь вашей историей тестирования в комментариях.=)
Читайте в нашем блоге:
Инвентаризация контента. Как получить дешевый органический трафик
Основы статистики для веб-аналитика: 15 типов распределения вероятностей