Главное Свежее Вакансии Образование
Выбор редакции:
1 438 7 В избр. Сохранено
Авторизуйтесь
Вход с паролем

7 из 8 A/B тестов не работают. И вот почему

Красная или зеленая? A/B тестирование знает, какой должна быть кнопка "Купить". Или нет? Небольшая колонка о том, как зародился величайший миф тестов, и что делать, когда знаешь правду.

Перевели интересный пост о той части A/B тестирования, про которую все молчат.

Все слышали о том, что такое A/B тестирование и как этот инструмент помогает повышать конверсии. Но знаете ли вы, что огромное количество тестов заканчивается ничем?

Слишком часто бессмысленное тестирование преподносит неоднозначные данные. Конечно, некоторые тесты действительно дают реальный, значительный результат. Это именно те кейсы, которые скрываются за заголовками: «Мы всего лишь изменили цвет кнопки и конверсия возросла на 38%!».

Все эти истории успеха скрывают настоящую статистику A/B тестирования. Лишь 1 из 8 тестов дает значительный результат. Тем не менее многие до сих пор думают, что тестирование — простой и быстрый способ улучшить показатели. Кажется, что проведя несколько тестов, вы наконец-то найдете правильный цвет кнопки и конверсии как по волшебству возрастут на 38%. Начинается бесконечная череда тестов с малозаметным результатом, которые заканчиваются полным разочарованием. Ну, и где же этот скачок в 38%?

Не сдавайтесь. Если вы проводите A/B тестирование, у вас всегда будет несколько неудачных тестов. Но постепенно, проводя хорошие тесты, вы сведете количество безрезультатных к минимуму. Вдумчивое тестирование действительно помогает улучшить продукт.

b_56baca4f226a9.jpg

Кажется, будто после каждого теста вы узнаете что-то новое, но это не так. И это нормально, согласитесь, навряд ли кто-то решит написать в своем блоге о том, как он провел три теста и получил нулевой результат. На самом деле разница кроется не в успехе А или В конкретного теста, а в том, как изменяется шанс, что вы получите похожий результат или результат с большой разницей в показателях после серии тестов.

Представьте, вы подбрасываете две монетки, каждую по двадцать раз. У монеты A орел выпадает 12 раз, а у монеты В — 9. Вы же не будете утверждать, что нашли монету, у которой на 33% чаще выпадает орел. Этот пример показывает, что очень часто разница между вариантами А и В — это всего лишь воля случая, а не реальное улучшение показателей.

Совсем недавно у меня было собственное бессмысленное тестирование. Запуская email рассылку я использовал два заголовка: «Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?» и, вдохновленный рассказами о том, как название компании увеличивает open rate, второй вариант «Mixpanel: Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?». В результате я получил разницу в 0, 02%. Второй заголовок дал мне всего лишь 20 дополнительных просмотров…

Что же нужно было сделать, чтобы получить более внятный результат?

Мое тестирование оказалось бессмысленным, потому что оно не было частью взвешенной стратегии, которая последовательно задает вопросы аудитории, помогая лучше понять ее потребности.

Смысл в том, чтобы проводить последовательное тестирование и вносить незначительные на первый взгляд изменения. Так вы сможете действительно увеличить общие показатели итогового варианта по сравнению с первым, когда все только начиналось.

Все-таки красная или зеленая? Поделитесь вашей историей тестирования в комментариях.=)

Читайте в нашем блоге:

Инвентаризация контента. Как получить дешевый органический трафик

Дашборд для SEO-специалиста

Основы статистики для веб-аналитика: 15 типов распределения вероятностей

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Олег Агапов
Эмм... Так почему же 7 из 8 не работают? И что делать, чтобы работало?
Последовательное тестирование - это как?
"а в том, как изменяется шанс" - и как же?
Ответить
Digital Bandito
Агентство интернет-рекламы и школа для предпринимателей
Валерия Макарова
Думаю, проблема в том, что большая часть тестов проводится без стратегического обоснования гипотез. Прочитал кейс об изменении одного элемента сайта, пошел потестил. В результате (в большинстве случаев) получил минимальную разницу вместо обещанного взрыва заказов.
Тестирование лучше проводиться не по наитию и точечными ударами, а основываясь на статистике GA и поведении пользователей. Это и будет последовательное тестирование.
Ответить
AgriChain
AgriChain - комплексная онлайн система IT-решений для управления агробизнесом
Панченко Андрей
Толково ... но мне кажется пропорция может быть чуть другая...
Ответить
Finpeople
Официальная страница ООО "Финпипл"
Олег Михалевич
Здравствуйте. Не против будете, если утащим на www.marpeople.com со всеми ссылками?
Ответить
Digital Bandito
Агентство интернет-рекламы и школа для предпринимателей
Foreseer
Data Mining для вашего бизнеса
Ван Гугенхайм
Если на сайт заходит меньше тысячи человек в день, про А/Б тесты и думать не стоит, результаты будут неверными. Чем больше выборка аудитории тем точнее получатся тесты, да все так просто.
Ответить
Limarev Ivan
Вполне разумно прибегнуть к помощи психологии.
Если принять теорию о том, что люди все таки разные,и их условно можно поделить на N-ное количество групп.
То правильно будет выделить псих.портрет потенциального клиента,после этого не полениться и написать 15-20 клиентам,собрать их данные(психологического уклона,деятельность,интересы,мировоззрение и т.д.) и от этого отталкиваясь лепить тест.
А так при должном опыте и знание структуры и работы психики человека,можно и без опросов это делать.
Результаты явно будет превосходить,А/Б которые сделаны в слепую.
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.