Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Главное Свежее   Проекты
Рекомендуем
Продвинуть свой проект
1 204 7 В избр. Сохранено
Авторизуйтесь
Вход с паролем

7 из 8 A/B тестов не работают. И вот почему

Красная или зеленая? A/B тестирование знает, какой должна быть кнопка "Купить". Или нет? Небольшая колонка о том, как зародился величайший миф тестов, и что делать, когда знаешь правду.

Перевели интересный пост о той части A/B тестирования, про которую все молчат.

Все слышали о том, что такое A/B тестирование и как этот инструмент помогает повышать конверсии. Но знаете ли вы, что огромное количество тестов заканчивается ничем?

Слишком часто бессмысленное тестирование преподносит неоднозначные данные. Конечно, некоторые тесты действительно дают реальный, значительный результат. Это именно те кейсы, которые скрываются за заголовками: «Мы всего лишь изменили цвет кнопки и конверсия возросла на 38%!».

Все эти истории успеха скрывают настоящую статистику A/B тестирования. Лишь 1 из 8 тестов дает значительный результат. Тем не менее многие до сих пор думают, что тестирование — простой и быстрый способ улучшить показатели. Кажется, что проведя несколько тестов, вы наконец-то найдете правильный цвет кнопки и конверсии как по волшебству возрастут на 38%. Начинается бесконечная череда тестов с малозаметным результатом, которые заканчиваются полным разочарованием. Ну, и где же этот скачок в 38%?

Не сдавайтесь. Если вы проводите A/B тестирование, у вас всегда будет несколько неудачных тестов. Но постепенно, проводя хорошие тесты, вы сведете количество безрезультатных к минимуму. Вдумчивое тестирование действительно помогает улучшить продукт.

b_56baca4f226a9.jpg

Кажется, будто после каждого теста вы узнаете что-то новое, но это не так. И это нормально, согласитесь, навряд ли кто-то решит написать в своем блоге о том, как он провел три теста и получил нулевой результат. На самом деле разница кроется не в успехе А или В конкретного теста, а в том, как изменяется шанс, что вы получите похожий результат или результат с большой разницей в показателях после серии тестов.

Представьте, вы подбрасываете две монетки, каждую по двадцать раз. У монеты A орел выпадает 12 раз, а у монеты В — 9. Вы же не будете утверждать, что нашли монету, у которой на 33% чаще выпадает орел. Этот пример показывает, что очень часто разница между вариантами А и В — это всего лишь воля случая, а не реальное улучшение показателей.

Совсем недавно у меня было собственное бессмысленное тестирование. Запуская email рассылку я использовал два заголовка: «Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?» и, вдохновленный рассказами о том, как название компании увеличивает open rate, второй вариант «Mixpanel: Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?». В результате я получил разницу в 0, 02%. Второй заголовок дал мне всего лишь 20 дополнительных просмотров…

Что же нужно было сделать, чтобы получить более внятный результат?

Мое тестирование оказалось бессмысленным, потому что оно не было частью взвешенной стратегии, которая последовательно задает вопросы аудитории, помогая лучше понять ее потребности.

Смысл в том, чтобы проводить последовательное тестирование и вносить незначительные на первый взгляд изменения. Так вы сможете действительно увеличить общие показатели итогового варианта по сравнению с первым, когда все только начиналось.

Все-таки красная или зеленая? Поделитесь вашей историей тестирования в комментариях.=)

Читайте в нашем блоге:

Инвентаризация контента. Как получить дешевый органический трафик

Дашборд для SEO-специалиста

Основы статистики для веб-аналитика: 15 типов распределения вероятностей

+1
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Подбираем рекоммендации...
Комментарии
Первые Новые Популярные
Олег Агапов
Эмм... Так почему же 7 из 8 не работают? И что делать, чтобы работало?
Последовательное тестирование - это как?
"а в том, как изменяется шанс" - и как же?
Ответить
Маркетинг с ушками
Медиа об интернет-маркетинге. Cлышим, слушаем и применяем.
Валерия Макарова
Думаю, проблема в том, что большая часть тестов проводится без стратегического обоснования гипотез. Прочитал кейс об изменении одного элемента сайта, пошел потестил. В результате (в большинстве случаев) получил минимальную разницу вместо обещанного взрыва заказов.
Тестирование лучше проводиться не по наитию и точечными ударами, а основываясь на статистике GA и поведении пользователей. Это и будет последовательное тестирование.
Ответить
GreenRed brand studio
разработка логотипа за 99$
Панченко Андрей
Толково ... но мне кажется пропорция может быть чуть другая...
Ответить
MarketingPeople
Профессиональная социальная сеть маркетологов
Олег Михалевич
Здравствуйте. Не против будете, если утащим на www.marpeople.com со всеми ссылками?
Ответить
Маркетинг с ушками
Медиа об интернет-маркетинге. Cлышим, слушаем и применяем.
Foreseer
Data Mining для вашего бизнеса
Ван Гугенхайм
Если на сайт заходит меньше тысячи человек в день, про А/Б тесты и думать не стоит, результаты будут неверными. Чем больше выборка аудитории тем точнее получатся тесты, да все так просто.
Ответить
Limarev Ivan
Вполне разумно прибегнуть к помощи психологии.
Если принять теорию о том, что люди все таки разные,и их условно можно поделить на N-ное количество групп.
То правильно будет выделить псих.портрет потенциального клиента,после этого не полениться и написать 15-20 клиентам,собрать их данные(психологического уклона,деятельность,интересы,мировоззрение и т.д.) и от этого отталкиваясь лепить тест.
А так при должном опыте и знание структуры и работы психики человека,можно и без опросов это делать.
Результаты явно будет превосходить,А/Б которые сделаны в слепую.
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать