Лучшие статьи и кейсы стартапов
Включить уведомления
Дадим сигнал, когда появится
что-то суперстоящее.
Спасибо, не надо
Вопросы Проекты Вакансии
Оптимизация конверсий (CRO), продвижение сайтов
Рекомендуем
Продвинуть свой проект
Лучшие проекты за неделю
31
Битрикс24

Битрикс24

www.bitrix24.ru

16
Tados

Tados

tados.ru

15
YAGLA

YAGLA

yagla.ru

13
myPreza

myPreza

mypreza.ru

12
Devicerra

Devicerra

devicerra.com

12
Perezvoni.com

Perezvoni.com

perezvoni.com

11
Expresso

Expresso

www.expresso.today

9
Reader

Reader

Интернет-журнал о современных технологиях.

9
THE NN

THE NN

thenn.ru

Показать следующие
Рейтинг проектов
Подписывайтесь на Спарк в Facebook

7 из 8 A/B тестов не работают. И вот почему

1 174 7 В избранное Сохранено
Авторизуйтесь
Вход с паролем
Красная или зеленая? A/B тестирование знает, какой должна быть кнопка "Купить". Или нет? Небольшая колонка о том, как зародился величайший миф тестов, и что делать, когда знаешь правду.

Перевели интересный пост о той части A/B тестирования, про которую все молчат.

Все слышали о том, что такое A/B тестирование и как этот инструмент помогает повышать конверсии. Но знаете ли вы, что огромное количество тестов заканчивается ничем?

Слишком часто бессмысленное тестирование преподносит неоднозначные данные. Конечно, некоторые тесты действительно дают реальный, значительный результат. Это именно те кейсы, которые скрываются за заголовками: «Мы всего лишь изменили цвет кнопки и конверсия возросла на 38%!».

Все эти истории успеха скрывают настоящую статистику A/B тестирования. Лишь 1 из 8 тестов дает значительный результат. Тем не менее многие до сих пор думают, что тестирование — простой и быстрый способ улучшить показатели. Кажется, что проведя несколько тестов, вы наконец-то найдете правильный цвет кнопки и конверсии как по волшебству возрастут на 38%. Начинается бесконечная череда тестов с малозаметным результатом, которые заканчиваются полным разочарованием. Ну, и где же этот скачок в 38%?

Не сдавайтесь. Если вы проводите A/B тестирование, у вас всегда будет несколько неудачных тестов. Но постепенно, проводя хорошие тесты, вы сведете количество безрезультатных к минимуму. Вдумчивое тестирование действительно помогает улучшить продукт.

b_56baca4f226a9.jpg

Кажется, будто после каждого теста вы узнаете что-то новое, но это не так. И это нормально, согласитесь, навряд ли кто-то решит написать в своем блоге о том, как он провел три теста и получил нулевой результат. На самом деле разница кроется не в успехе А или В конкретного теста, а в том, как изменяется шанс, что вы получите похожий результат или результат с большой разницей в показателях после серии тестов.

Представьте, вы подбрасываете две монетки, каждую по двадцать раз. У монеты A орел выпадает 12 раз, а у монеты В — 9. Вы же не будете утверждать, что нашли монету, у которой на 33% чаще выпадает орел. Этот пример показывает, что очень часто разница между вариантами А и В — это всего лишь воля случая, а не реальное улучшение показателей.

Совсем недавно у меня было собственное бессмысленное тестирование. Запуская email рассылку я использовал два заголовка: «Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?» и, вдохновленный рассказами о том, как название компании увеличивает open rate, второй вариант «Mixpanel: Почему 15 миллионов пользователей так и не смогли воспользоваться этим простейшим приложением?». В результате я получил разницу в 0, 02%. Второй заголовок дал мне всего лишь 20 дополнительных просмотров…

Что же нужно было сделать, чтобы получить более внятный результат?

Мое тестирование оказалось бессмысленным, потому что оно не было частью взвешенной стратегии, которая последовательно задает вопросы аудитории, помогая лучше понять ее потребности.

Смысл в том, чтобы проводить последовательное тестирование и вносить незначительные на первый взгляд изменения. Так вы сможете действительно увеличить общие показатели итогового варианта по сравнению с первым, когда все только начиналось.

Все-таки красная или зеленая? Поделитесь вашей историей тестирования в комментариях.=)

Читайте в нашем блоге:

Инвентаризация контента. Как получить дешевый органический трафик

Дашборд для SEO-специалиста

Основы статистики для веб-аналитика: 15 типов распределения вероятностей

+1
Добавить в избранное Сохранено
Авторизуйтесь
Вход с паролем
Первые Новые Популярные
Олег Агапов
Эмм... Так почему же 7 из 8 не работают? И что делать, чтобы работало?
Последовательное тестирование - это как?
"а в том, как изменяется шанс" - и как же?
Ответить
KINETICA
Оптимизация конверсий (CRO), продвижение сайтов
Валерия Макарова
Думаю, проблема в том, что большая часть тестов проводится без стратегического обоснования гипотез. Прочитал кейс об изменении одного элемента сайта, пошел потестил. В результате (в большинстве случаев) получил минимальную разницу вместо обещанного взрыва заказов.
Тестирование лучше проводиться не по наитию и точечными ударами, а основываясь на статистике GA и поведении пользователей. Это и будет последовательное тестирование.
Ответить
GreenRed brand studio
разработка логотипа за 99$
Панченко Андрей
Толково ... но мне кажется пропорция может быть чуть другая...
Ответить
MarketingPeople
Профессиональная социальная сеть маркетологов
Олег Михалевич
Здравствуйте. Не против будете, если утащим на www.marpeople.com со всеми ссылками?
Ответить
KINETICA
Оптимизация конверсий (CRO), продвижение сайтов
Foreseer
Data Mining для вашего бизнеса
Ван Гугенхайм
Если на сайт заходит меньше тысячи человек в день, про А/Б тесты и думать не стоит, результаты будут неверными. Чем больше выборка аудитории тем точнее получатся тесты, да все так просто.
Ответить
Limarev Ivan
Вполне разумно прибегнуть к помощи психологии.
Если принять теорию о том, что люди все таки разные,и их условно можно поделить на N-ное количество групп.
То правильно будет выделить псих.портрет потенциального клиента,после этого не полениться и написать 15-20 клиентам,собрать их данные(психологического уклона,деятельность,интересы,мировоззрение и т.д.) и от этого отталкиваясь лепить тест.
А так при должном опыте и знание структуры и работы психики человека,можно и без опросов это делать.
Результаты явно будет превосходить,А/Б которые сделаны в слепую.
Ответить
Выбрать файл
Читайте далее
Загружаем…
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать