Главное Свежее Вакансии Образование
2 398 5 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Самая большая ошибка в A/B тестировании

Хотите иметь сайт с высокой конверсией? Все хотят. Но многие допускают эту ошибку. Ошибку, которая вводит их в заблуждение и приводит к печальному результату.

Ребята из Popcorn Metrics – совершили эту ошибку в A/B тестировании. И чтобы помочь другим не попасть впросак, написали об этом статью . А мы её оперативно перевели, чтобы предостеречь вас от этой ошибки!

Давайте представим ситуацию…

Вы проводите A/B тестирование сайта. У вас есть две версии – оригинальная и тестовая. В результате тестирования вы получаете такие результаты: конверсия в регистрацию на оригинальной странице – 2.3 %, в тестовом варианте – 3.2 %. Какая из этих страниц победила в эксперименте?

Конечно, тестовая страница более эффективна. С этим нельзя не согласиться на данном этапе. Почему? Потому что цифры не врут. 3.2 % больше, чем 2.3 %.

И здесь начинается самое интересное. Когда люди проводят A/B тестирование, они фокусируются только на одном этапе воронки продаж. В нашем примере – на конверсии в регистрацию.

Казалось бы, в чём заключается проблема? Вас везде учат выбирать определённую цель при создании A/B эксперимента и оценивать результат именно по ней. Но практически нигде не говорится, что нужно смотреть дальше, глубже.

Ведь есть и другие этапы воронки продаж. В вашем случае в тестовом варианте зарегистрировалось больше пользователей. Это круто. Но как они действовали дальше? Как они конвертировались в платных пользователей? Этот вопрос гораздо важнее.

В этом и заключается проблема. Практически никто не оценивает влияние A/B эксперимента на всю воронку продаж, начиная с первого этапа, который вы пытались улучшить с помощью этого теста, и заканчивая последним этапом – покупкой, например.

1.jpg

А теперь продолжим с этим экспериментом. Несмотря на то, что тестовый вариант страницы имел больше конверсий в регистрацию, количество продаж в оригинальном варианте оказалось больше. Теперь не всё так очевидно? Уже можно и не согласиться с тем, что тестовый вариант победил в A/B эксперименте.

Что для вас важнее: увеличить количество конверсий на первом этапе воронки продаж или улучшить всю воронку продаж, чтобы больше пользователей достигали конечной цели?

Статья в тему — 10 самых распространенных ошибок в A/B тестировании

Внимание! Если ваша цель при проведении A/B тестирования – увеличить конверсию только на одном определённом этапе, например на этапе Регистрации, вне зависимости от того, как это влияет на всю воронку продаж и ваши доходы, то дальше можете не читать.

Если же вы смотрите «дальше» и хотите делать правильные, эффективные A/B тесты, то оставайтесь с нами и мы расскажем и покажем, какую ошибку совершили ребята из Popcorn Metrics. Возможно, вы прямо сейчас совершаете её и даже не догадываетесь об этом.

Кейс компании Popcornmetrics

Давайте посмотрим на воронку продаж проекта Popcorn metrics. В ней 5 этапов, начиная с регистрации в сервисе (Register) и заканчивая размещением кода (Publish), причём видно, каков показатель конверсии с одного этапа в другой. Главная задача в данном случае – довести потенциального клиента до последнего этапа, когда он размещает код отслеживания на своём сайте.

Когда потенциальный клиент попадал на главную страницу Popcorn Metrics, ему предлагалось ввести ссылку на свой сайт. После вставки ссылки и нажатия на кнопку «Попробовать сейчас» открывался визуальный редактор (Playmode). В этом визуальном редакторе можно посмотреть, как работает сервис даже без регистрации. Это сделано для того, чтобы показать пользу сервиса как можно быстрее, при этом, не заставляя потенциального клиента регистрироваться. Сначала ценность, а потом обязательство – регистрация на пробную версию продукта.

Эффективность этой функции была проверена в предыдущих экспериментах. Было решено продолжить эксперименты и тестовых вариантах добавить возможность просмотра 2-ух минутного видео.

В 1-ом варианте прямо на главную страницу было добавлено видео. Во 2-ом – текстовая ссылка на видео.

2.jpg

С помощью Google Analytics был запущен эксперимент. В качестве главной цели была выбрана «Регистрация» — 1-ый этап воронки продаж.

После проведения эксперимента оказалось, что в 1-ом тестовом варианте с вставленным видео (Variaton 1 – Playmode & Video Image) конверсия в регистрацию – 3.20 %. И это был лучший показатель среди всех трёх версий.

3.png

Таким образом, победитель в этом эксперименте – первый тестовый вариант. У него конверсия оказалась на 40 % больше, чем в двух других случаях. И вот именно здесь скрыта самая большая ошибка.

Смотрите результаты эксперимента на всех этапах воронки продаж

При проведении экспериментов в Google Analytics у вас есть возможность смотреть результаты эксперимента применительно ко всем установленным целям. Т.е. даже если в качестве главной цели вы выбрали «Регистрацию» — первый этап воронки продаж, вы можете также отследить влияние эксперимента и на другие цели.

Ребята из Popcorn Metrics просто добавили ещё одну цель для анализа эксперимента – Размещение кода (Publish). Если вы вдруг забыли, то это конечная цель в воронке продажи. И в итоге оказалось так, что наш псевдопобедитель (Variation 1) имеет самый низкий уровень конверсии по этой цели. А оригинальная версия страницы – самый высокий.

Таким образом, в тестовом варианте с видео на странице люди чаще всего регистрировались, но при этом практически в 2.5 раза реже добирались до конца воронки продаж.

Почему так произошло?

Когда потенциальный клиент начинает своё знакомство с сервисом через визуальный редактор, то у него один формируется определённый пользовательский опыт. Когда через видео, то другой опыт. От этого и зависят последующие действия.

С помощью аналитики был также сделан ещё один интересный вывод. Те, кто сначала смотрел видео, очень редко тестировал визуальный редактор (в 9.62 % случаев).

4.png

Несмотря на то, что видео было очень показательным и пользователи смотрели его, оно не увлекало их так, как визуальный редактор, в результате чего они не конвертировались на следующие этапы воронки продаж.

Какой урок нужно извлечь из этого кейса?

Проводить A/B эксперимент и анализировать только одну цель, не обращая внимания на всю воронку продаж, очень опасно. Можно сделать неправильный вывод, который будет казаться правильным на первый взгляд. А если взглянуть глубже, то всё окажется иначе.

Вы только представьте. Вы провели эксперимент, допустили эту ошибку и продолжили тестирование других элементов сайта, в зависимости от результатов этого теста. Выходит так, что все дальнейшие эксперименты будут вводить вас ещё больше в заблуждении и потом уже сложно будет понять, что же пошло не так, почему конверсия на первом этапе растёт, а доходы падают.

Теперь вы знаете о самой большой ошибке в A/B тестировании, которую многие всё ещё допускают и даже не догадываются об этом. Будьте умны, тестируйте правильно!

Подготовлено блогом boosta.ru

Читайте также наше другие популярные статьи:

  1. Они помогут найти всех «убийц» конверсии — 10 отчётов в Google Analytics(9000+ просмотров)
  2. Как увеличить конверсию сайта с помощью изображений – 6 советов на основе кейсов (4000+ просмотров)
  3. Какой цвет лучше влияет на коэффициент конверсии? (4000+ просмотров)
  4. Узнай свою целевую аудиторию или умри: 34 жизненно важных вопроса (1500+ просмотров)

P.S. Всех стартаперов приглашаем присоединиться к проекту Startr.ru. Startr - это стартап комьюнити на Slack: чат, онлайн-питчи, встречи, горячие обсуждения своих проектов и последних новостей в стартап-сфере.

+9
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Neaktor
Автоматизируем бизнес-процессы компаний. Всерьез и надолго.
Николай 13981
Спасибо за статью.

В качестве оффтопа: на этом изображении: http://boosta.ru/wp-content/uploads/2015/07/2.jpg форма регистрации в уменьшенном виде напомнила мне сигарету. Даже интересно, повлияло бы на конверсию ее изменение.
Ответить
Boosta.ru
Сайт об интернет-маркетинге: кейсы, советы, анализ ошибок, обзор сервисов
Andrei 8041
Николай, рад стараться!)

Интересно подметили. Я думаю, что нет:) Но это лишь предположение) Надо тестить)
Ответить
AutoCoder
Автоматическое программирование для Wordpress
Михаил Грибов
Правильно подмечено, вот только не всегда предыдущие шаги влияют на посетителя на столько, что его дальнейшее поведение сильно изменяет последующие конверсии в воронке. Например, интернет-магазин, вряд ли изменение кнопки "Купить" может так впечатлить посетителя, что он откажется или наоборот будет более склонен к тому, чтобы завершить заказ. Хотя, можно и дойти до крайностей, например, случайные клики - конверсия увеличится за счет снижения последующих конверсий.
Я к тому, что к любому анализу надо подходить грамотно, а не формально. Приведенный пример очень показателен в этом плане. А полное тестирование воронки часто дорого и требует больше времени, в течение которого и ситуация-то может поменяться, вот и выбирайте какая погрешность будет выше.
Ответить
Boosta.ru
Сайт об интернет-маркетинге: кейсы, советы, анализ ошибок, обзор сервисов
Andrei 8041
Михаил, спасибо за комментарий!
Да, вероятность того, что так произойдёт - не слишком большая, но она есть.
А проанализировать влияние эксперимента на все этапы воронки продаж - это совсем не сложно. Это без проблем делается, если запускать эксперимент через Google Analytics или Changeagain.me, да и в других инструментах должна быть возможность трекать все остальные цели. Поэтому лучше каждый раз проверить эти показатели и быть точно уверенным, что всё идёт, как надо.
Интересно, а Вы занимаетесь A/B тестированием сами? Хотелось бы уже лично более подробно поговорить на эту тему)
Ответить
AutoCoder
Автоматическое программирование для Wordpress
Михаил Грибов
практикую по мелочам:) в принципе сама идея АБ-тестирования нравится. яндекс-метрику использую.
Ответить
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.