Что такое A/B тестирование?

Это один из самых эффективных методов повышения конверсии. A/B тестирование позволяет определить, какой вариант страницы лучше конвертирует посетителей в покупателей.

Таким образом, вы можете точно узнать как изменение дизайна страницы или какого-либо определенного элемента влияет на показатель конверсии. Мало того, что A/B тестирование позволяет изменять сайт только в лучшую сторону, так как все решения основываются на статистических данных, собранных в ходе эксперимента. Так это ещё позволяет избавиться от всех предположений и разногласий в вашей команде относительно сайта, когда каждый пытается навязать свою точку зрения.

A/B тестирование – это только цифры. Цифры, основанные на действиях посетителей. Результаты экспериментов говорят сами за себя и направляют вас на верный путь. Конечная цель A/B тестирования – повысить показатели прибыли, регистраций, скачиваний и т.п. И достигается эта цель за счёт полноценного понимания своей аудитории.

Как провести A/B тестирование сайта?

Есть два варианта: бесплатный и платный.

Бесплатно провести эксперимент можно с помощью Google Analytics Content Experiment либо самописных скриптов.Чтобы создать эксперимент через Google Analytics, нужно перейти во вкладку «Поведение» > «Эксперименты». И там уже можно создать эксперимент.

Что касается самописных скриптов для распределения трафика, то более подробную информацию можно найти здесь. Лично я никогда не пользовался этим вариантом и не собираюсь этого делать.

Главный недостаток этих двух вариантов – тестовые варианты страницы придётся создавать самостоятельно.

Фактически, нужно будет сверстать новую страницу с определённым изменением. Новая страница будет иметь ссылку типа www.boosta.ru/?variation=1. Ещё один недостаток бесплатных способов – отсутствие дополнительных функций, которые предоставляют сервисы.

Но гораздо удобнее и быстрее проводить эксперименты с помощью специальных сервисов:

• Changeagain.me (Наш сервис для тех, кто использует Google Analytics. Есть русскоязычная версия)
• Optimizely.com (Самая крупная компания в сфере A/B тестирования. Сконцентрирована на работе с крупными клиентами)
• VWO.com (Крупный игрок на рынке A/B тестирования с хорошим функционалом)
• Convert.com

Подробный список сервисов для A/B тестирования с описанием функционала и стоимостью можно найти здесь

В чём преимущества сервисов:

• простота создания тестовых вариантов через визуальный редактор (без знаний программирования)
• дополнительный функционал
• единовременная установка кода (эксперименты обновляются автоматически)

Главное преимущество сервисов для A/B тестов – визуальный редактор для создания тестовых вариантов

В некоторых средних/крупных компаниях разработчики пишут софт конкретно под свои потребности. Это вполне целесообразно, если функционала сервисов недостаточно. Сколько это стоит – сложно сказать. И тут уже в каждом конкретном примере нужно оценивать рациональность собственной разработки.

С чего лучше всего начать A/B тестирование?

В первую очередь нужно тестировать те элементы, которые напрямую влияют на конверсию. Это СТА-кнопки, формы на сайте, текстовые элементы на посадочной странице, изображения, видеоролики. Каждый перечисленный элемент играет важное значение в воронке продаж.

Попадая на страницу, посетитель чаще всего сталкивается с текстами (заголовки, подзаголовки, описания), изображениями, видеороликами продукта. С этого начинается знакомство с продуктом. Соответственно, изменяя эти элементы, можно влиять на его восприятие, первое впечатление.

Далее ему предлагается заполнить форму: оставить номер, свой e-mail, ввести личные данные и т.п. На этом этапе отваливается большое количество потенциальных клиентов. Соответственно оптимизация форм может значительно повысить конверсию.

После заполнения формы посетителю в любом случае необходимо отправить её и здесь уже происходит взаимодействие с СТА-кнопками (кнопками призыва к действию). Кликабельность кнопки может зависеть от текста, цвета, расположения, размера кнопки и т.п.

Таким образом, все эти элементы играют важную роль в процессе взаимодействия посетителя с сайтом. Поэтому начинать тестирование лучше с них. Запускать такие эксперименты относительно просто. И вероятность получения положительного/отрицательного результата гораздо выше.

Сколько изменений можно делать в тестовом варианте страницы?

Одно из правил A/B тестирования: 1 тест – 1 гипотеза.

Пример гипотезы: «Если мы уберём поле «Имя» из формы подписки, то больше людей будут заполнять форму, в результате чего увеличится база подписчиков». Правильный A/B тест подразумевает одно изменение. Анализируя результаты такого эксперимента, вы будете точно знать, что именно это изменение повлияло на конверсию.

Если в этом примере мы ещё изменим текст кнопки «Подписаться», её цвет, и текст, стимулирующий заполнить форму, то по окончанию эксперимента будет сложно сказать, что именно повлияло на показатель конверсии. Возможно, она увеличилась за счёт поясняющего текста, а измененная кнопка наоборот негативно повлияла на конверсию. Но первое перевесило второе. А, может, нет? Никто уже не узнает этого.

Как долго должен продолжаться эксперимент для получения достоверных результатов?

Минимальная длительность A/B теста – 7 дней.

Неделя выбрана не случайно, т.к. эксперимент будет показан в каждый день недели. 7 дней нужно ждать, т.к.

поведение посетителей может различаться в пятницу и субботу. В пятницу мы сидим на работе и выбираем, что купить, а в субботу, в спокойной обстановке, лёжа на диване, совершаем покупку. Или наоборот. Это неважно.

Факт остаётся фактом: поведение пользователей отличается в разные дни недели. Подтверждение ниже:

Это отчёт одного крупного интернет-магазина. В четверг конверсия почти в два раза выше, чем в субботу.

Если вы будете тестировать менее недели, то результаты могут быть неточными. Вообще, Peep Laja, эксперт в области увеличения конверсии и создатель соответствующего агентства ConversionXL , советует проводить A/B тест 2-4 недели для получения достоверных результатов.

Сколько трафика и конверсий нужно, чтобы провести A/B эксперимент правильно?

Недостаток трафика и конверсий – одна из самых главных проблем в A/B тестировании на небольших сайтах. Полагаться на результаты экспериментов с маленькой выборкой опасно. Слишком велика вероятность ошибки.

Часто говорят про 100 конверсий на каждый вариант страницы: оригинальный и тестовый. Но этого может быть недостаточно.

Если в оригинальном варианте количество конверсий 100, а в тестовом 110, то сделать достоверный вывод сложно.

С другой стороны, если разница между показателями значительная, например, 100 и 170 конверсий, и соблюдаются остальные условия (эксперимент длится не менее 7 дней, статистическая достоверность (значимость) более 95 %), то сделать достоверный вывод будет легко.

Здесь же стоит сказать и о статистической достоверности. Результат можно считать статистически достоверным, если мала вероятность его случайного возникновения. Во всех сервисах для A/B тестирования встроены алгоритмы, которые рассчитывают достоверность автоматически. Если же хотите лично перепроверить результат, то можете воспользоваться калькулятором компании Driveback.

Минимум 100 конверсий на каждый вариант. Статистическая достоверность – от 95 %

Как вы уже поняли, не получится провести достоверный эксперимент на сайте, где в день 1-2 конверсии. Слишком сложно будет получить достоверные результаты.

Нужно ли владеть навыками программирования для запуска A/B эксперимента?

Если запускать тесты через Google Analytics Content Experiment, собственные разработки или самописные скрипты, то без знаний программирования не обойтись.

Если использовать платные сервисы, то чаще всего можно обойтись без этого. При условии, что вы проводите не слишком сложные эксперименты, которые требуют использования JS/jQuery. Для большинства экспериментов визуального редактора достаточно. Все изменения делаются в режиме WYSIWYG (What You See Is What You Get – Что видите, то и получаете).

Каким образом происходит запуск эксперимента через специальные сервисы?

После создания тестового варианта в визуальном редакторе, настройки цели эксперимента, выбора таргетинга и других дополнительных функций, вам даётся специальный js-код. Этот код размещается в страницы, на которой вы собираетесь проводить A/B эксперимент. Код нужно обязательно разместить до закрывающего тега , иначе эксперимент либо вообще не будет работать, либо будет работать неправильно.

Ещё один важный нюанс установки кода – его нельзя вставлять на сайт через Google Tag Manager. Если поставить код через GTM, то при загрузке страницы будет происходить мигание, т.к. сначала будет загружаться оригинальная страница, а только потом тестовая.

Если вы имеете доступ к админке сайта и знаете, как его поставить в , то сами осилите эту задачу. Если нет, придётся просить программиста, который отвечает за ваш сайт. Хорошо то, что коды платных сервисов устанавливаются лишь один раз, после чего запуск эксперимента происходит автоматически, и уже не придётся дергать программиста.

После того, как код размещён на странице, весь трафик автоматически распределяется 50/50 (если вы тестируете 2 страницы: оригинал и тестовый вариант. При 3-ёх вариантах распределение будет следующим: 33%/33%/33%). Распределение происходит автоматически и абсолютно случайно через алгоритмы сервисов.

В начале эксперимента количество показов тестового и оригинального варианта может отличаться. Но по мере увеличения выборки эти цифры становятся практически одинаковыми. Тут та же ситуация, что и с подбрасыванием монетки. Подбросим больше – получим практически одинаковый результат. Подбросим 10 раз – может 7 раз выпасть один и тот же вариант.

A/B тесты негативно влияют на SEO-оптимизацию сайта?

A/B тесты никак не влияют на SEO-оптимизацию сайта. Это миф.

Этот факт был подтвержден ещё в 2012 году сотрудником компании Google.

Тестовый вариант загружается динамически, когда пользователь заходит на сайт. Для отображения используются Javascript и куки. А Googlebot и другие поисковики не поддерживают Javascript и куки. Поэтому они видят только оригинальный вариант. Благодаря этому можно спокойно делать A/B тесты.

A/B тестирование замедляет загрузку сайта?

При использовании сервисов для A/B тестирования или Google Analytics Content Experiment сайт грузится точно так же, как и в обычном режиме. Абсолютно ничего не меняется в плане скорости загрузки. Так происходит благодаря тому, что все сервисы используют асинхронный код, т.е. он не мешает загрузке других компонентов веб-страницы.

Откуда брать идеи для A/B тестирования?

Идеи для A/B тестов нужно брать из веб-аналитики, анализа поведения юзеров, общения с ними

Это идеальный вариант.

Для генерации хороших идей придётся воспользоваться дополнительными сервисами типа Google Analytics, Яндекс.Метрика, сервисами опросов и т.п.

У нас на сайте есть целый раздел, посвящённый инструментам для увеличения конверсии. Там вы можете более подробно ознакомиться со всеми сервисами.

Типичный пример генерации идей для A/B тестирования:

У вас на сайте есть форма регистрации. Заходим в Яндекс.Метрику и использует «Аналитику форм». В ходе анализа вы понимаете, что при заполнении поля «Компания», большинство людей стопорится. 50 % из них закрывают сайт. 50 % тратят на заполнение в два раза больше времени, чем на остальные поля формы.

Какой из этого можно сделать вывод?

Этот вопрос ставит в ступор ваших потенциальных клиентов. Если эта информация не является ключевой, то в тестовом варианте можно убрать это поле и посмотреть, как изменится количество регистраций.

Это простой пример гипотезы для A/B тестирования, основанный на анализе сайта.

Другой вариант – использование идей, которые работают на чужих сайтах. Мы составили огромный список из 100 идей для A/B тестов, которые были применены на практике. Здесь можно ознакомиться с ними:Часть первая и Часть вторая.

Но я советую вам не полагаться полностью на такие списки идей. Они могут направить ваши мысли в нужное русло, но просто взять оттуда идею и реализовать на своём сайте – это не самый лучший вариант.

Анализируйте свой сайт, анализируйте поведение пользователей на нём, общайтесь со своими потенциальными и текущими клиентами. И вы точно будете знать, что не так на сайте и что на нём можно изменить.

Можно ли полагаться на результаты чужих A/B экспериментов?

Чужие кейсы можно и нужно анализировать. Особенно, если это кейсы ваших конкурентов или компаний, которые работают в смежной отрасли или имеют одинаковую целевую аудиторию. Но полагаться полностью на чужие кейсы, как и на подборки идей, — это плохая практика.

Что работает на одном сайте, необязательно будет работать на другом. Каждый сайт индивидуален. Целевая аудитория разная. Взаимодействие с ней – разное. Реализация чужого успешного кейса может даже негативно повлиять на эффективность сайта. Поэтому никогда не полагайтесь на 100 % на результаты чужих тестов.

Тестируйте всё сами и только на основе этого делайте вывод об эффективности изменений.

Статья в тему: 10 успешных кейсов A/B тестирования

Какие A/B эксперименты чаще всего приносят положительный результат?

На этот вопрос лучше всего ответили специалисты по A/B тестированию в этой статье

Если вкратце, то в большинстве A/B тестов положительно работают следующие идеи:

• Статическое изображение с одним УТП лучше, чем автоматический слайдер с несколькими УТП
• Меню в стиле «Гамбургер» + слово «Меню» работает лучше, что просто гамбургер
• Фиксированные хедер (шапка) или футер (подвал) с призывом к действию («Подписаться», «Заказать звонок» и т.п.) всегда увеличивают конверсию
• Видео с описанием продукта/услуги положительно влияют на конверсию
• Уменьшение количества полей в формах
• Размещений контактной информации всегда заметной для посетителя
• Живой чат
• Использование реальных отзывов работает лучше, чем их полное отсутствие
• Добавление возможности совершить покупку без регистрации. Покупаешь в режиме «гостя», и только потом тебя просят зарегистрироваться.
• Бесплатная доставка

Как правильно анализировать результаты A/B тестов?

При создании эксперимента всегда выбирается 1 цель (в некоторых сервисах есть возможность выбрать сразу несколько целей), по которой будет измеряться успешность эксперимента. Например, кликабельность кнопки «Узнать цену» (1-ый этап воронки продаж).

Анализ эксперимента начинается именно с этого показателя. Если он увеличился и все условия A/B тестирования соблюдены – окей, поздравляю! Скорее всего, вы провели успешный A/B тест. Но! На этом анализ не заканчивается.

Если вы делаете A/B тест через Google Analytics, Changeagain.me или другие сервисы, где реально настроить интеграцию с GA, то у вас есть возможность провести подробный анализ эксперимента.

А именно вы можете:

• посмотреть, как изменились показатели конверсии других целей, установленных на этом сайте
• применить любой сегмент к результатам эксперимента и сделать анализ в разрезе отдельных групп пользователей
• посмотреть, как изменились базовые показатели взаимодействия с сайтом – показатель отказов, средняя продолжительность сеанса, среднее количество просмотренных страниц.

Анализ влияния на другие цели в воронке продаж – очень важный нюанс при работе с результатами A/B эксперимента. Если этого не делать, то можно оказаться в ситуации, когда кликабельность на первом этапе воронки продаж увеличилась, а конверсия на последнем этапе – уменьшилась.

Вот очень показательный кейс на эту тему. Всем урок, так сказать – Самая большая ошибка в A/B тестировании

Можно ли проводить параллельно несколько тестов?

Да, можно. Но есть один очень важный нюанс. Аудитория этих A/B тестов не должна пересекаться. Если она не пересекается, то всё окей. Делайте хоть сколько экспериментов одновременно.

Если пересекается, то возникает проблема. Например, на главной странице посетитель может увидеть тестовый вариант страницы. Далее, во втором эксперименте, на следующей странице он увидит оригинальную версию, а в третьем эксперименте – опять тестовую. В итоге получается полная путаница. В конечном счёте, это повлияет на достоверность результатов.

Можно ли получить быстрые результаты от A/B тестирования?

Нет. Скорее всего, у вас не получится за счёт одного эксперимента повысить конверсию сайта и улучшить эффективность бизнеса.

Это не волшебная пилюля, которая помогает решить все проблемы на сайте. Большая часть A/B экспериментов не будут успешными.

Чтобы A/B тестирование было успешным, нужно систематично работать над этим. Нужно тестировать гипотезу за гипотезой, делать выводы и продолжать тестирование. Только в таком случае оно будет приносить результаты.

Кстати, неудачные A/B тесты – это тоже отличный источник информации о своей целевой аудитории. Вы узнаете, что гипотеза не сработала, значит, это изменение никак не влияет на поведение пользователей. После этого гипотезу можно вычеркнуть из плана и идти дальше к пониманию аудитории.

Как часто нужно проводить A/B тесты?

В идеале, тесты нужно проводить постоянно, один за другим. Схема работы над увеличением конверсии должна представлять нечто подобное: Формулировка гипотеза – Приоретизация гипотез – Тестирование гипотезы – Сбор данных – Анализ данных – Тестирование другой гипотезы (при этом учитывая результаты предыдущих экспериментов)

Если вы не проводите тесты на сайте, то фактически каждый день упускаете возможность увеличить конверсию сайта. Трафик постоянно идёт, а вы не пользуетесь моментом. Это что-то вроде упущенной выгоды: в вашем бизнесе всё круто, но ведь может быть и лучше.

Чем A/B тестирование отличается от мультивариантого и сплит-тестирования?

A/B тестирование: В тестовом варианте(ах) меняется только один элемент (Например, кнопка «Оформить заказ» вместо «Купить»).

Сплит-тестирование: Тестовый вариант(ы), как правило, сильно отличается от оригинальной версии, т.е. изменено много элементов на странице. В сплит-тестировании изменения делаются не в визуальном редакторе, а подготавливаются разработчиками сайта. После этого тестовому варианту присваивается ссылка типа Boosta.ru/?variation-1 и весь трафик распределяется между оригиналом и тестовым вариантом(ами).

Мультивариантное тестирование: В тестовых вариантах используются различные комбинации изменений (Например, 4 варианта текста заголовка и 6 вариантов текста кнопки – в итоге получается 24 тестовых варианта. Вот пример мультивариантного тестирования президенсткой кампании Барака Обамы.

Недостаток мультивариантного тестирования – для его проведения нужен большой объём трафика. Очень большой объём трафика, если у вас так же, как и у Обамы, будет 24 тестовых варианта.

Кроме страниц сайта, что ещё можно тестировать?

A/B тесты можно проводить не только на сайтах. Также у вас есть возможность тестировать:

• страницы мобильных приложений в App Store и Google Play
• E-mail рассылки
• Объявления в Яндекс Директ
• Объявления в Facebook

Если у вас есть другой вопрос по A/B тестированию, смело задавайте его в комментариях! Мы сразу же добавим ответ на него в эту статью!

Хотите, чтобы Ваши коллеги и друзья узнали больше про A/B тестирование? Просто поделитесь этой статьей. Они будут благодарны!

Подготовлено блогом Boosta.ru и проектом Changeagain.me

Читайте также наши другие популярные статьи:

1. Сервисы для A/B тестирования (3000+ просмотров)
2. 100 идей для A/B тестирования: Часть первая (3000+ просмотров)
3. 100 идей для A/B тестирования: Часть вторая (2500+ просмотров)
4. 10 успешных кейсов A/B тестирования (2200+ просмотров)
5. 6 кейсов увеличения конверсии от компании Fiverr (1100 + просмотров)
6. Они помогут найти всех «убийц» конверсии — 10 отчётов в Google Analytics (10 000+ просмотров)
7. Как увеличить конверсию сайта с помощью изображений – 6 советов на основе кейсов (4000+ просмотров)
8. Какой цвет лучше влияет на коэффициент конверсии? (4000+ просмотров)

Успешных A/B тестов и высоких конверсий Вам!