21 Сентября 2015

Boosta.ru 2 210 0 В избр. Сохранено

Как запустить сплит-тест: 13 обязательных шагов

Первый раз собираетесь запустить сплит-тест? Не хотите облажаться? Просто соблюдайте правила, которые описаны в этом чек-листе. Всего 13 шагов и эксперимент запущен.

Нравится

Send

Мнение автора может не совпадать с мнением редакции

Автор: Сергей Гудков. Занимается маркетингом, сайтами и продажами в интернете 9 лет. Специализируется на повышении продаж и увеличении конверсии. Ведет блог Gudkovsa.net и отдельно e-mail рассылку Cases & Practice с описанием интересных кейсов из своей практики.

Регулярно запуская сплит-тесты, я выработал некие правила, которые превратились в этот чек-лист.

С помощью этого чек-листа, я запустил множество действительно успешных экспериментов. Вот один из примеров:

А теперь перейдём к чеклисту.

1. Вы понимаете и легко можете объяснить, что измените и на какой показатель это повлияет

Это называют гипотезой. Любой тест начинается именно с гипотезы. Правильное формирование гипотезы это 99% успеха вашего теста.

Гипотеза может строиться по такому простому шаблону: «Если мы изменим элемент X на элемент Y, то увеличится показатель Z».

Если у вас мало опыта, то используйте именно этот шаблон.

Для создания хороших гипотез используйте сервисы веб-аналитики, анализа поведения пользователей, проведения опросов.

2. Вы легко можете объяснить, почему это увеличит конверсию

90% ваших гипотез должны быть обоснованы. Что это значит?

Если ваш сосед по даче посоветует перекрасить кнопку «купить» в красный, прежде чем делать, надо спросить «зачем?» и «как это увеличит мои продажи?».

Здесь важно помнить, что разные решения работают в разных бизнесах, на разных сайтах, в разных ситуациях. Каждое решение обязательно нужно адаптировать.

Например. У вас в магазине подарков есть фильтры:

цена
для кого: «для мужчины», «для женщины», «для пары»

Вам все советуют добавить еще один фильтр «тип подарка». Например, «необычные», «смешные», «для дома» и т.д.

Это звучит очень логично. Добавляя фильтр, вы сокращаете кол-во кликов до нужного товара и конверсия должна рости. Вы сразу запускаете сплит-тест. Тест показывает, что конверсия падает. Почему?

Это происходит потому, что покупатель не знает какой именно подарок он ищет. Покупатель точно знает для кого подарок, но какой — это еще вопрос. Просто есть мысли и пожаления.

В этом случае нам надо показать как можно больший и разнообразный ассортимент. Дополнительные фильтры сужают ассортимент, который покупатель увидит на вашем сайте. И таким образом уменьшают конверсию.

Если бы мы подумали над обоснованием гипотезы перед запуском теста, то мы сэкономили бы месяц времени и ресурсы на запуск и проведение теста.

3. Большинство людей с вами согласны

Когда вы придумали обоснование, обязательно расскажите коллегам. Они должны быть с вами согласны. Посоветуйтесь с маркетологами из других компаний.

Когда мы сами придумываем обоснование, оно нам кажется супер логичным. Большой риск попасть в ловушку субъективного решения.

Такая же ситуация имеет место быть, когда вы смотрите на свой сайт и вам всё нравится. Кажется, что всё идеально. Но стоит лишь взглянуть компетентному человеку со стороны, как сразу обнаруживаются недостатки. Не верите? Просто проверьте это утверждение.

Важно: спрашивайте мнение компетентных людей, которые разбираются в этой сфере.Если вы будете обсуждать этот вопрос с теми, кто не “в теме”, то их мнение может только ввести в заблуждение и привести к долгим спорам.

4. Определен сегмент трафика для теста

Посетители из поиска, у которых в запросе было имя вашего бренда («брендовый трафик»), имеют совершенно другую мотивацию к покупке, чем остальной трафик. Согласны?

Давайте проведем тест без учета брендового трафика. Посмотрим как реально изменяется конверсия. Так же можно исключить партнерский трафик, если он более «горячий».

В идеале, трафик, который участвует в эксперименте должен быть одинаковым. А даже если запускаете эксперимент для всего трафика, потом обязательно сегментируйте результаты и анализируйте их относительного отдельных сегментов: платный трафик, реферальный, органический.

Brian Eisenberg в своей книге, посвящённой A/B тестированию пишет о том, что однородность трафика сильно влияет на достоверность результатов. И в этом с ним нельзя не согласиться.

5. Определен целевой показатель для оценки теста

Возможно вы удивитесь, но конверсия в большинстве случаев не целевой показатель оценки теста.

Например, мы проводим тест на карточке товара и меняем кнопку «купить» или призыв к действию, то нашим целевым показателем будет клик на кнопку купить.

Второй пример. Мы запускаем тест на витрине магазина и тестируем бирки «топ продаж», «выбор большинства». Нашим целевым показателем будет переход с витрины на карточку товара.

Использование локальных показателей позволяет проводить тесты даже на маленьким трафике. Почему так происходит я описывал у себя в блоге. Вот пример:

6. Настроен сбор данных по целевому показателю

Вроде бы очевидный пункт, но многие его упускают. Особенно если речь идёт о сложных показателях.

Давайте рассмотрим пример с витриной магазина и переходом на карточки товара.

На первый взгляд может показаться, что можно посмотреть на кол-во посещений карточек товара. Но это не так.

На карточку товара посетитель попадает со страницы каталога (там мы проводим тест), со страницы другой карточки (рекомендации, up sale, cross sale), с корзины или карточка товара является страницей входа на сайт.

Потому отслеживать надо именно переходы с каталога. Лучше всего поставить отслеживание события.

Важно: прежде чем запускать тест, обязательно настройте все цели на сайте. Одну из этих целей вы будете использовать прямо в эксперименте, а влияние на остальные будете анализировать после эксперимента.

7. Определены контрольные показатели (конверсия, средний чек, стоимость заказа и т.д.)

Улучшая один конкретный шаг воронки, мы часто забываем о бизнес показателях.

Например, мы сделали мега-призыв на карточке товара и добавления в корзину выросли на 20%. Люди стали совершать больше эмоциональных кликов, но средний чек упал. Почему?

Более дешевые товары проще купить на эмоциях. Но здесь надо понимать как изменился общий объем продаж.

Есть два варианта:

эмоциональные покупки добавились к общему объему продаж;
эмоциональные покупки вытеснили более взвешенные покупки в дорогом сегменте и объем продаж снизился.

Чтобы не сделать хуже бизнесу в погоне за показателями сайта обязательно отслеживайте основные бизнес показатели:

конверсия сайта (ecommerce conversion rate)
средний чек
стоимость заказа (CPO — cost per order)
объем продаж (штуки / деньги)
и т.д.

Все эти показатели можно отслеживать в Google Analytics. В отчете «Обзор электронной торговли» можно отследить: конверсию, средний чек (средняя стоимость заказов), объекм продаж (Доход и количество).

Стоимость заказа можно посчитать разделив все затраты на рекламу на транзакции. Например, если вы инвестировали в рекламу $1000 в месяц и получили 50 заказов, то получается: CPO = $1000 / 50 заказов = 20 $/заказ.

8. Настроен сбор всех контрольных показателей

Вы умеете отслеживать все показатели из п.7. Вообще эти показатели должны входить в вашу таблицу KPI и должны быть настроены уже давно.

Так же должны быть настроены основные цели сайта.

Помимо созданных целей, есть ещё базовые показатели отказов, средней длительности сеанса на сайте, среднего количества просмотренных страниц за сеанс. Иногда в ходе A/B теста все контрольные показатели могут быть одинаковы, а базовые — сильно изменятся. Поэтому проверяйте и их.

9. Определен минимальный срок теста

Сплит-тестирование — это как новая игрушка в руках маркетологов и руководителей. Я постоянно вижу одну и ту же ошибку: Тест уже показывает выигрыш варианта Б. Зачем нам ждать окончания теста, если у же и так всё очевидно.

Типичная ситуация. Особенно в том случае, когда внешний специалист делает A/B тесты для своего заказчика. Часто возникает такая проблема: заказчик хочет проводить A/B тесты быстрее, чтобы меньше платить за работу. Но специалист по A/B тестированию не может делать эксперименты быстрее.

В итоге либо специалист сможет отстоять свою позицию и будет проводить достоверные эксперименты, либо заказчик победит и тесты будут останавливаться при первых положительных или отрицательных результатах.

В Google Analytics специально есть параметр указыващий минимальный срок продолжительности теста. Это значит, что даже если система определит победителя в первый день, то тест продолжится дальше.

Я советую использовать срок принятия решения о покупке. Если этот срок — 14 дней, то держите эксперимент именно столько времени. Если вы думаете, что ваши клиенты принимают решение за 1 день, то всё равно поставьте минимум 7 дней.

Для A/B экспериментов крайне важно выдерживать 7 дней, а лучше даже 14. Следите также за тем, чтобы статистическая достоверность превышала 95 %.

Когда тест побеждает система вам об этом сообщит. Например, Google Analytics делает это так:

10. Определен максимальный срок теста (если нет победителя)

Иногда такое случается. Google Analytics сам умеет останавливать тест, если долгое время нет победителя.

Как посчитать это время? Есть множество калькуляторов для сплит-тестов. Воспользуйтесь одним из них и посчитайте сколько надо времени на Ваш тест. Добавьте еще немного и этого будет достаточно.

11. Написан список всех вариантов дальнейших действий

К сожалению сплит-тесты заканчиваются не только победой или проигрышом. Есть вариант «ничья». В своей рассылке c кейсами «Cases & Practice» я рассказываю об одном таком кейсе.

В таком случае надо заранее знать какой вариант будет внедрён. Возможно вариант Б не принёс увеличение продаж сейчас, но открывает новые возможности. Или же вариант Б просто выглядит гораздо приятнее и функциональнее, то тогда стоит выбирать его.

Но всё же решить это лучше до запуска теста!

12. Все получили инструкции (новые скрипты для call-центра)

Часто тестируются не интерфейсные изменения, а изменения предложения (offer).

Например, увеличиваем срок возврата и обмена товара до 30 дней или до 3 месяцев. Внесли изменения на сайт и запустили. Звонит клиент и спрашивает «А действительно возврат и обмен до 3 месяцев?» — «Конечно НЕТ!!!», — отвечает оператор.

Для этого все участники процесса должны быть уведомлены и получить инструкции как вести себя в таких ситуациях.

13. Вы лично «протестировали» все вариации в режиме инкогнито

Сразу после запуска теста, вы лично зашли и проверили:

все вариации теста (как это выглядит)
проверили основные функции (добавление в корзину, покупка)
на протяжении нескольких часов внимательно следите за посещаемостью и заявками на обе варианции.

Это обязательный и очень важный этап. Как всегда учился на собственных граблях.

Поверил программистам. Тест через неделю проиграл. Я был в варианте А. Жалко было, что тест проиграл. Пошёл анализировать ситуацию и оказалось, что там была ошибка. Кнопка отрабатывала через раз. Исправили. Тест пришлось перезапускать.

Важно: когда пытаетесь проверить отображение тестового варианта в режиме инкогнито, если открыли одну вкладку и попали на оригинальный вариант, то закройте эту вкладку. После этого открывайте новую 1 вкладку инкогнито для проверки. И так, пока не попадёте на тестовый вариант.

Если же вы сразу же откроете 5 вкладок инкогнито и вставите туда ссылку, где должен отображаться эксперимент, то именно та страница, которая отобразится на 1-ой вкладке, будет открываться и на всех остальных.

Надеюсь, что этот пошаговый чеклист поможет вам при запуске A/B экспериментов.

Хотите, чтобы Ваши коллеги и друзья узнали больше про A/B тестирование и Увеличение конверсии? Просто поделитесь статьей. Они будут благодарны.Кнопки для репоста слева и снизу.

Подготовлено блогом Boosta.ru, экспертом по увеличению конверсии Сергеем Гудковым и проектом Changeagain.me