9 лучших инструментов для A/Б-тестирования
Суть А/Б-тестирования довольно проста: вы запускаете два варианта одного и того же объявления или создаете две версии посадочной страницы и смотрите, какая из них лучше работает. Объявления могут отличаться только текстом на кнопке или креативами, сайты — цветом кнопки действия или расположением отдельных блоков.
Как это работает. Одинаковое количество пользователей видит разные варианты объявлений и посадочных, взаимодействует с ними. А потом вы оцениваете, что привлекло больше внимания аудитории: скажем, синяя кнопка или зеленая, блок с формой заявки на первом экране или на всплывающем уведомлении, объявление с кнопкой «Купить курс» или «Посмотреть программу».
Сколько времени нужно на А/Б-тесты. Всё зависит от количества трафика на сайте: нужно тестировать до тех пор, пока вы не соберете достаточно данных для получения результатов со статистической значимостью.
В этом материале мы рассмотрим:
- 5 инструментов для А/Б-тестов сайта
- 2 инструмента для А/Б-тестов контекстной рекламы
- 2 инструмента для А/Б-тестов email-рассылок
- Советы специалистов, как грамотно провести A/Б-тесты
5 инструментов для А/Б-тестов сайта
А/Б-тесты сайта нужны, чтобы улучшить его качество и повысить конверсионность. В нашей подборке есть и платные, и бесплатные инструменты для тестирования — каждый найдет подходящий.
Google Оптимизация
По-другому этот инструмент еще называют Google Optimize. Он поможет бесплатно проверить, какие элементы сайта удобнее для пользователей. Когда вы это выясните, сможете внести изменения в сайт и тем самым увеличить его конверсионность.
Что можно сделать:
- провести А/Б-тесты всех элементов сайта: цветов, размеров кнопок, картинок, текстов, полей в лид-формах и прочего;
- сравнить эффективность двух страниц — например, двух лендингов, на одном из которых больше текста, а на другом — фото;
- добавить персональные предложения для разных сегментов аудитории: например, пользователям, которые пришли из ВКонтакте, показать акцию «Скидка 20% за репост закрепленного поста из группы ВКонтакте».
Главный плюс инструмента — в том, что для проведения А/Б-теста вам не придется менять код сайта. То есть можно справиться своими силами и не привлекать разработчиков. А еще можно настраивать аудиторию и выбирать, кто из посетителей сайта будет участвовать в тесте.
Google Оптимизация разработана на основе Google Analytics и работает на его базе. Так что для работы с Оптимизацией не придется заводить новую учетную запись — можно войти через свой аккаунт в Google Analytics. Перед началом работы с Google Оптимизацией можно настроить уведомления под себя: например, указать, что вы хотите получать подсказки. По результатам тестирования можно посмотреть подробные отчеты и решить, нужно ли что-то менять на сайте, и если нужно, то что именно. Здесь мы предлагаем использовать сразу два инструмента в связке: «1С-Битрикс: Управление Сайтом» и Яндекс Метрику. Первый инструмент платный — стоимость от 40 900 рублей и выше (модуль А/Б-тестирования появляется только в этой версии лицензии и тех, что дороже), а второй инструмент бесплатный. «1С-Битрикс: Управление Сайтом» — это коммерческая CMS-система, внутри которой можно улучшать и оптимизировать сайты. По шести сценариям можно протестировать: И после этого на основе отчетов по тестированию можно выбрать наиболее эффективный вариант для показа. Зачем тут Яндекс Метрика? Она помогает убедиться, что по результатам тестов вы сможете выбрать наиболее конверсионные варианты на основе данных о визитах. В целом, можно ориентироваться и только на отчеты «Битрикса», но чем больше данных вы соберете и проанализируете, тем лучше. Это платный инструмент компании Freshworks, который позволяет провести А/Б-тесты для всех элементов сайта. 21 день можно пользоваться им бесплатно в рамках демо, дальше — только за деньги. Стоимость подписки варьируется от $19 до $359 в месяц — в зависимости от опций, включенных в пакет. Например, можно также получить полную автоматизацию маркетинговых процессов и оптимизацию коэффициента конверсии, а не только функционал для А/Б-тестов. Что можно сделать: Достоинство инструмента — в том, что с его помощью можно вносить как простые изменения (например, на уровне текста), так и расширенные (менять код). Всё это делается в одном редакторе, не нужно использовать сразу несколько инструментов. Но тем, кто плохо знает английский, придется сложновато — здесь нет встроенного перевода на русский. Хотя в целом можно справиться и с автопереводом Google. Также в Freshmarketer есть подробные отчеты по результатам тестирования — можно узнать, почему один элемент отработал лучше другого. Инструмент для крупных компаний, который может работать сразу с большим количеством данных и проводить несколько тестов одновременно. Он платный: цены стартуют от $1000 в месяц, точнее можно узнать, оставив свои контакты на сайте — вам придет письмо с актуальной стоимостью. Его можно протестировать бесплатно, но при этом подключить можно будет только один сайт — в целом, рабочий способ для владельцев бизнеса юзать дорогой инструмент. Что можно сделать: ABTasty тоже создан скорее для крупных компаний, чем для малого или среднего бизнеса, но стоимость подписки у него более доступная, чем у Optimizely — она стартует от $200 в месяц. Точную цену тоже вышлют вам на почту, если вы оставите свои контакты в лид-форме. Что можно сделать: Тестирование объявлений помогает оптимизировать затраты на продвижение и увеличивать эффективность рекламы. В ходе тестов можно найти наиболее удачные варианты объявлений и перераспределить бюджет на них, а неэффективные отключить. Делать это только на основе своих предположений опасно — вы можете считать, что пользователи лучше отреагируют на один текст или креатив, а на деле эффективнее окажется другой. Рассказываем, какие инструменты помогут принять обоснованные решения. Это бесплатный инструмент, который доступен всем рекламодателям Директа. Удобно то, что он встроен в Директ — не придется скачивать и осваивать новые программы, настраивать интеграции между сервисами. К тому же, система дает подсказки, а интерфейс интуитивно понятный. Что можно сделать: Всего в Яндекс Аудиториях можно создать до 200 экспериментов и сразу использовать их в Яндекс Директе. Google Ads приостановил рекламу для российских рекламодателей и пользователей. Информации о том, когда показы смогут возобновиться, нет. ppc.world продолжает держать своих читателей в курсе ключевых обновлений Google Ads. Это инструмент, встроенный в рекламный кабинет Google Ads. Он бесплатный и позволяет проводить тесты внутри кабинета. С его помощью рекламодатели могут менять отдельные настройки в поисковых кампаниях и в рекламе для контекстно-медийной сети и анализировать, что отработало лучше. Можно: Качество email-маркетинга во многом зависит от того, насколько хорошо маркетолог знает целевую аудиторию и ее поведение: какие письма люди вероятнее прочитают, какие отправят в спам, а какие не просто откроют, но и перейдут по кнопке действия внутри. Лучше понять, какие письма работают, поможет А/Б-тестирование. Часто специалисты проводят его вручную: отправляют половине базы один вариант письма, другой половине — второй вариант письма, а потом анализируют результаты. Но можно упростить эту работу, используя специальные инструменты. Это бесплатный инструмент, внутри которого есть два встроенных калькулятора: На странице инструмента есть пояснения, которые помогут вам правильно заполнить все необходимые поля калькуляторов и оценить результаты А/Б-тестов. Калькулятор поможет с тестированием Open rate, Click rate, конверсии в заказы и других показателей. Это российский сервис автоматизации рассылок, внутри которого есть возможность проводить А/Б-тестирование. Инструмент платный, стоимость подписки зависит от того, на какое количество человек вы планируете запускать рассылки. Цена стартует от 660 рублей за месяц. Что можно сделать: Тестировать вслепую всё подряд не стоит — сначала нужно тщательно проработать гипотезы и решить, как вы будете оценивать результаты тестов. Ответы на вопросы «Как это сделать? И какой должна быть хорошая гипотеза?» — в комментарии практикующего веб-аналитика Андрея Рожкова.
Для проведения тестов я обычно использую инструмент Google Optimize — он довольно простой и бесплатный. Его плюс — в том, что часто для его внедрения достаточно поработать с Google Tag Manager. Это не отнимает много сил и времени, что действительно важно при нашей работе, ведь нужно решать задачи нескольких клиентов одновременно.
С помощью А/Б-тестов можно проверять совершенно различные элементы интерфейса на предмет продающей способности сайта. Обычно перед запуском A/Б-тестирования мы проводим полный юзабилити-аудит сайта. Проверка помогает выявить явные и косвенные недочеты интерфейса и сформулировать гипотезы для теста, которые в дальнейшем мы подтверждаем или опровергаем. Это могут быть как минимальные правки — например, цвет конверсионной кнопки или наличие/отсутствие определенной формы обратной связи, — так и полное изменение карточки товара, корзины, страницы оформления заказа, меню и т. д.
Помимо наличия гипотез важно остановиться на инструментах. Если нужно протестировать цвет кнопок, баннеров, надписей или конверсионность лендингов, то обычно используем сервис Google Optimize. Он достаточно прост в настройке, легко интегрируется с менеджером тегов Google Tag Manager и системой веб-аналитики Google Analytics. С помощью встроенного в сервис редактора можно изменить цвет конверсионной кнопки в два клика.«1С-Битрикс: Управление Сайтом» + Яндекс Метрика
При необходимости проведения более трудозатратного A/Б-тестирования, например, изменения дизайна карточки товара или страницы оформления заказа, мы используем инструменты CMS-системы сайта и систему веб-аналитики Яндекс Метрика. CMS-система «1С-Битрикс: Управление Сайтом» имеет модуль A/Б-тестирования, с помощью которого можно настроить сценарий теста. А для Яндекс Метрики настраивается передача параметров визита. Анализируя полученные данные в Метрике, мы сможем оценить, какой из вариантов теста оказался более конверсионным.
В момент выбора инструмента тестирования нужно четко понимать механику работы и возможности каждого сервиса, а также учитывать вероятные барьеры в подготовке. В сложных тестах, например, при изменении страниц корзины или каталога, лучше использовать инструменты, которые предлагают сами CMS-системы, потому что без привлечения дизайнеров и разработчиков не обойтись. Если же нужно провести тест цвета конверсионной кнопки, то достаточно использовать Google Optimize, а запуск провести самостоятельно.Freshmarketer
Optimizely
ABTasty
2 инструмента для А/Б-тестов контекстной рекламы
Эксперименты в Яндекс Аудиториях
Мы любим тестить все возможные параметры для изменения в РК и в первую очередь сравниваем между собой:
• стратегии (ручные, авто);
• структуру логина (схлопнутые кампании и сегментированные);
• посадочные страницы;• креативы (как графические баннеры, так и тексты).
Также, если по схожим продуктам необходимо использовать одну и ту же семантику в рамках одного аккаунта, можно разводить околотематику с помощью A/Б-тестов. Например, для инвестиционного страхования жизни и просто инвестиций.
Есть несколько инструментов для контекстной рекламы, позволяющих провести А/Б-тестирование. Для Яндекс Директа — «Эксперименты в Яндекс Аудиториях», в Google Ads — встроенные в интерфейс Drafts and Experiments, а для различных тестирований контента сайта есть Google Optimize.
Сейчас для нас наиболее актуален Яндекс Директ, поэтому чуть подробнее расскажем про него.
В данном инструменте можно делить аудиторию как на равные сегменты, так и на сегменты с разными долями. Когда какие использовать:
• сегменты с разными долями используем, когда необходимо получать в одних тестируемых кампаниях больше трафика, чем в других;• равные сегменты — когда сравниваем больше двух текстов, креативов, стратегий и т. д.
Тестировать можно несколько кампаний против нескольких, несколько против одной или одну против одной.
Как мы рекомендуем работать с Экспериментами:
1. Создавайте сразу два дубля основной кампании, чтобы запускать две чистые кампании без накопленной статистики — так сравнение будет более точным.2. Используйте одинаковые настройки для всех параметров, кроме тестируемого.
3. Отдельно промечайте кампании в названии и с помощью UTM для упрощения сбора статистики.4. Останавливайте эксперимент и принимайте решение тогда, когда наберется достаточно статистики и станет видно, что одна из кампаний отработала значительно лучше другой. Корректно оценить результаты поможет «Калькулятор достоверности A/Б-тестирования» Яндекса.
Drafts and Experiments в Google Ads
2 инструмента для А/Б-тестов email-рассылок
Калькулятор достоверности А/Б-тестирования от Mindbox
В своей работе мы активно используем подход Growth Marketing, поэтому регулярно проводим А/Б-тесты в email-рассылках. Например, этим летом мы запланировали и провели 11 А/Б-тестов на разных сегментах и всей базе нашей рекламной рассылки (это свыше 900 000 адресов).
Такой подход помогает нам быстро внедрять лучшие практики в жизнь, повышать окупаемость инвестиций (ROI), влиять на конверсию: увеличивать долю пользователей, которые совершают целевые действия.
Что мы тестируем: • варианты темы письма и прехедера, • имя отправителя, • лучшее время и день отправки, • частоту отправки массовых рассылок, • длину письма, • дополнительные кнопки и блоки, • формулировки призывов к действию (CTA), • контент в письмах на разных сегментах аудитории.
Также А/Б-тесты помогают снизить риски при изменениях. Например, в ближайшие месяцы мы запланировали обновление дизайна рассылок, но сначала мы проверим его на тестовой группе. Как пользователи отреагируют на изменения? Как обновления в дизайне повлияют на метрики OR, CTOR, процент отписок, конверсию в заказы?
Когда продвигаешь сложный IT-продукт и работаешь с большим объемом базы, без А/Б-тестов не обойтись. Именно они помогают совершить кратный рост и увидеть зоны роста.
Мы используем в работе Калькулятор достоверности А/Б-тестирования от Mindbox. Сервис очень удобен, так как подходит для тестирования всех основных метрик email-маркетинга:
• открываемость писем (Open rate);
• количество кликов из письма по отношению к тем, кто открыл письмо (CTOR);
• количество отписок по отношению к тем, кто открыл письмо (UTOR);
• конверсия в заказы и другие показатели.
Каждый раз перед тем, как запустить тест, мы рассчитываем размер выборки, необходимой для проведения эксперимента. Важно знать, сколько пользователей нужно включить в тестовую выборку, чтобы получить достоверные результаты.
В сервисе как раз есть удобный функционал, в котором можно рассчитать размер выборки, указать средний показатель и ожидаемый абсолютный прирост, процент достоверности и мощности.
Затем на этапе подведения итогов мы опять возвращаемся к сервису Mindbox, чтобы понять, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.
В сервисе можно не только увидеть, какой вариант лучше, но и посмотреть процент конверсии и доверительный интервал.
Sendsay
В своей работе мы используем встроенный функционал для А/Б-тестов в сервисе Sendsay. Через Sendsay мы отправляем массовые рекламные рассылки. Раньше, когда мы пользовались самописным решением для отправки рассылок, нам приходилось вручную выгружать адреса, делить их пополам и заново по очереди загружать в систему, чтобы провести А/Б-тест. Это было долго и не очень удобно, особенно, когда нужно оперативно протестировать какую-то фичу.
В Sendsay всё настраивается автоматически в разделе А/Б-тестов. Сервис предлагает выбрать, что именно мы хотим протестировать (тему письма, имя отправителя, контент, время отправки). Также можно настроить процент тестовой группы и условия для победы.
Умные алгоритмы сами выберут вариант-победитель на основе поведения пользователей и отправят на оставшуюся часть аудитории лучшую версию письма.
Например, недавно с помощью Sendsay мы тестировали следующую гипотезу: «Если добавить эмодзи в тему скидочной рассылки, открываемость увеличится на 3%». Так выглядели итоги теста. Оба варианта письма расположены рядом, снизу представлена подробная статистика по каждому письму — это очень удобно и наглядно.
Как грамотно провести А/Б-тесты — советы специалистов
В маркетинге очень много работают с тестированием — от посадочных до объявлений, я же по большей части занимаюсь интерфейсами. Однако провести тест — это примерно 20% работы. Куда сложнее понять, что именно нужно тестировать и как измерять результат. Для этого нужно сформировать правильные гипотезы и только потом их тестировать.
В своей работе я придерживаюсь следующего алгоритма.
Провожу исследование продукта и целевой аудитории. Без этого невозможно понять, как работает продукт и какие проблемы клиентов он закрывает. Хорошим решением будет проведение интервью с продактом или фаундером проекта — нужно расспросить их о целях и задачах продукта.
Юзабилити-аудит по инсайтам, полученным на первом этапе. Он позволит выявить проблемные зоны в цепочках конверсии пользователей: не нашел форму оформления заказа, условия доставки и прочее. Уже на этом этапе должны быть сформированы первые гипотезы для улучшения продукта, но тестировать их еще рано.
Опрос и глубинное интервью с респондентами. Самое время проверить гипотезы, полученные во время общения с командой проекта и аудита. На этом этапе необходимо составить опросник для интервью и пообщаться с пользователями. Например, узнать, что для них было удобным при взаимодействии с сайтом, а что нет? Какие ситуации запомнились, когда они не смогли что-то найти или сделать на сайте? Заметили ли они изменения на сайте? Если да, то почему заметили — потому что им стало удобнее пользоваться сайтом или, наоборот, сложнее?
Глубинные интервью надо повторять до тех пор, пока аналитик не сможет предсказать почти все ответы респондентов.
UX/Usability-тестирование. На этом этапе важно убедиться в том, что проблемы, выявленные на прошлом шаге, действительно существуют. Для этого готовим тест-кейсы — это небольшие задания для пользователей: например, найти рецепт борща на сайте с помощью фильтров или скачать прайс-лист. Ищем респондентов из ЦА продукта — тех, кто ни разу не взаимодействовал с продуктом. Часто бывает, что новые пользователи не испытывают проблем тех, кто давно пользуется сайтом: например, при обновлении навигации.
Составление ТЗ на тесты и проведение A/Б-тестирования. Вот теперь, когда у нас готовы ключевые гипотезы, можно проводить тесты.
Хорошая гипотеза должна четко отвечать на следующие вопросы:
• Что мы хотим изменить в продукте?• Какая метрика изменится в результате?• На ком мы будем измерять результат?• На сколько изменится нужная метрика?• За какой период мы получим данные?
Удачи вам с A/Б-тестами и не забывайте правильно генерировать гипотезы!