Кейс стади работы с первым клиентом lostroombcn.com
Предистория или «Growity — это вообще кто?»
Около года назад появилась идея сделать «самый лучший» сервис для conversion rate optimization. Первые пару месяцев заняли ознакомление с законодательной базой, подготовка дизайнов, регистрация доменов, настройка серверов и инфраструктуры и прочие хлопоты. Затем появился первый программист, написавший часть сервиса за первый месяц и прекративший работать на второй. Потом первый маркетолог. Потом первые программисты на полный рабочий день, смена маркетолога, немного пота и крови и вуаля — через 10 месяцев появился MVP. Да такой, что мы сразу нашли, с кем его попробовать (ничего удивительного, впрочем, это друг).
Теперь мы работаем, как агентство по оптимизации конверсии, используя свой собственный продукт.
Ну, и хватит воды, вот вам реальный пример, на что стоит обращать внимание при проведении экспериментов.
Начало.
Мы начали работу с установки нашего кода и знакомства с имеющимися событиями и целями на сайте клиента. Частью нашего сервиса является расширение Google Analytics — добавление событий показов и взаимодействий с разными элементами, глубина проскролла на странице, была ли страница действительно увидена или пользователь открыл новую вкладку, только чтобы закрыть (и такое бывает). Всё это нужно, чтобы точнее понимать, где и как растить конверсию. В яндекс.метрике всё это уже есть, но мы ориентированы больше на зарубежных клиентов, у которых Google Analytics.
Нулевой тест или эксперимент ради эксперимента.
Чтобы убедиться, что весь процесс выстроен корректно, мы запустили пробный тест, который не влияет на конверсию. Просто поменяли запятую на тире на всех страницах в подвале. Таким образом мы убедились, что контрольная и тестовая группы делятся корректно и конверсии на всех этапах не отличаются значительным образом (статистически значимым, если быть точным).
Первый тест или почему нельзя доверять CRO-системам.
Анализ других CRO-систем обнаружил очень интересный момент технической реализации большинства из них (например VWO). Чтобы избежать миганий и прыганий на сайте после выполнения экспериментов они просто скрывают сайт за белым экраном. Выглядит это как будто идёт загрузка сайта. Всё бы ничего, но только это замедляет сайт, что может сказаться на конверсии (все же знают, как медленный сайт её снижает). И самая главная проблема, что эта система никоим образом не сможет это обнаружить. В код, который устанавливается на сайтах, уже вшит этот белый экран, поэтому тут просто не может быть настоящей и чистой контрольной группы.Так вот это мы и решили проверить - да, конверсия может снижаться на 5% (в нашем случае было 4.63% со значимостью 90%). Google Optimize вот не делает такого и бесплатен, поэтому если вам достаточно трех одновременных тестов, можно брать.
Мы же проблему с мерцанием решаем по-другому. Для каждого теста у нас генерируется так называемый Style Guard, который предотвращает проблему на уровне стилей ещё до загрузки страницы сайт. Индивидуальный подход к каждому клиенту и к каждому тесту — вот наш конёк!
Внутренние проблемы или почему нельзя доверять даже себе.
Естественно, мы радеем за бизнес не меньше его владельца. Поэтому пристально и регулярно проверяем результаты и статистику. Ну и конечно, в процессе была найдена пара расхождений. А чего вы ожидали, это же MVP... могли мы попробовать оправдаться в случае проблемы с нашей стороны. Но нет, проблема оказалась на стороне клиента. На сайте lostroombcn.com (кстати, будете в Барселоне, заходите) все посещения считались дважды. Ну, это достаточно популярная проблема. Один раз просмотр страницы (pageview) падает с счетчика Google Analytics, другой с Google Tag Manager.
Вторая проблема оказалась куда интереснее. В нашей системе не хватало N процентов от заказов (клиент просил не раскрывать конкретные цифры, но там было достаточно для беспокойств). Мы перебрали все варианты и четко локализировали проблему - iPhone. Естественно, мы подумали, что проблема в нашем коде для тестов. Нет! Ну, тогда блокировщики рекламы. Тоже нет! Мистическим образом наш код просто не отрабатывал. Проверяем код сайта, а нашего кода там и нет. И действительно, после нескольких циклов проверок и сбора неопровержимых доказательств на сайте был найден застарелый баг (для iPhone показывалась отдельная версия, на которую забыли добавить наш код). И ведь ни одна CRO-система не в состоянии обнаружить недостаток конверсий в обеих группах (у нас отличный шанс сделать первую).
Заключение.
Будьте внимательны к тестам и боги CRO обязательно пошлют вам увеличение прибыли!
В следующий раз напишем о результатах всех 5-ти запущенных тестов и поделимся ещё вестями с полей.
P.S. Приятный сюрприз: если вам нужна бесплатная консультация по A/B-тестированию и Conversion Rate Optimization — смело пишите. Мы постараемся рассказать вам, как собственными силами сделать то же самое, что и выше.