Как мы делаем A/B‑тесты во VK Mini Apps: от гипотез до MyTracker и ClickHouse

От того, насколько грамотно выстроен онбординг, понятен призыв к действию и удобен пользовательский путь, зависит не только первый запуск, но и вероятность возврата, Retention, а в дальнейшем и конверсия в оплату.

Мы, как команда, разрабатывающая мини-приложения для VK, делимся практическим подходом: как запускать тесты, какие инструменты использовать и что реально влияет на результат. Все кейсы — на основе реального опыта, с использованием исключительно российских решений и без сторонних SDK.

Что тестировать

A/B‑тест можно применить практически к любому элементу в мини-приложении. Главное — не пытаться менять всё сразу. Ниже основные зоны, где A/B‑тесты действительно работают:

1. UI-элементы: форма кнопки, её цвет, размер, расположение. Даже замена «ОК» на «Начать» может увеличить конверсию на 10–15%.
2. Призыв к действию (CTA): краткость против объяснений, «Бесплатно» против «Попробовать» — каждый вариант влияет на мотивацию пользователя.
3. Онбординг: пошаговый или мгновенный, с подсказками или без, с прогрессом или без него — всё влияет на вовлечение.
4. Механики монетизации: момент показа платного контента, расположение кнопки оплаты, текст до и после.
5. Push-уведомления и рассылки: не только текст, но и время отправки, заголовки, тональность.

Каждый тест — это гипотеза. Без гипотезы запускать тест бессмысленно. Она должна звучать как: «Если мы сделаем Х, то получим Y».

Как мы делим пользователей

Существует несколько подходов к сплиту трафика на группы. В мини-приложениях ВКонтакте мы используем такой алгоритм:

1. Инициализация группы: при первом заходе пользователя мы случайным образом определяем его группу A или B. Делается это через генерацию случайного числа или на основе User ID с хешированием.
2. Сохранение идентификатора группы: результат сохраняем в VK Storage или localStorage, чтобы пользователь не переходил между группами.
3. Отправка в аналитику: каждый последующий шаг (событие) отправляется в MyTracker или ClickHouse с указанием группы.
4. Гарантированная консистентность: при следующем запуске приложение уже знает, в какой группе пользователь, и отрисовывает соответствующий интерфейс.

Это позволяет не только собирать корректную статистику, но и анализировать поведение пользователя в рамках одного сценария.

Инструменты

Мы работаем исключительно с российскими решениями, которые подходят под любые задачи аналитики и A/B‑тестов:

1. MyTracker: визуальные отчёты, сегменты, Retention по группам. Удобен для маркетинга и менеджеров. Позволяет быстро строить воронки и смотреть, где отваливаются пользователи.
2. ClickHouse: аналитический движок, в который мы логируем события с указанием группы, действия, времени, источника трафика. Быстрые SQL-запросы позволяют гибко сравнивать группы.
3. VK Bridge: с его помощью определяем пользователя, сохраняем группу, получаем user_id и другие параметры. Это базовая прослойка между приложением и платформой VK.
4. PostgreSQL: для кастомной сегментации и глубокого анализа по ID. Используется в сложных проектах.
5. VK Ads: рекламные кампании можно использовать как внешний A/B‑тест. Показываем разные креативы, ведущие на разные сценарии приложения.

Как выглядит тест

Недавний кейс: тест главного экрана входа.

1. A-группа: минималистичный экран, кнопка «Начать», белый фон, минимум текста.
2. B-группа: поясняющий текст, инфографика, кнопка со стрелкой, цветной фон.

Через 3 дня активной выборки:

1. Конверсия на вход у группы A — 42%, у группы B — 35%;
2. Retention на 7 день выше у группы B: 38% против 30%;
3. ARPU практически не изменился.

Вывод: комбинируем. Берём интерфейс из A, но сохраняем часть пояснений из B в виде подсказок при первом запуске.

Советы

1. Один тест — один параметр: иначе вы не поймёте, что сработало. Тестируйте заголовок, а не заголовок и кнопку одновременно.
2. Выборка от 300 пользователей в каждой группе: иначе нет статистической значимости. Лучше дождаться, чем сделать неверный вывод.
3. Не забывайте про источник трафика: реклама даёт другую аудиторию, чем органика.
4. Тестируйте в контексте: одно и то же изменение может дать разные результаты утром и вечером, на Android и iOS, в будни и выходные.
5. Анализ — это не только цифры: смотрите в сессии, тепловые карты (если есть), задавайте вопросы пользователям.