Главное Свежее Вакансии Образование
😼
Выбор
редакции
21 465 0 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Как мы создали конвейер по тестированию гипотез

Основатель «Школы траблшутеров» Олег Брагинский и ученик Макс Колпаков делятся сокровенным: методикой массового тестирования идей.

На конкурентных рынках число проверенных гипотез коррелирует с темпом роста компании. Чем оперативнее и качественнее организация опробует предположения, тем быстрее растёт. Вероятность найти решение составляет 10-30%: сначала высока, затем резко падает, когда «низко висящие фрукты сорваны».

Учитывая небольшую долю побед, тестировать идеи необходимо «конвейером»:

1. 1 гипотеза * 50 недель * 25% = 15 успешных предположений за год

2. 3 пробы еженедельно имеют меньше шансов — 25%, однако дают 37 успешных рецептов

3. 5 попыток принесут 50 попаданий по году.


Рано или поздно увеличивать долю рынка текущих продуктов становится долго или дорого — нужно выводить новые.

Виды тестируемых гипотез:

1. Маркетинговые — какие призывы и форматы эффективнее. Статичная или видеореклама вебинарной платформы для непрерывного медицинского образования (НМО):


2. Продуктовые — какой продукт или функционал нужен пользователям. Объявление для проверки спроса на платформу для онлайн-тренингов:


Формулирование гипотез привязано к воронке AAARRR. Рассмотрим пример платформы для вебинаров и онлайн-встреч:

  • Awareness — информирование — реклама, статьи в СМИ, посты в социальных сетях.
  • Acquisition — привлечение — переход на сайт и заполнение формы регистрации.
  • Activation — активация — полезные действия — проведение первого вебинара или встречи.
  • Revenue — выручка — приобретение платного тарифа.
  • Retention — возвращение — регулярное проведение онлайн-мероприятий на платформе.
  • Referral — «сарафанное радио» — рекомендация продукта ближнему кругу.

Проверять гипотезы на этапе информирования быстрее и легче всего. Контрольная метрика — кликабельность объявлений (CTR), 1%+ подтверждает интерес аудитории. Изменения на сайте должны опираться на успешные тесты предыдущего шага. Цель: развить достигнутый успех.

Создаём канбан-доску со столбцами:


1. Идеи:

  • записываем на карточки в одноимённый столбец: собственные догадки, пожелания клиентов, инсайты продавцов: «видеореклама даст больший отклик, чем картинка»
  • запрещено уменьшать стоимость продукта — исключаем слова «скидка», «бесплатно», «акция».

2. Гипотезы:

  • описываем заголовок по структуре «Если сделаем Х, то изменится ближайшая метрика Y»: «Если предложим лидмагниты для проведения тренингов, получим CTR 1%+»
  • связываем эксперимент с квартальными / годовыми целями компании: Подтверждение спроса на платформу для онлайн-тренингов продвигает к цели «Вывести новый продукт на рынок»
  • прикладываем скрин / прототип с ключевыми текстами: чёрный шрифт на жёлтом фоне или минимальный дизайн в инструментах типа Canva:


  • указываем дополнительные контрольные показатели: число регистраций, продвижение по этапам воронки: конверсия из заявки в интерес
  • определяем рекламную площадку, аудиторию и устройства: Facebook, Instagram, бизнес-тренеры, настольные компьютеры и смартфоны
  • рассчитываем размер статзначимой выборки: обычно 2’000 показов, редко — 1’000
  • бюджетируем временные и денежные затраты: до рабочего дня и 10 тыс. руб.


3. Приоритезация:

  • презентуем гипотезы команде
  • отрабатываем возражения, уточняем детали, развеиваем сомнения
  • при нехватке ресурсов определяем, чьи предположения проверяем в первую очередь.

4. Запуск:

  • создаём рекламные объявления
  • стартуем показ на площадках.

5. Измерение:

  • фиксируем метрики ежесуточно
  • прикрепляем скриншот аналитики после достижения статзначимого числа показов — калькулятор.

6. Анализ:

· определяем, достигнут ли контрольный показатель и можно ли масштабировать полученные результаты:

да — переносим карточку в столбец «Успех»

нет или широкое повторение эксперимента невозможно — отправляем в «Неуспех»


Кликабельность объявлений одинаково высокая, однако заявки готовы оставлять далеко не все. Лучшая формулировка привлекла больше обращений по наименьшей цене.

  • фиксируем выводы в карточке, избегая споров о причинах побед и поражений — интерпретации не важны: Что стало понятно, что раньше было неочевидно?

при успехе: как можно масштабировать? Как использовать на следующих этапах воронки AAARRR: сайт, e-mail, соцсети?

при провале: что необходимо изменить, чтобы добиться цели?


Единая ценность сверхвостребована одной отраслью и неинтересна другой. Бессмысленно стучаться в закрытую дверь.

  • заносим в реестр гипотез.


Распространённые ошибки:

1. Отсутствие прозвона собранных заявок. Полученные отклики необходимо проверить: слишком интересное предложение привлекает нецелевых людей.

2. Неточный таргетинг. Использование look-alike-похожих аудиторий может радикально снизить точность эксперимента. Сегмент, похожий на 2’000 корпоративных бизнес-тренеров, содержит 460’000+ человек, куда попадают репетиторы, учителя школ, лекторы вузов и даже увлечённые педагогикой молодые мамы:


При работе с узкими сегментами допустимы только вручную собранные базы. Для продвижения по аудитории НМО раздобыли доступы к порталу Минздрава и выгрузили контакты организаторов обучения:


3. Риск испортить репутацию. Учитывая долю провальных гипотез в 70-90%, высока вероятность получить негатив от целевой аудитории. Крупные компании нуждаются в перестраховке: лучше использовать нейтральные названия, не ассоциированные с брендом: «Платформа для онлайн-коммуникаций»

Конвейерная проверка предположений требует иной системы мотивации:

  • высокая заработная плата позволяет проверять смелые идеи
  • премию стоит начислять за успешные гипотезы с потенциалом масштабирования.

Отдача от продуктивной команды роста высока. Подтверждение спроса на онлайн-тренинги открыло рынок в 29’000 компаний на 3,2 млрд руб. Валидация сегмента непрерывного медицинского образования (НМО) принесла дополнительную выручку в 12 млн руб. Вложения в проверку гипотез окупились многократно.

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.