Главное Свежее Вакансии   Проекты
Продвинуть свой проект
😼
Выбор
редакции
1 008 0 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Как проверяют гипотезы в Skyeng

Светлана Аюпова, продакт-менеджер в Skyeng рассказывает про продуктовый цикл в компании.

b_5d2ec933058d5.jpg

Как двигаться от дешевой проверки к дорогой?

В Skyeng мы прорабатываем сотни гипотез, но срабатывают только единицы. Из-за такого потока мы не можем глубоко проверять каждую из них. Поэтому мы всегда стараемся дешево проверять идеи на старте и работать только с теми, которые подтвердились в самом начале и потенциально могут принести нам профит. Дешевая проверка может быть вообще любой - даже прототипом, с которым мы пойдем в парк к мамам и спросим, как у них дети учат английский. На этом этапе главное просто отрезать то, что точно не принесет нам выгоды, точно не сработает даже в идеальной вселенной.

А в конце, на последнем этапе, мы проводим сплит-тестирование. И это очень дорого. Чтобы провести нормальный сплит-тест, нужно большое количество трафика и много людей, поэтому мы можем проводить не больше одного-двух сплит тестирований ежемесячно. Так что до этапа сплит-тестирования доходит одна гипотеза из нескольких десятков.

Теперь представьте, что у нас есть какая-то короткая гипотеза. Например мы считаем, что разработчикам нравится ходить на конференции. Мы думаем, как проверить это. Запускаем опрос для разработчиков: «Ребята, вам нравится ходить на конференции?». Если мы видим, что 70% сказали, что им нравится – можно копать дальше. Если 0,5% сказали, что они без конференций жить не могут, а остальным это дело не нравится, то говорить больше не о чем. Мы поставили гипотезу, совершили действие, получили какие-то данные, проанализировали, поняли, что гипотеза – ерунда, мы с ней работать не будем. Из таких циклов и состоит наша повседневная работа.

b_5d2ecb526258f.jpg

Как ни печально, безжалостное убийство гипотез – важная часть нашего рабочего процесса. Мы уничтожаем гипотезы десятками. Обычно, когда продакты предлагают какую-то гипотезу, они прикипают к ней душой. Они же умные, они не могут придумать фигню. Они нашли ей подтверждение, где-нибудь в каких-нибудь cust-dev’ах, в статьях или где-то еще. Они практически неосознанно подталкивают людей к тому, чтобы они проголосовали за их гипотезу. В общем, продакты на свои гипотезы не нарадуются. Поэтому убивать гипотезы — это очень неприятно. Но необходимо.

Мы основываемся на здравом смысле и на данных. Качественные исследования – это для нас важный этап формирования гипотезы, но мы не принимаем решения лишь на основании этого. Любое решение, принятое в Skyeng, основывается исключительно на том, сколько денег нам принесет та или иная фича. Честно говоря, мы даже баги не правим, если они незначительные и их исправление нам не принесет профита.

Итак, с чего вообще начать проверку гипотезы?

b_5d2ecbbc64eb8.jpg

Предположим, что у меня есть продукт, его нужно улучшить, как-то повысить ROI команды и прибыль. Нужно понять, где находится точка роста, куда вообще копать. Для начала мы определяем, на какую метрику мы хотим повлиять. Мы же не хотим просто сделать лучше - мы хотим увидеть конкретный результат. Определив место, на которое мы хотим повлиять, мы выбираем аудиторию, на которых мы хотим повлиять. И дальше вступает в действие мой cust-dever, мой ресерчер, который занимается этим на постоянной основе.

Ресерчер идет и исследует этих людей. Что у них больше всего болит? Что им мешает повысить эту метрику? Например, посмотрим на конверсию на сайте. Допустим, что это метрика, на которую мы хотим влиять, потому что она потом будет влиять на выручку. Условно говоря нам нужно опросить тех людей, которые вернулись на сайт, поговорить с ними и выяснить, почему они приняли это решение? Что их зацепило? Потом мы спрашиваем тех, кто у нас на сайте побывал, но заявку не оставил. Это сложнее, но это важный шаг - так мы исключим “ошибку выжившего”.

“Ошибка выжившего” – это феномен, заставляющий нас неверно оценивать ситуацию и принимать неправильные решения. Например, многие слышали о том, что дельфины спасают людей, подталкивая тонущих к берегу. Мы это знаем со слов выживших. Но никто не знает, сколько людей эти дельфины толкали в противоположном направлении, в открытое море. “Ошибку выжившего” нужно исключить, и поэтому крайне важно работать со всеми категориями людей, которые могут стать нашими клиентами.

У нас есть продуктовый аналитик, который ежедневно просматривает большое количество данных, визуализаций, графиков и ищет на них отклонения. Если мы видим какой-то выброс, то это означает одно из двух: либо у нас там что-то сломалось и это нужно исправить, либо там что-то поломалось, но это нужно масштабировать на всю компанию, чтобы это так сломалось у всех - если выброс положительный, а такое тоже бывает нередко.

Аналитик смотрит данные во всех разрезах - демография, география, пути использования продукта - и ищет узкие места. Если мы говорим про обычную воронку, то на одном из этапов обычно отваливается больше всего людей и нас эта точка волнует больше всего. Изменения здесь дадут наибольший финансовый результат.

Как правильно рассчитать финансовую выгоду?

b_5d2ecc79b5020.jpg

Бывают гипотезы, которые никогда и ни за что не дадут нам прибыли и роста метрик. Для того, чтобы их проверить, часто нужен только листок бумаги. Ну и калькулятор, если у вас плохо с арифметикой. Сколько мы заработаем, изменив или добавив что-то? На этом же этапе мы можем даже попробовать продать это изменение, даже если фичи у нас еще нет - например, пообещать ее запустить, если клиенты покажут спрос. Практически всегда мы стараемся проводить новые фичи через sales first.

Вот очень наглядный пример процесса. Еще до Skyeng я работала в компании, где команда с гордостью говорила: «Мы две недели пилили и сделали очень классный sharing в Facebook, чтобы получить новые лиды и новых пользователей, знающих о нашем продукте». Отлично, а зачем? Давайте-ка подсчитаем.

Продукт стоит 50 000, маржинальность у него - 20%. За какую скидку люди захотят поделиться вашей страницей в своем родном Facebook? Допустим, 10%, то есть 5 000 рублей. Предположим, что 100 человек пошарило, получило скидку и теперь у нас где-то висит 100 репостов.

Сколько у человека друзей в Facebook? На самом деле порядка 150, ну максимум 200. Итак, потенциальный охват - 20 000. Мы можем получить такую цифру, если у нас классные пользователи и никто из поделившихся ссылкой не удалил ее через два дня. Но алгоритм Facebook показывает репосты не всем. И мы получим только 20% от этой толпы, то есть реальный охват составит 4 000 человек. Из 4 000 людей по ссылке кликнет 0,5-1%. Ок, предположим, что у нас супер-продукт и по ссылке перейдет аж 5% – то есть 200 человек. Идем дальше по воронке, 5% – это хорошая конверсия в заявку. В итоге получаем 10 заявок и 3 продажи по 50 000 рублей каждая. То есть 150 000 рублей выручки.

Но на самом деле это все враки. Выручки-то мы получили 150 000, а прибыли с учетом маржи – 30 000 максимум. А теперь давайте вспомним, что мы давали сотне человек 5 000 скидки - не от выручки, а от прибыли. 500 000 потратили, а получили 30 000. Как вы думаете нужно ли было эту гипотезу проверять и нужно ли было это фичу делать? Наверное, нет.

Значительная часть гипотез не нуждается в дорогой и достоверной проверке. Почти сразу понятно, что они не сработают и не могут сработать. Наша задача – как можно быстрее и как можно дешевле проверять огромное количество гипотез, чтобы найти те бриллианты, которые стоит проверять в дорогих сплит-тестах.
+2
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Первые Новые Популярные
Комментариев еще не оставлено
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать
Комментарии