Гайд по продуктовым исследованиям: опыт SkyEng, Carrot quest, Miro и Дом.ru
Компания Carrot quest провела очередной митап Perm Product People, на котором обсуждали внутренние исследования в продуктовых компаниях. На него приезжала Алиса Вельмискина, user researcher в Skyeng. Она рассказала, как команде исследователей Skyeng удалось подружить user research и data-аналитику, и поделилась опытом организации исследований. К ней присоедились Катя Сюма, продуктовый дизайнер Miro, и Максим Головкин, head of web & mobile Дом.ru, чтобы рассказать, как исследования устроены в их компаниях. Вопросы ребятам задавал Дмитрий Сергеев, CEO & founder Carrot quest.
На этапе разработки проведение качественных исследований может сэкономить время и ресурсы на внедрение ненужных вещей. А позднее исследования позволят вам понять, как повысить значения ключевых метрик и ускорить процессы. «9 из 10 гипотез не работает. Их нужно быстро верифицировать. Для этого нужны качественные исследования. Исследования — это про то, чтобы быстрее качественно делать свою работу. От этого все кайфуют». Дмитрий Сергеев, CEO & founder Carrot quest Специфика продуктовых исследований состоит в том, что у них должен быть максимально короткий цикл, потому что чем раньше произойдет столкновение какой-то идеи с реальностью, а команда получит обратную связь, тем меньше потерь (временных, денежных и прочих) понесет компания. Цель исследования должна быть конкретной. Нельзя исследовать слишком общие вещи. Например, вопрос «почему люди не покупают продукт?» не годится в качестве цели исследования. Более конкретный вопрос «Как пользователи переходят от чтения блога к регистрации в сервисе?» уже может дать старт исследованию. «Когда начинаешь копаться в метриках, в какой-то момент попадаешь в „область тьмы“. Метрики закончились, дальше — непонятно. Здесь и начинаются качественные исследования». Максим Головкин, Head of web & mobile Дом.ru При этом важно не начать исследовать все подряд, а сразу отметать ненужные исследования и исследования с бракованными целями и задачами. «Мы принимаем решение о том, что нам нужно исследование, только когда у нас недостаточно знаний». Катя Сюма, Продуктовый дизайнер Miro Как отличить бракованные задачи? Если с задачей все в порядке, мы четко понимаем, для чего нам нужна информация и что мы будем с ней делать. Если мы хотим что-то узнать, но понятия не имеем, что нам это даст, то такая задача — брак. Все зависит от задач, которые вы ставите перед исследованиями, и от размеров компании. В больших компаниях, как правило, исследованиями занимается отдельная команда. Например, в Skyeng работает команда исследователей, которая занимается только тем, что собирает инсайты для продуктовых команд. При этом исследователи, с одной стороны, распределены по продуктовым командам (и ими руководят продакты), а с другой стороны, объединены в команду исследователей, которой управляет руководитель горизонтали. В этой схеме продакты отвечают за бизнес, а руководитель горизонтали — за развитие сотрудников. Отдельная команда исследователей, которые делают большие исследования для продукта и маркетинга и заодно учат остальных, работает и в Дом.ru. Другой вариант — разово собирать кросс-функциональную команду специально под исследование. В Miro исследования проводят смешанные команды из продактов, дизайнеров и разработчиков, для которых исследования — это дополнительная функция, и есть data team, которая тоже активно участвует в качественных исследованиях и проводит свои — количественные. В Carrot quest исследованиями занимаются разные люди и разные команды, в зависимости от задачи, в том числе команда гроус хакинга, которая занимается верификацией гипотез непрерывно. «Если компания data-informed, то культура исследований будет зарождаться и процветать». Катя Сюма, Продуктовый дизайнер Miro Не впадайте в панику, глядя на этот список: вы можете не обладать всеми этими скиллами сразу, но у вас точно будет возможность их развить, если вы займетесь продуктовыми исследованиями. «Исследования помогают мне развиваться как дизайнеру. Они помогают опрокидывать собственные решения, относиться к ним более отстраненно. Больше итерировать. Исследования развивают скорость и эмпатию». Катя Сюма, Продуктовый дизайнер Miro В продуктовых компаниях применяют и совмещают разные методы: Когда речь идет о продуктовых исследованиях, то чаще используются качественные методы (потому что так удобнее для коротких итераций). Но опыт Skyeng и других компаний подтверждает, что иногда бывает полезно дополнить знания, полученные в результате качественного исследования, количественными: например, провести ряд глубинных интервью и заодно проанализировать количественные данные по исследуемому сегменту. Или наоборот, в количественных данных можно найти «боль» пользователей, а качественное исследование, в свою очередь, может помочь ее закрыть. «Смешанные методы — это круто». Алиса Вельмискина, User researcher в Skyeng Иногда можно обойтись каким-то одним методом. Например, глубинными интервью или сбором фидбэка. Но можно их успешно сочетать. Юзабилити-тесты можно дополнять короткими интервью, сбор фидбэка — кабинетным исследованием. Выбор зависит от задач исследования и от возможностей, которыми располагает команда. Бывает так, что команда находится в одном полушарии, а пользователи продукта — в другом. В этом случае все инструменты автоматически становятся удаленными, хотя суть их остается прежней. То есть это будут те же коридорные тесты, но с использованием Skype или Zoom, и те же интервью, но, например, телефонные, без возможности считывать эмоции собеседника, то же наблюдение, но через вебвизор. На самом деле, в продуктовых компаниях чаще всего так и происходит. Вам понадобится сформулировать: А также выбрать сегмент пользователей, на котором вы будете проверять эти гипотезы, и составить такой гайд (список вопросов), который позволит охватить все задачи исследования. Хак: не спрашивайте о том, что сделал бы ваш респондент, спрашивайте о его прошлом опыте. Тогда он не сможет вам соврать, а вы не станете развивать свой продукт не в том направлении. Своих пользователей можно приглашать пройти интервью или опрос через внутренние сообщения, мессенджеры или рассылки. Здесь тоже пригодятся смешанные методы: вы можете в самом начале исследования отсортировать внутренних респондентов, опираясь на количественные данные, которыми располагаете. Есть хорошие новости: замечено, что недовольные пользователи всегда с удовольствием делятся своими негативными впечатлениями. Используйте это! «Ребята, которые отвалились, очень любят говорить о том, почему они это сделали. Недавно мне написал один такой: „Я отвалился, МОГУ ПРИЙТИ И РАССКАЗАТЬ ПОЧЕМУ“». Дмитрий Сергеев, CEO & founder Carrot quest Сложнее найти тех, кто не является вашим пользователем и не касался вашего продукта и при этом подходит под определенные критерии. Как это можно сделать? Таких респондентов в каждом отдельном случае, как правило, приходится искать вручную. Можно попробовать сделать это через профессиональные сообщества в слэке, телеграме или фейсбуке. Кстати, канал Perm Product People в телеграме — как раз одно из таких сообществ. Еще можно попросить текущих пользователей поделиться с вами контактами коллег. В любом случае, планируя исследование, не забудьте заложить время на поиск подходящих респондентов. Придумайте вступление и вводные вопросы. Расскажите о том, чем вы занимаетесь. Расскажите, как для вас важно сделать продукт лучше для пользователей. Пусть участие в исследовании будет для пользователей положительным опытом. Основные правила: Не забывайте поблагодарить участников исследования! Обязательно — в конце разговора, и можно сделать это еще раз в письме. Чтобы научиться задавать правильные вопросы, ответы на которые не уведут вас в ложном направлении, советуем прочитать хотя бы один раз книгу Роба Фицпатрика «Спроси маму» и как можно больше практиковаться в проведении интервью. Всегда по-разному. Для качественных исследований действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить все или почти все конфигурации смысла и опыта, важные для исследования, но в то же время не быть слишком большой (тогда она становится контрпродуктивной). Принцип такой: если информация начинает повторяться, значит, пора остановиться. «Помните, что в качественных исследованиях, в отличие от количественных, количество выборки нельзя оценивать статистически». Алиса Вельмискина, User researcher в Skyeng Качественные исследования нацелены на реконструкцию смысла, а не на статистические обобщения. Череду методов и набор фреймворков для анализа полученных данных каждый выбирает сам, тут нет универсальной формулы. «Когда я пыталась использовать разные фреймворки (CJM, JTBD и другие), у меня всегда получался какой-то свой монстр-фреймворк, потому что я начинала их миксовать и в результате получалось что-то новое, очень кастомное». Катя Сюма, Продуктовый дизайнер Miro Чем раньше вы начнете сами проводить исследования, тем быстрее научитесь подбирать и сочетать между собой подходящие именно вам фреймворки. Оценивать эффективность исследований непросто. Еще сложнее посчитать, оправдывают ли результаты исследований потраченные на них ресурсы. Когда можно считать, что исследование удалось? «Если мы провели исследование и получили ответы на все вопросы, которые стояли в качестве задач исследования, подтвердили или опровергли все гипотезы, которые у нас были, исследование можно считать успешным». Алиса Вельмискина, User researcher в Skyeng Если вы ответили на все вопросы, а инсайтов нет, значит вопросы были сформулированы некорректно. Поэтому так важно фильтровать исследования на входе и не брать в работу «брак». «Я стараюсь всегда, даже если иду с ребятами что-то тестить в офисе, написать гипотезу, которую я проверяю, и потом ее скорить». Катя Сюма, Продуктовый дизайнер Miro В идеале должен появиться список рекомендаций, то есть конкретных действий по улучшению продукта, который исследователи передают команде продукта. А продакты дальше с этим списком работают: дополняют его, приоритизируют и отдают разработчикам. Так делают в Skyeng. «Важно, чтобы это не были инсайты в стол, а чтобы в результате исследования генерировалось решение». Катя Сюма, Продуктовый дизайнер Miro Задача исследователей — дать продуктовой команде рабочие выводы и рекомендации, а не бесполезный манускрипт. В Skyeng разработали шаблон отчета — набор из нескольких вопросов, на которые ресечер должен ответить по завершении исследования. А команде уже передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, с цитатами и ссылками на источники (в том числе для того, чтобы не было соблазна по-своему интерпретировать данные). Если вы проводите много исследований и узнаете благодаря ним много нового, придумайте свой способ шэрить эти знания со всей командой. Например, ребята в Miro проводят внутри компании регулярную встречу Product Insights, а у нас в Carrot quest есть «рыбные четверги» — это такие внутренние митапы, на которых все команды по очереди делятся тем, что важного и интересного для всех они накопали. В Skyeng результаты исследований обсуждают на командных стендапах и публично презентуют заказчикам из других команд. Важно придумать, как удобно хранить результаты всех ваших исследований, чтобы к ним можно было вернуться в любой момент и проанализировать какие-то данные с новой точки зрения или соотнести их с новыми инсайтами. Исследования могут повторяться. Ваш продукт развивается, обстоятельства меняются, появляются новые проблемы и приходится проводить повторные исследования, одних и тех же вещей, но с другими целями и под другие задачи. Возможно, некоторые исследования вы решите сделать регулярными. Если исследований много, обязательно нужно создать единый реестр. Такой реестр создали ребята в Skyeng. Это таблица, организованная таким образом, чтобы было просто найти все исследования по разным темам. Сами заметки и выводы по каждому исследованию хранятся в Notion. Мы в Carrot quest для того чтобы приоритизировать гипотезы и хранить данные, относящиеся к ним, используем Favro. Вы можете выбрать для себя какой-то другой способ. Вы можете забыть спросить о чем-то (нехватка опыта, стресс при первом интервью, молчаливый или чересчур разговорчивый респондент). От этого спасет гайд. Чтобы этого избежать, нужно хорошо знать продукт и внутренние процессы. Помните, что ресурсы ограничены, и вы создаете продукт для пользователей, а не для команды Прежде чем приступить к исследованию, сравните, что дешевле по трудозатратам: исследование или А/Б тест. Если данных и инсайтов недостаточно, идите исследовать, чтобы пополнить копилку гипотез. «Если в компании культура „делать пользу пользователю“, то внутри, пусть не внутри каждого процесса и каждой фичи, но должна быть какая-то искра, которая зарождает исследование. Ты такой: „Я не уверен“. И в этом момент ты должен поговорить с пользователем, чтобы выяснить, почему ты не уверен. Так мы стараемся делать». Дмитрий Сергеев, CEO & founder Carrot quest И помните, что завещали нам ребята из Skyeng, которые съели собаку на исследованиях: смешанные методы — это круто, операционные процессы — точка роста, а внутренние исследования — источник инсайтов. Аминь. Спасибо Алисе, Максиму, Кате и Диме за то, что поделились знаниями и опытом
Почему в продуктовых компаниях любят исследования даже больше, чем в университетах
Как понять, нужно ли исследование
Кто должен заниматься исследованиями
Какие скиллы пригодятся исследователю
Как выбрать методы и инструменты
Как подготовиться к исследованию
Как найти респондентов
Какие вопросы и как задавать
Какую выборку считать достаточной
Как выделить инсайты из массива собранной информации
Как измерять эффективность исследований
Как внедрить результаты
Как хранить результаты
Какие есть риски?
Чек-лист
