Тестирование интерфейса SaaS сервиса

Зачем менять интерфейс?

В любом сервисе один из основных показателей эффективности - процент активации. Это показатель, который показывать какой процент зарегистрированных пользователей совершает нужное действие. Например, в компьютерных играх, это может быть прохождение обучения, в сервисе голосовых рассылок - это создание первой рассылки.

Чем больший процент пользователей совершает рассылку, тем понятнее и эффективнее сервис (не говоря уже об увеличении количества оплат), этот показатель так же можно назвать "конверсия в первую рассылку".

Итак, после редизайна админки, наш интерфейс создания рассылки выглядел следующим образом:

На мониторе 15" он занимал 2-3 экрана в высоту, при этом пользователю надо было заполнить около 5и обязательных полей.

Показатели эффективности и инструменты их измерения

Перед тем как менять интерфейс, нам надо определить показатели по которым мы будем сравнивать эффективность интерфейса.

1. Процент сделавших первую рассылку (конверсия C1)

Это показатель будет основным, на основе его мы будем принимать решение. Давайте его уточним: процент тех пользователей, которые сделали первую рассылку из всех кто зарегистрировался за 30 дней (выборка достаточно хорошая).

2. Среднее и медианное время создания первой рассылки

Это вспомогательные показатели, они могут подтверждать верность нашего выбора если коррелируют с первым показателям, если корреляция отрицательная - это повод задуматься.

Среднее время - это усредненное время, которое прошло с момента регистрации до момента создания первой рассылки для всей выборки. Медианное время - такое число, что половина отрезков между регистрацией и созданием рассылок меньше этого числа, а половина - больше.

Показатели старого интерфейса:

• сделали первую рассылку 31% пользователей
• среденее время - 1 день 7 часов 16 минут
• медианое время - 10 минут 43 секунды

Напомним, это данные для статистически значимой выборки (в это углубляться не будем, это тема другой статьи) для интервала 30 дней.

Новый интерфейс и сравнение его со старым

В нашей компании работа построена по HADI-циклам, была выдвинута гипотеза:

Если упростить интерфейс создания голосовой рассылки, то это повысит конверсию в создание первой рассылки на 40%

Для того, чтобы повысить конверсию было принято решение упростить интерфейс создания рассылки, убрав необязательные пункты в "Дополнительные настройки".

В итоге мы получили такой интерфейс:

В этом интерфейсе всего 2 обязательных пункта, остальные - необязательный и скрыты в списке дополнительных настроек. Такая форма влезает на один 15" монитор.

Пока рано делать окончательные выводы, тк мы еще не собрали достаточно данных, но мы можем подвести предварительные итоги:

Сделали первую рассылку:

• в старом интерфейсе 31% пользователей
• в новом интерфейсе 53,3% пользователей

Среднее время:

• в старом интерфейсе 1 день 7 часов 16 минут
• в новом интерфейсе 5 часов 27 минут

Медианное время:

• в старом интерфейсе 10 минут 43 секунды
• в новом интерфейсе 4 минуты 13 секунд

Выводы

Пока рано делать окончательные выводы (необходимо дождаться окончания теста), но уже можно сделать предварительные выводы о том, что новый интерфейс гораздо лучше.

Для внутренней аналитики продукта мы используем amplitude - сервис продуктовой аналитики (диаграммы из скриншотов - из него), он бесплатно обрабатывает до 10 млн событий в месяц, этого количества нам вполне хватает. Кроме строительства графиков он сам считает множество показателей, все показатели, использованные для этой статьи мы посчитали в amplitude.

Так же важно заметить, что тестирование и улучшение - процесс бесконечный, и тесты необходимо проводить непрерывно. Если интересно, в следующих статьях мы расскажем о том, какие еще тесты мы проводим!