5 пользователей для юзабилити-тестирования: много это или мало

В юзабилити-тестировании мы ищем ошибки пользователей, возникающие при работе с интерфейсом, а не спрашиваем их мнение. На что это влияет?

Мнение – это субъективная оценка. Чтобы узнать мнение пользователей о продукте – придется опросить много людей из целевой группы (насколько много, зависит от размера и однородности целевой группы) и обобщить полученное знание.

Проблемы интерфейса – это объективная данность, их не нужно оценивать, их нужно найти. И вот для этого много людей не надо. Достаточно 5 человек. Если проблемы есть – пользователи с ними столкнутся. Пять человек найдут 85% ошибок, 15 человек – найдут 100%, но лучше потратить деньги на 15 респондентов и провести три теста (например, протестировать несколько прототипов дизайна), чем потратить все деньги на один.

Предыстория.

Первым про 5 человек написал Якоб Нильсен (Nielsen Norman Group).

Основываясь на своих эмпирических исследованиях он построил модель, показывающую зависимость между числом найденных проблем и числом пользователей.

Кривая Нильсена и Ландауера

Из графика видно, что для охвата 100% юзабилити проблем потребуется 15 пользователей. Почему же тогда рекомендуется остановиться на 5?

Во-первых, это ROI (окупаемость инвестиций): первый пользователь даст вам 30% проблем, второй – частично совершит те же ошибки, что и пользователь №1, но добавит к ним еще несколько своих собственных, вклад третьего, четвертого и пятого пользователей будет еще меньше. Чем больше пользователей – тем меньше новой информации вы получите. А стоит каждый новый пользователь столько же, сколько и первый, вклад которого был наибольшим.

Во-вторых, задача заказчика юзабилити исследования – улучшить дизайн существующего интерфейса. После улучшения нужно провести повторный тест и удостовериться, что все удалось. Зачем? Потому что юзабилити тестирование помогает обнаружить проблемы, но нет никакой гарантии, что в новом дизайне вы найдете оптимальное решение для этих проблем. На повторном юзабилити исследовании вы сможете протестировать новый дизайн, плюс обнаружите большинство из оставшихся 15% проблем старого дизайна, еще 2 оставшихся процента вы добьете на третьем исследовании.

Тут можно возразить, что проведение 3 юзабилити тестирований в любом случае гораздо дороже, чем проведение одного.

Если речь идет о классическом юзабилити тестировании, в котором заказчик платит за респондентов, аренду лаборатории, работу юзабилити-экспертов, анализ результатов – да, дороже, и значительно.

Когда и кому нужно проводить много юзабилити-тестов?

Например, когда вы только начали разрабатывать новый интернет сервис или новое приложение. На начальных этапах возникает много вопросов по поводу будущего внешнего вида продукта и его внутренней логики. Многие из этих вопросов решаются проведением пользовательского юзабилити-тестирования, ведь именно пользователи в конечном счете определяют, взлетит ваш сервис (стартап, приложение – нужное подчеркнуть) или не взлетит.

Затраты можно сократить, если воспользоваться площадками для проведения краудсорсинговых юзабилити-тестирований. В этом случае заказчик размещает заказ на тест на специальной интернет-площадке и платит только за тестировщиков. Все площадки легко найти в интернете, в основном они зарубежные, но есть и несколько отечественных, в России краудсорсинговые юзабилити тестирования проводит площадка, которая так и называется - Краудсорсинговое тестирование - юзабилити-тестирование, естественно.