A/A-тесты: что это и как их проводить

Представьте: вы подготовили эксперимент, оформили дизайн теста и готовы его запустить. Однако как убедиться в том, что на результаты влияет только то изменение, которое вы собрались проверять, а не, скажем, неравномерное распределение трафика на сайте или что-то еще? Как убедиться в том, что тестовая среда соответствует критериям проверяемости? Тут-то и пригодится A/A-тест.

A/A-тесты — это эксперименты, в которых сопоставляемые версии страницы или кампании идентичны между собой. Проведение таких тестов выявляет отклонения и технические проблемы, связанные с платформой. Работа над ними, в свою очередь, снижает вероятность ошибок в результатах A/B-тестов.

Иными словами, A/A-тесты делают экспериментальную среду контролируемой, выравнивают поле перед игрой.

Как проводить

При подготовке к A/A-тестам и их проведении важно соблюдать последовательность действий. В целом они почти не отличаются от алгоритма для A/B-тестов, но для закрепления мы их повторим.

1. Настраиваем эксперимент. На этой стадии определяем страницу, которую будем тестировать, выбираем оценочные метрики, задаем продолжительность теста и размер выборки, разбиваем ее на группы A и A’. Дальше система тестирования сама распределит трафик по этим вариациям.
2. Проводим тесты. В большинстве случаев эксперимент будет идти до тех пор, пока не наберется заданный объем выборки. Учтите это, когда составляете условия, чтобы не затягивать с получением результатов.
3. Собираем данные. В зависимости от задач будущих A/B-тестов, метрики могут варьироваться от MAU для сайта в целом до CTR по конкретному баннеру.
4. Проводим статанализ. Сравниваем результаты группы A и A’ между собой, ищем разницу между показателями. В отличие от A/B-тестов, в идеальном A/A-тесте все совпадает. Такой результат значит, что внешние факторы не влияют на метрику и система сплитования работает корректно. Если различия все же нашлись, необходимо оценить, как они могут затронуть будущие A/B-тесты, и, если необходимо, устранить их.
5. Записываем ход эксперимента и результаты. В будущем они позволят грамотнее настраивать как A/A-, так и A/B-тесты, а также избегать ошибок, которые привели к отклонениям

Если A/A-тест прошел успешно, то есть не выявил разницы между контрольной и тестовой группами, можно смело приступать к A/B- тестированию. Его результаты позволят вашей команде принимать обоснованные решения.

Когда использовать

Проводить A/A-тесты перед каждым A/B-тестированием — сложно, долго и не всегда оправдано. Вот некоторые сценарии, в которых их применение логично.

1. Хотите узнать базовые значения перед A/B-тестами. Это поможет рассчитать длительность теста и объем выборки.
2. Обнаружили расхождение между результатами других тестов и данными аналитиков.
3. Запустили новую функцию или продукт. Успешные А/А-тесты дадут понять, что фича стабильна, то есть готова к А/В-тестам и дальнейшей проработке.
4. Сменили поставщику услуг A/B-тестирования. Чтобы оценить качество работы нового решения, стоит узнать, какие результаты ваши страницы и кампании показывают сейчас. Это также исключит возможность ложноположительных результатов.

Наше решение для A/B-тестов также отлично подходит для A/A-тестирования, так что вы сможете использовать его для любых сценариев.

Что дальше

Если вы не уверены, что справитесь с A/A-тестами самостоятельно или не хотите загружать свою команду аналитиков, мы готовы помочь. Наши специалисты сформулируют гипотезу, настроят и проведут эксперимент, а затем предоставят его результаты в доступной форме.

Хотите узнать больше об A/A-тестах и повысить эффективность своего бизнеса, напишите нам на sales@flocktory.com.