Почему сквозная аналитика не дает желаемого результата: разбираемся в причинах. Часть 2

Собираем «сырые» данные

Владея обширной экспертизой в работе с «сырыми» данными, мы сформировали четыре неочевидные сложности, с которыми может столкнуться аналитический проект.

Вызов 1. Собираем «сырые» данные: получение неполных данных с рекламных площадок

Рекламные платформы собирают огромное количество данных о поведении пользователей. Сложности с их получением возникают тогда, когда вы пытаетесь получить эти данные в полном объеме без потерь, что является ключевым приоритетом для многих компаний.

Как собирать полные данные с рекламных площадок?

1. Определите ответственных за сбор и контроль данных с рекламных площадок;
2. Подключите независимый источник данных для сбора «сырых» данных;
3. Используйте автоматические инструменты импорта данных. В случае, если данные недоступны по какой-либо причине, эти инструменты могут показывать существующие пробелы в данных и загружать данные ретроспективно.

Рассмотрим на реальном кейсе:

Клиент: крупнейший ритейлер в РФ, сегмент: мебель и товары для дома.

Инцидент: Автоматическое обновление версии облачного хранилища ClickHouse (22.8). Особенность новой версии — архитектурные изменения сущности обработки и хранения полей с типом flatten_nested.

Последствие: Потеря большого количества хитов.

Что было предпринято на стороне DataGo!:

1. После выявления инцидента, код сервиса хитового стриминга был переписан под новую архитектуру ClickHouse уже на следующий день;
2. Провели сверку по потерям хитов за 2 дня между обновлением ClickHouse и изменением кода сервиса.

Решение:

1. Так как паттерны покупательской активности на крупных проектах примерно одинаковые, согласовали метод восстановления данных по образу хитов за предыдущие дни.
2. Усилили систему алертинга подобных инцидентов.

Инциденты такого критического уровня подтолкнули нас к созданию комплексной системы мониторинга. Команда DataGo! разработала обновленную архитектуру DataGo! Web Streaming, более защищенную от внешних угроз. Это позволяет своевременно отслеживать все предпосылки к потере или получению неполных данных и предотвращать подобные инциденты.

Повысьте уровень безопасности ваших данных совместно с DataGo!

Вызов 2. Собираем данные: получение неполных и несвоевременных данных с сайта

Получая полные данные из рекламных площадок и сервисов, мы знаем сумму расхода на продвижение.

А сколько мы получаем заказов и сколько с них зарабатываем?

Для этого необходимо собирать данные с сайта и мэтчить их с данными из CRM-систем. В таком случае вам также важно убедиться, что собранные с сайта данные полные и не имеют ограничений.

Возможные причины сбора неполных данных с сайта

1. Несвоевременная оплата сервиса для трекинга данных;
2. Использование только UI популярных аналитических сервисов по сбору данных (лк Яндекс Метрики / AppMetrica, а не LogsApi; лк Google Analytics 4, а не экспорт в GBQ);
3. Некорректная разметка событий;
4. Перезапись, дублирование, некорректная разметка в dataLayer;
5. Порядок отработки аналитических скриптов.

Какое решение?

1. Определите требования по разметке событий от бизнеса (какие необходимы отчеты, срезы и воронки);
2. Перенесите бизнес-требования в карту событий (систему метрик);
3. Организуйте кросс-командную работу разработчиков и аналитиков по внедрению и тестированию событий из системы метрик;
4. Используйте сервисы для трекинга данных с доступом к «сырым» и полным данным;
5. Выберите хранилище с автоматическим импортом данных. Это позволит вам своевременно отслеживать возникающие ошибки.
   

Вызов 3. Готовимся к использованию данных: несопоставимость данных из рекламного источника и с сайта

После того, как данные собраны, их необходимо свести в единую структуру.

Структурированные данные — это единая таблица. Каждый столбец в ней определяет атрибут (например, время или местоположение), а каждая строка представляет собой отдельную запись, значение для каждого атрибута.

В результате различий между форматами данных из нескольких источников, вы можете потерять часть своих данных.

Сложности с объединением данных

Низкое качество данных и их несогласованность.

Непоследовательные, неполные или неточные данные могут привести к проблемам во время трансформации и привести к ошибочным выводам.

Безопасность данных.

Обработка конфиденциальной информации при перемещении большого объема данных вызывает риск утечки данных и несоответствия требованиям СБ.

Интеграция данных realtime.

Спрос на аналитику в реальном времени вырос, но добиться интеграции данных в реальном времени может быть непросто. Данная сложность может быть особенно актуальной, если речь идет о проектов с большим объемом данных.

Непоследовательные, неполные или неточные данные могут привести к проблемам во время трансформации и привести к ошибочным выводам.

Рассмотрим на реальном кейсе:

Клиент: крупнейший ритейл бренд в РФ, сегмент: брендовая одежда и товары для дома.

Задача: объединить данные из web и app в единый отчет.

Сложность заключалась в том, что принципы отслеживания необходимых данных в мобильном приложении и на сайте различные, поэтому для их объединения в единый отчет необходимо привести данные в единую структуру.

Данные, не приведенные к общему формату, невозможно объединить в единый отчет. Это приведет к критичным искажениям в ходе анализа бизнес-показателей.

Источники данных:

1. DataGo! Web Streaming;
2. API-выгрузка из сервиса мобильной аналитики (AppsFlyer, AppMetrica).

Что было предпринято на стороне DataGo!:

1. Сбор web и app данных в едином хранилище (DWH);
2. Привели данные из App к единому формату, схожему на Web, для использования в единой витрине данных;
3. Сформировали пул целевых метрик для принятия стратегических решений;
4. Вывели аналитику в едином дашборде по общим и кросс-девайс показателям эффективности.

Вызов 4. Получаем инсайты: разрозненная интерпретация метрик

Из-за большого объема требуемых данных и метрик, отдел аналитики и маркетинга могут интерпретировать необходимую метрику по-разному. Из-за этого ваш отчет перестанет быть информативным, что приведет бизнес к неверным инсайтам.

Какое решение?

Сформируйте дерево метрик.

Как правило, метрики, на которые обращают внимание руководители компаний (фаундеры, директора и др.), отличаются от метрик, на которые смотрят линейные сотрудники (маркетологи, product owners и др.) Первым необходимо фиксировать верхнеуровневые бизнес-результаты, а вторым — более точечные, локальные показатели.

Необходимо составить единый документ, который поможет понять, что именно вкладывается в каждую метрику на любом уровне отчетности.

Заключение

К середине 2024 года уже никто не будет спорить с тем, что сквозная аналитика остро необходима для корректной оценки эффективности маркетинга. Обилие маркетинговых и аналитических инструментов привело к возникновению вызовов, которые могут привести бизнес к неожидаемым результатам.

Мы будем рады, если вы поделитесь в комментариях, сталкивались ли вы со сложностями внедрения сквозной аналитики?

Какие самые неожиданные инсайты вам удавалось получить на основе анализа данных?

Для того, чтобы подготовиться даже к самым неочевидным сложностям, мы рекомендуем постоянно повышать требуемые навыки внутренней команды, работать над эффективностью кросс-командной работы или обратиться к DataGo!

Почему данным от DataGo! можно доверять?

1. Независимый источник «сырых» данных, не подверженный санкционным рискам;
2. DataGo! не продает рекламу, поэтому наши данные беспристрастны;
3. Более 100 клиентов в РФ уже доверяют нам работу с данными.

Сфокусируйтесь на бизнесе, а работу с данными оставьте DataGo!