Аналитика — приборная панель бизнеса: как найти качественные данные

Развитие системы управления качеством данных

Управление качеством данных — это комплексный и непрерывный процесс. Требуется поддерживать необходимый уровень качества данных в масштабах всей компании и в перспективе повышать его.

Сам процесс развития системы управления качеством данных состоит их двух этапов:

• Реактивное улучшение, которое реагирует на вызовы, выявленные в процессе анализа. Для реактивного улучшения команда должна сформировать культуру работы с качеством данных, определить действия по их актуализации и зафиксировать конкретные KPI.
• Проактивное улучшение, которое направлено на предотвращение инцидентов. Для достижения качественных результатов необходимо вовлечь продуктовые команды в целях разработки системы инцидент-менеджмента.

Система алертинга для управления качеством данных

Перед бизнесом стоит несколько важных задач, которые касаются аналитики и затрагивают качество данных:

• найти возможность управлять качеством данных;
• моментально узнавать о критических изменениях в продукте и бизнесе;
• избегать или нивелировать потери, связанные с некорректной информацией.

Для их решения необходимо запустить систему алертов — автоматических уведомлений о событиях, затрагивающих объем и качество данных. Они появляются, когда показатели системы приближаются к пороговым значениям. Система алертинга может реагировать на различные инциденты: изменение значения метрики, объема полученных данных, структуры/типа данных; факт наличия или отсутствия какого-либо события.

Эффективная система алертов подразумевает настройку оповещений таким образом, чтобы они указывали на реальные аномалии в данных. Для этого важно избегать алертов только на метрики и задавать вручную приблизительные значения критических отклонений. В противном случае оповещения будут подсвечивать любые незначительные колебания в аналитике, которые не всегда являются результатом ошибки или сбоя, и алерты превратятся в «белый шум» — как итог, действительно важные аномалии будут пропущены. Поэтому строгое правило: алерт должен срабатывать только при возникновении реальной проблемы, которую нужно исправить.

Собирать алерты можно в любой удобный для команды канал коммуникации: почту, мессенджер, телефон и проч.

Сила кросс-функциональности

Качественный анализ напрямую зависит от возможности консолидации данных из разных источников. В первую очередь, необходимо определить, какие данные нужно получить из внешней системы и как они будут использоваться в собственной системе сервиса.

Потом команда может принять решение о пути продукта. Далее следует разработать спецификацию обмена данными, которая должна включать в себя описание формата данных, протоколы связи и способы аутентификации, и сформировать новые, более конкретные KPI, на достижение которых действительно можно влиять.

Важность data quality

Важный этап в работе с аналитикой — анализ качества данных. Работа с ним также крайне важна в проектах по внедрению нового ПО или совершенствованию текущего. Весомость качества таких данных заключается в том, что оно напрямую влияет на качество принимаемых решений, эффективность бизнес-процессов и доверие к результатам анализа.

Одним из важнейших этапов является подготовка данных, поэтому перед расчетом метрик стоит проверить полноту исторических данных и их консистентность — например, по количеству пользователей за день. При работе с большим количеством источников необходимо оценить готовность данных к обработке и анализу, их соответствие обязательным и специальным требованиям.

Однако часто встречаются проблемы со своевременным получением и обработкой данных. Для решения этих задач нужно выделить ответственных за сенсоры и определила границы качества данных с помощью соглашения об уровне обслуживания (SLA), которое обычно включает в себя установление показателей, мониторинг, отчетность и процессы исправления для обеспечения последовательности, актуальности и достоверности данных. Автоматический алертинг помог своевременно обращать внимание сотрудников на аномалии.

Плохое качество данных может привести к неправильному расчету метрик, что ведет к ошибочному принятию решений. Также это увеличивает затраты и сокращает доходы компании, что можно отследить по данным A/B тестов.