Как подойти к внедрению DWH, чтобы не было «больно»?
По итогам вводной онлайн-встречи решили в статье рассказать о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта и сэкономить ИТ-бюджеты.
Почему стоит задуматься о внедрении DWH?
Вне зависимости от отрасли количество данных для каждого бизнеса из года в год растет.
Например, в ритейле ежедневно обновляются данные из системы управления торговым залом и кассовых систем, строительство собирает данные из BPM или BIM-систем, современные производства используют системы ERP и WMS, IoT-датчики.
И абсолютно у всех есть различные бухгалтерские, CRM, HRM-системы, таблицы Excel, PDF-файлы, базы данных.
Эта информация ценна для бизнеса, с помощью ее анализа можно отследить тенденции и запланировать изменения, оптимизировать процессы, усовершенствовать взаимодействие с клиентами и поставщиками, сформировать новые конкурентные преимущества.
Но если не внедрить грамотное управление всеми этими данными, они могут стать причиной новых проблем. Проблему хаоса в данных решает Data Warehouse (DWH, корпоративное хранилище данных, КХД) — единый репозиторий, который объединяет и структурирует текущие и исторические данные из разных источников для дальнейшего построения аналитических отчётов на их основе. Что такое DWH, и какие задачи бизнеса решает корпоративное хранилище данных В архитектуре управления данными корпоративное хранилище занимает одну из центральных ролей. Задуматься о внедрении КХД особенно стоит компаниям, которые: Грамотное внедрение корпоративного хранилища данных способно сократить затраты на процесс обработки данных: Порядок в данных, которого помогает достичь DWH, позволяет повысить ценность компании на рынке. Согласно международным стандартам финансовой отчетности, базы данных — это нематериальный актив (intangible assets) компании, который повышает ее рыночную стоимость. По отчету BrandFinance стоимость нематериальных активов публичных компаний по итогам 2023 года составляет 61.9 трлн.$, и растет примерно на 8% в год, в то время как материальные активы остаются на том же уровне. Такая динамика роста говорит о том, что инвестиции в инфраструктуру управления данным выгодно влияют на капитализацию компании. В российской практике задача оценки стоимости данных как актива до сих пор не решена, но подходы уже обсуждаются и в ближайшем будущем будут внедрены. Многие компании осознают важность внедрения корпоративного хранилища данных, однако не все понимают, что при неграмотном, хаотичном и спешном подходе проект может привести к высоким затратам и усугублению проблем в работе с данными. В своей практике эксперты Qlever Solutions обычно сталкиваются с двумя видами сложностей клиентов при работе над проектами DWH. Еще не внедрили КХД и не понимают, с чего начать В штате компании есть аналитики, которые вручную собирают данные из разных источников, но количество этих источников растёт, а качество ручного сбора падает. В таких ситуациях при внедрении корпоративного хранилища встают вопросы: Уже внедрили КХД, но хранилище только создает проблемы В компании внедрено хранилище, но оно реализовано наспех, не учтены растущие потребности бизнеса, необходимые задачи не решаются, затраты на поддержку КХД растут. Компания сталкивается с вопросами: В первую очередь, и тем компаниям, которые уже предприняли неудачные попытки внедрения, и тем, кто находится только в начале проекта, стоит предпринять ряд похожих шагов. Прежде чем приступать к непосредственной разработке хранилища, стоит оценить, на каком уровне зрелости управления данными (Data Management Maturity Assessment, DMMA) находится компания. 1. Начальный уровень (Ad-hoc) 2. Минимальный уровень (Повторяемый) 3. Установленный уровень 4. Управляемый уровень 5. Оптимизированный уровень Оценка поможет понять, какие у компании есть слабые и сильные стороны в работе с данными, и куда двигаться дальше. Даже компании, которые находятся на одном уровне зрелости, могут ставить перед собой разные задачи и иметь разную готовность к изменениям. Решать проблемы с данными каждой конкретной компании необходимо, тем способом, который будет наиболее выгоден с точки зрения вложений и дальнейшего развития, а технологии и методологии выбирать в соответствии с индивидуальными задачами. Для того, чтобы оценить поставленные задачи на возможность реализации, стоит: Посмотрите вебинар " Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было «больно»?" На данном этапе в основу проекта ложатся поставленные ранее задачи и цели, учитываются имеющиеся политики компании относительно безопасности данных и импортозамещения, состояние инфраструктуры, подбирается команда для реализации проекта. На этапе проектирования необходимо выбрать стек технологий и подходящую методологию моделирования данных для хранилища. Узнайте о том, какая методология проектирования DWH подойдет для вашего бизнеса На схеме мы показали, что DWH можно строить как на проприетарном или Оpen Source ПО, так и размещать в облаке или on-premise. При этом используется комбинация из разных инструментов, так как идеального решения из «коробки» для построения хранилища не существует. Проприетарные решения чаще всего требуют развертывания дополнительных программных продуктов, например, при использовании Arenadata необходимо развернуть оркестратор, и сам вендор рекомендует Open source инструмент Airflow. Open source ПО предлагает наибольшее разнообразие продуктов, при этом одна и та же задача на проекте может закрываться несколькими средствами. Максимальную отказоустойчивость могут обеспечить облачные решения, однако, их применение зависит от политики безопасности в компании. Самым сложным для поддержки является вариант построения собственной инфраструктуры. Несмотря на финансовые выгоды, такой вариант требует регулярного обновления продуктов и привлечения обширного штата сотрудников (DataOps, SRE-инженеры). Qlever Solutions внедряет хранилища данных, используя масштабируемые технологии и гибридные методологии, адаптируя лучшие практики под уникальные бизнес-задачи. Архитектура и инструменты для построения хранилища данных подбираются индивидуально в зависимости от целей, требований и возможностей каждой компании. Подробную информацию о стеке, который чаще всего в проектах использует команда Qlever Solutions, вы можете узнать, посмотрев запись вебинара «Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было „больно“?» Посмотрите вебинар " Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было «больно»?" Компании могут годами строить корпоративное хранилище и тратить миллионы на систему, которая не может быть органически встроена в дальнейшую стратегию развития бизнеса. Чтобы не было «больно» при построении или рефакторинге DWH, необходимо: Для 100% эффективности проекта стоит обратиться к экспертам с опытом внедрения DWH. Как вам может помочь Qlever Solutions в зависимости от уровня зрелости управления данными в компании: Мы поможем вам сократить расходы на аудит процессов и источников и получить максимальную выгоду от внедрения корпоративного хранилища
Как DWH формирует ценность бизнеса и помогает экономить?
С какими проблемами можно столкнуться на проектах DWH?
Что делать, чтобы не было «больно» на старте проекта DWH?
Определить уровень зрелости компании в управлении данными
Понять, какую конечную задачу решает внедрение
На примерах реальных кейсов узнайте, как эффективно внедрить DWH
Спроектировать решение (стек, методология, Roadmap)
***
Узнайте больше о выборе инструментов для построения DWH
***
Проект по DWH тратит деньги, нервы и время?