От 5 разрозненных систем к единому DWH: как Qlever Solutions создали корпоративное хранилище данных для «Галс-Девелопмент»
Кратко о проекте
Клиент
Строительная компания «Галс-Девелопмент», один из крупнейших застройщиков элитной недвижимости Москвы.
Задача
Развернуть масштабируемую архитектуру корпоративного хранилища данных. Создать технологическую основу для автоматизации управленческой отчетности и развития бизнес-аналитики, обеспечив руководство актуальными и согласованными данными для принятия решений.
Решение
Команда Qlever Solutions спроектировала и внедрила DWH, реализовав аналитические витрины, охватывающие ключевые направления деятельности компании, в том числе:
- календарно-сетевое планирование (КСГ) проектов;
- контроль выполнения планов продаж;
- оценку эффективности и рентабельности проектов;
- анализ окупаемости и освоения инвестиционного бюджета;
- финансовую аналитику (доходы, расходы, задолженность, средства на эскроу-счетах);
- структуру собственности;
- технико-экономические показатели объектов;
- управление проектными согласованиями.
Результат
В результате «Галс-Девелопмент» получила единую среду для работы с корпоративными данными. Автоматизация их консолидации, очистки и сопоставления сократила объем ручной обработки и обеспечила подразделения компании согласованными показателями для подготовки управленческой отчетности и принятия решений.
О клиенте
«Галс-Девелопмент» — один из крупнейших российских девелоперов жилой и коммерческой недвижимости бизнес-, премиум- и элитного класса.
Компания реализует масштабные проекты комплексной жилой и коммерческой застройки. В портфель входят более 44 проектов общей площадью 3,7 млн кв. м, включая 5 жилых комплексов, находящихся в продаже. В компании работает свыше 650 сотрудников.
Среди наиболее известных объектов — «Невская Ратуша» в Санкт-Петербурге, бизнес-центры «Искра-Парк» и «Даниловский Форт», а также жилые комплексы «Монблан» и «Космо 4/22» в Москве. 
Задача клиента
Для управления масштабными портфелями проектов девелоперские компании используют множество специализированных информационных систем, интеграция которых в единое аналитическое пространство зачастую становится сложной задачей.
В компании «Галс-Девелопмент» финансовый учет велся в 1С, календарно-сетевое планирование — в Microsoft Project, управление взаимоотношениями с клиентами — в Microsoft Dynamics CRM. Дополнительно использовались Excel-файлы и данные внешних сервисов, получаемые через API.
Хранение данных осуществлялось на сетевых дисках, а доступ пользователей к показателям по продажам, финансам и проектной деятельности предоставлялся через кластеры виртуальных серверов.
Существующая BI-отчетность на базе решения клиента охватывала ключевые направления деятельности компании, включая:
- выполнение календарно-сетевых графиков (КСГ) проектов;
- финансовое моделирование и экономическое планирование;
- стоимость и реализацию объектов недвижимости;
- финансовые показатели проектов;
- доходы и расходы;
- освоение инвестиционного бюджета;
- бухгалтерскую отчетность;
- технико-экономические показатели;
- цены реализации объектов;
- сроки согласования документов в 1С.
Несмотря на развитый ИТ-ландшафт, данные оставались распределенными между различными системами, что затрудняло формирование единой управленческой картины бизнеса и подготовку отчетности:
- отсутствовала единая корпоративная модель данных;
- одинаковые показатели рассчитывались независимо в разных информационных системах;
- консолидация данных требовала значительного объема ручной обработки.
Для решения этих задач компания запустила проект по созданию корпоративного хранилища данных. DWH должно было объединить данные из всех ключевых источников и стать технологической основой для дальнейшего развития BI-аналитики и отчетности Группы компаний.
Проект для «Галс-Девелопмент» был реализован командой Qlever Solutions — экспертом в области построения корпоративных хранилищ данных (DWH) для крупных строительных, промышленных, торговых и производственных компаний.
Так как подобный проект был первым для Группы, было принято решение реализации в формате пилота, но с соблюдением разумной ресурсной избыточности и регулярности выгрузки наборов данных для формирования отчетов в BI.
Реализация проекта
Проект был организован поэтапно. Работу начали с обследования текущего ИТ-ландшафта, после чего спроектировали архитектуру DWH, настроили интеграцию источников и сформировали аналитические витрины.
Предпроектное обследование
На первом этапе специалисты Qlever Solutions совместно с заказчиком выполнили анализ существующего ИТ-ландшафта и бизнес-процессов. По результатам обследования были:
- определены источники данных;
- разработана целевая архитектура корпоративного хранилища данных;
- сформирована единая корпоративная модель данных;
- подготовлено техническое задание;
- определен состав аналитических витрин, реализуемых в рамках пилотного проекта.
Перед командой Qlever Solutions стояло несколько взаимосвязанных задач:
- интеграция нескольких принципиально разных типов источников данных;
- построение масштабируемой промышленной архитектуры DWH для последующего развития корпоративной аналитики;
- разработка единой корпоративной модели данных;
- подготовка витрин по финансам, продажам, проектной и инвестиционной деятельности.
Архитектура и стек DWH
В рамках проекта была развернута отказоустойчивая архитектура DWH на базе современных инструментов обработки и хранения данных:
- Хранение данных: ClickHouse Cluster.
- Оркестрация процессов загрузки и обработки данных: Dagster.
- Мониторинг и алертинг: Prometheus + Grafana.
- Каталог данных: OpenMetadata.
- Трансформация данных (Data Processing): dbt.
- Вспомогательные технологии: S3 (MinIO), Gitlab, Ansible.
Архитектура обеспечивает отказоустойчивость, высокую производительность обработки аналитических запросов, централизованный мониторинг инфраструктуры и возможность дальнейшего масштабирования корпоративного хранилища данных.
Интеграция источников данных
Источниками данных для корпоративного хранилища стали
- Корпоративная информационная система управления финансовыми процессами 1С: Предприятие (КИС Бухгалтерия);
- Система управления календарно-сетевыми графиками проектов (ИСУП КСГ) на базе MS Project и модулей заказной разработки;
- Кастомизированная CRM-система на базе MS Dynamics;
- Платформа для управления строительством Sarex;
- Файлы Excel, хранящие технико-экономические показатели проектов (ТЭП), планы продаж, таблицы мэппинга и смежные наборы данных.
Для каждого источника был реализован собственный механизм интеграции: 
Дополнительным вызовом стала унификация мастер-данных. Различные информационные системы использовали собственные классификаторы объектов, поэтому в рамках проекта были разработаны корпоративные справочники и реализованы мероприятия по повышению качества данных.
Для обработки данных были построены все основные слои корпоративного хранилища:
- Staging — слой загрузки исходных данных;
- DDS — слой очищенных и нормализованных данных;
- Data Mart — аналитические витрины.
Формирование аналитических витрин
Финальным этапом разработки стало построение 11 витрин данных, охватывающих ключевые направления деятельности компании:
- КСГ проектов — выборка информации по КСГ (календарно-сетевому графику) проектов: задачи, сроки, пользовательские поля.
- План-факт реализации КСГ проектов — связывает работы по проектам из календарно-сетевых графиков с расчетными и статистическими показателями финансовых данных из 1С.
- Объекты продаж — информация об объектах продаж и финансовые данные по лотам (цена кв метра, плановая стоимость, фактическая стоимость и т. д).
- План-факт продаж — плановые и фактические данные по динамике продаж объектов.
- Свод ключевых показателей финансовой модели — основные метрики для оценки эффективности, сроков окупаемости и рентабельности инвестиций в разрезе проектов, что позволяет оценить их привлекательность и риски.
- Динамика ключевых показателей — отражение плановых/фактических показателей и структуры доходов/расходов по проектам.
- План-факт освоения инвестиционного бюджета — данные об освоении бюджета в разрезе проектов, статей, договоров и контрагентов в виде расчетных величин определенных плановых показателей.
- Финансы — оперативное отражение актуальных остатков на каждый день денежных средств, задолженностей, средств на эскроу-счетах и других данных в разрезах организаций, по которым ведется бухгалтерский учет и которые отсутствуют в основном регистре бухгалтерии.
- Доля владения — распределение долей собственности между акционерами и учредителями компании.
- ТЭП (технико-экономические показатели) проектов с КСГ — площадь и количество объектов в моменте с разбивкой на фазы проектирования и строительства.
- Проектные согласования — статус и динамика согласований по пакетам документации в рамках рабочих процессов проектов.
В процессе реализации параметры отдельных витрин уточнялись совместно с заказчиком, что потребовало гибкого управления изменениями и адаптации моделей данных без изменения базовой архитектуры решения.
Ограничения инфраструктуры
По требованиям информационной безопасности «Галс-Девелопмент» все работы выполнялись в закрытом контуре клиента, а используемые для разработки данные были обезличены.
Доступ к информационным системам организовывался через отдельный сегмент сети с использованием DMZ-серверов. Развертывание и настройка компонентов корпоративного хранилища данных также выполнялись на выделенных серверах в DMZ-контуре с разграничением прав доступа.
Доступ к данным и приложениям предоставлялся с использованием защищенных механизмов аутентификации — двухфакторной авторизации (2FA) и сквозной авторизации на основе JWT-токенов.
Архитектура и процесс развертывания были адаптированы к закрытому контуру без снижения требований к безопасности и производительности решения. 
Полученные результаты
Несмотря на пилотный формат, DWH было спроектировано с учетом дальнейшего развития, подключения новых источников и расширения аналитического контура компании.
В ходе проекта специалисты Qlever Solutions:
- интегрировали 5 различных типов источников данных;
- разработали 11 предметных аналитических витрин;
- построили промышленную архитектуру корпоративного хранилища данных (DWH);
- внедрили систему мониторинга и каталогизации данных;
- настроили ролевую модель доступа к таблицам и аналитическим витринам;
- выполнили комплексное тестирование всех слоев хранилища и витрин данных;
- подготовили полный комплект эксплуатационной и технической документации для администраторов и пользователей системы.
Производительность и масштабируемость
Готовое хранилище данных отвечает требованиям крупной корпоративной информационной системы и рассчитано на дальнейшее масштабирование.
Основные характеристики DWH:
- до 50 одновременных пользователей;
- время отклика аналитических витрин — не более 5 секунд;
- объем хранимых данных — около 2 ТБ с горизонтом хранения 5 лет;
- ежедневная загрузка данных — порядка 1,2 ГБ;
- архитектура предусматривает прогнозируемый рост объема данных до 5 ТБ в перспективе 10 лет.
Бизнес-результаты
Аналитические витрины предназначены для работы руководителей различных уровней, включая:
- топ-менеджмент Группы компаний «Галс»;
- руководителей строительных проектов;
- руководителей инвестиционных проектов;
- коммерческий департамент;
- финансовый департамент;
- инженерные подразделения.
Созданное DWH изменило подход к работе с данными: их консолидация, очистка, актуализация и сопоставление выполняются централизованно, исключено влияние человеческого фактора при формировании отчетов.
В результате «Галс-Девелопмент» получила возможность:
- автоматизировать подготовку аналитической отчетности, объединяющей данные из нескольких информационных систем с различной структурой;
- сократить объем ручной обработки данных за счет автоматизации процессов консолидации, очистки, актуализации и мэппинга;
- уменьшить нагрузку на информационные системы-источники благодаря централизованной обработке данных вне рабочего контура;
- создать единую версию корпоративных данных для различных подразделений компании;
- заложить технологическую основу для масштабирования BI-аналитики, подключения новых источников данных и развития корпоративной платформы.
Корпоративное хранилище данных — это фундамент для дальнейшего развития аналитики. В проекте для «Галс-Девелопмент» нам было важно не только объединить данные из разных источников, но и создать масштабируемую систему для управления портфелем проектов, которая сможет расти вместе с бизнесом. Выбранный подход позволяет подключать новые источники и расширять аналитический контур без необходимости перестраивать хранилище.
«Для нас было важно проверить выбранную архитектуру на практике и создать единую платформу для работы с корпоративными данными. Пилотный проект показал, что хранилище позволяет эффективно консолидировать данные из разных систем и обеспечивает необходимую производительность для аналитических задач. Созданная платформа станет основой дальнейшего развития управленческой отчетности компании.
Источники и стек технологий
- Источники данных: 1С: Предприятие, Microsoft Dynamics CRM, Microsoft Project, Sarex, Microsoft Excel
- Интеграция данных: Экстрактор 1С от Денвик Аналитика, Python, REST API
- Хранение данных: ClickHouse
- Оркестрация процессов загрузки и обработки данных: Dagster
- Мониторинг и алертинг: Prometheus + Grafana
- Каталог данных: OpenMetadata
- Обработка данных (Data Processing): dbt
- Вспомогательные технологии: S3 (MinIO), Gitlab, Ansible
Функциональные области
Основные направления аналитики: Управление строительными проектами, Продажи и коммерческая аналитика, Финансовая аналитика, Инвестиционная аналитика, Управление портфелем проектов, Технико-экономическая аналитика, Проектные согласования
Пользователи решения: Топ-менеджмент
Данные и отчеты работают против вас?
Свяжитесь с нами. Наведем порядок в данных, спроектируем и внедрим DWH в соответствии с вашими аналитическими задачами
