Аналитика ESG: Распадская Угольная Компания сократила время подготовки экологической отчетности до 3 часов с помощью BI-дашбордов от Qlever

Детали разработки

Разработка Системы выполнялась в инфраструктуре клиента. Совместно со специалистами со стороны клиента было выполнено создание тестовой и продуктивной сред хранилища на основе БД PostgreSQL и ClickHouse в Яндекс Облаке.

Перенос Системы между тестовой и продуктивной средами выполнялся после согласования работоспособности приложения в тестовой среде.

В качестве источника данных для Системы выступает Информационная система охраны окружающей среды ИС ООС.

Обмен данными между ИС ООС и Системой реализован через корпоративный брокер сообщений Kafka с помощью Airflow. Потоковые данные загружаются из соответствующих топиков Kafka в stg-слой (staging) PostgreSQL. Обработка и трансформация данных производится с помощью dbt.

Далее данные переносятся в ODS-слой (Operational Data Store — оперативное хранилище данных), где приводятся к единому формату. В MRT-слое (Data Marts — таблицы, содержащие все доступные измерения для приложения) из них формируются витрины данных для дальнейшей аналитики.

При формировании хранилища была осуществлена первичная загрузка данных за 3 года, в объеме около 7 000 строк, далее загрузка данных идет ежедневно по расписанию. Планируемая загрузка не более 3 000 строк в год.

В ClickHouse осуществляется сборка витрин на основе обработанных и структурированных данных из Kafka и Excel-файлов, после данные выгружаются в FineBI для построения дашбордов.

В ходе реализации проекта выяснилось, что из-за большого количества рассчитываемых показателей, в которых использовались DEF-функции FineBI, и отображения всех показателей на визуализациях, время отклика FineBI критически увеличилось.

Для решения задачи специалистами Qlever были разработаны отдельные витрины данных по направлениям анализа и произведены предрасчеты показателей на уровне ClickHouse, позволяющие повысить производительность Системы. Время отклика сейчас составляет менее 3 секунд.

Одним из нюансов в процессе разработки стала разница в часовых поясах с клиентом — 4 часа. Для эффективной совместной работы и согласования был перераспределены рабочие часы ключевых участников проекта со стороны Qlever.

Описание дашбордов

В Cистеме в наглядном виде представлены ключевые показатели по направлениям экологической стратегии Распадской:

1. Парниковые газы
2. Выбросы в атмосферу
3. Водные ресурсы
4. Обращение с отходами
5. Рекультивация

Всплывающие легенды на дашбордах позволяют получать всю необходимую информацию даже при большом количестве показателей, отображенных на графике, и не прибегать к другим источникам за уточнением данных.

В дальнейших итерациях предполагается разработка визуализации показателей по направлению Биоразнообразие.

Дашборд «ESG стратегия»

Дашборд отображает план-факт и динамику изменений стратегических показателей компании:

1. Управление углеродным следом — со счетчиком общих объемов утилизации
2. Управление выбросами загрязняющих веществ в атмосферу
3. Ответственное потребление и производство — со счетчиком объемов восстановленных земель
4. Управление водными ресурсами

Дашборд с показателями выбросов парниковых газов

Предназначен для просмотра показателей выбросов парниковых газов как по Компании, так и по отдельным предприятиям:

1. Общие объемы выбросов парниковых газов по Компании за указанный период
2. Основные источники газов за отчетный период и период, предшествующий отчетному, проценты увеличения/снижения значений
3. Значения выбросов газов и удельные выбросы СО2-эквивалента на тонну добытого угля за отчетный период и предшествующий период по предприятиям Компании
4. План-факт по утилизации выбросов за отчетный период и аналогичный предшествующий ему период
5. Предусмотрена возможность детализации данных по утилизации метана по конкретному предприятию и в разрезе месяца просмотр информации по суточной утилизации

Дашборд с показателями выбросов в атмосферу

Дашборд демонстрирует показатели выбросов в атмосферу как по Компании, так и по отдельным предприятиям:

1. Общий объем выбросов загрязняющих веществ по компании за выбранный период
2. Объем ключевых загрязняющих веществ в целом и по каждому из ключевых показателей за отчетный период и период, предшествующий отчетному
3. Проценты увеличения/снижения значений для отчетного периода по сравнению с предшествующим ему периодом
4. Выбросы ключевых загрязняющих веществ по группам предприятий: шахты, разрезы, фабрики, вспомогательные предприятия

Дашборд с показателями использования водных ресурсов

Дашборд предназначен для просмотра данных об использовании водных ресурсов по Компании и по отдельным предприятиям:

1. Объем забора свежей воды и объем использования в производстве в разрезах: скважины, реки, шахтные воды, карьерные воды, горводопровод
2. Проценты увеличения/снижения значений объема сброса в водный объект и забора свежей воды для отчетного периода по сравнению с предшествующим периодом
3. Объемы забора и сброса в разрезе отдельных предприятий Компании

Дашборд с показателями обращения отходов

Демонстрирует следующие показатели:

1. Объем отходов по компании в целом за указанный период в разрезах: прочие отходы, горные отходы, утилизировано
2. Проценты увеличения/уменьшения данных показателей в сравнении с показателями прошлого аналогичного периода
3. Объем отходов по компании в целом за предыдущий аналогичный период
4. Объем отходов и утилизации по отдельным предприятиям за указанный период

В отчете «Классы отходов» отображаются показатели в разрезе классов отходов, за указанный период в рамках выбранного предприятия

1. Общий объем образованных отходов по предприятию
2. Общий объем утилизации по предприятию
3. Процент утилизированных отходов от общего объема отходов предприятия

Дашборд с показателями рекультивации

Дашборд с показателями рекультивации предназначен для просмотра метрик, связанных с земельными ресурсами:

1. Общая площадь земель и количество участков Компании
2. Площади земель в разрезах категорий в процентном соотношении от общей площади земель Компании: земли лесного фонда, сельскохозяйственного назначения, населённых пунктов, промышленности
3. Количество участков в разрезе категорий земель по назначению
4. Площади нарушенных, отработанных и рекультивированных земель компании, их доля от общей площади земель

Выполнение ежегодного плана рекультивации:

1. Бюджет на технический этап рекультивации по компании и по предприятиям
2. Бюджет на биологический этап рекультивации по компании и по предприятиям
3. Фактические и оперативные планы по компании и предприятиям для технического и биологических этапов

В отчете «Фактическое использование земель» реализовано отображение следующих показателей:

1. Общая площадь предприятия
2. Площадь земель, которые используются
3. Площадь земель, которые не используются, но есть планы на их использование
4. Площадь земель, которые не используются и нет планов на их использование
5. Доли площадей категорий от общей площади земель предприятия в процентном выражении

Реализован функционал для отчета «План-график по рекультивации», в котором отображается график по всем годам в двух видах — в виде диаграммы и в виде таблицы с данными.

Для некоторых разделов предусмотрена возможность выгрузить данные в виде Excel-отчета согласно регламентированной форме.

Настройка прав доступа

Одним из этапов проекта стала настройка прав доступа к дашбордам по ролям:

• Администратор

Управляет данными по всем дашбордам Системы: загружает их из Excel-источников, обновляет и редактирует показатели

• Пользователь

Может просматривать показатели по всем дашбордам Системы и формировать отчеты по заданной фильтрации

Для настроек доступа специалистами Qlever было реализовано подключение к Active Directory с использованием плагина FineBI.

Полученные результаты

В результате работы команды Qlever Solutions клиент получил наглядное представление ключевых экологических показателей в разрезе предприятий за все периоды с 2022 года.

Система позволила сократить время на подготовку отчетности по устойчивому развитию с нескольких дней до 3 часов. Теперь специалисты Экологического департамента могут в пару кликов настраивать нужные выборки и выгружать отчеты о результатах ESG-мероприятий.

Оперативная передача информации Совету директоров компании способствует своевременному вводу инноваций в области охраны окружающей среды:

1. Принятию решений об эффективности программ по утилизации метана и снижению выбросов парниковых газов
2. Повышению энергоэффективности и безопасности производственных процессов
3. Развитию программ водоочистки, переработки отходов и рекультивации нарушенных земель
4. Продвижению корпоративных экологических мероприятий и вовлечению сотрудников в заботу об окружающей среде

Отчеты, сформированные на основе дашбордов Системы, сделали экологические процессы Компании более прозрачными для потенциальных акционеров и регуляторных органов. 

Распадская планирует продолжать работу с командой Qlever для развития Системы:

1. Расширить набор показателей по направлению Рекультивация
2. Глубже детализировать анализ данных по Обращению с отходами по периодам
3. Реализовать дашборды по другим направлениям деятельности Компании по охране окружающей среды

Источники и стек технологий

DWH, BI, ETL, Kafka, FineBI, Airflow, ClickHouse, PostgreSQL, Информационная система охраны окружающей среды (ИС ООС), Excel

Функциональные области

ESG, Экологи, Комплаенс, Топ-менеджмент

Наглядные визуализации для ESG-отчетов

Разработаем дашборды, которые помогут своевременно запускать новые ESG-инициативы и эффективно достигать цели в области устойчивого развития