Так ли бесплатны бесплатные BI-решения, и что выбирать, чтобы не потратить лишние деньги?

Open Source решения не равно бесплатные решения. Использование Open Source все также стоит денег, только вы платите не за лицензии, а за внедрение, сопровождение, развитие, обеспечение должной поддержки, доработки и риски.

Когда речь заходит о построении аналитических приложений на базе Open Source продукта для непрерывно развивающегося бизнеса, построенное на базе открытого ПО решение в итоге будет дороже проприетарного из-за необходимости доработок.

Преимущества открытого ПО:

1. Экономия на лицензиях и гибкость при масштабировании
2. Возможность легких доработок по функциональности под конкретные нужды пользователя
3. Активное развитие комьюнити — постоянно обновляющиеся примеры использования, гайды, растущие чаты поддержки, где можно получить консультацию по возникшей проблеме
4. Независимость от санкций

Недостатки открытого ПО:

— Отсутствие гарантий в необходимой функциональности и отказоустойчивости

Применение Open Source дает возможность комбинировать различные открытые компоненты для получения комплексных решений, но это требует наличия в компании экспертизы и на уровне построения бизнес-процессов, и с точки зрения интеграции в корпоративный ИТ-ландшафт.

— Отсутствие стандартов безопасности и незамеченные уязвимости

В Open Source проектах участвует большое количество аналитиков и пользователей, что усложняет централизованную проверку созданного кода и не дает гарантий честных намерений всех участников. Легко может возникнуть пробел в безопасности. По данным GitHub, 17% всех уязвимостей, почти пятая часть всех ошибок открытого ПО, создается для вредоносных целей.

— Нет поддержки в режиме реального времени

Неизвестно, когда удастся получить ответы на вопросы, и возможно ли будет решить проблему в тематическом сообществе.

— Внедрение и обновление и открытого ПО может потребовать привлечения специалистов

Кажущееся на первый взгляд бесплатным решение, требует весомых затрат на его внедрение, интеграцию и поддержку. Переходы на новые версии не протекают также незаметно для конечного пользователя, как в проприетарном ПО.

***

Например, Apache Superset вполне может использоваться для создания отчетности в компаниях, где хорошо развита культура дата инжиниринга. В нетехнологических компаниях Superset потребует привлечения специалистов для установки и настройки.

Для развертывания Superset нужны знания бэкенд-разработчика: умение работать с Docker, знания базовых команд терминала Linux, настройка Flask, Redis, Celery, выбор веб-сервера для платформы и т. д.

В системе отсутствует возможность кастомизации визуализаций стандартными командами. Для создания сложных приложений с элементами управления и реализации расчетов на стыке данных из разных датасетов потребуется изучение шаблонизатора Jinja и SQL хотя бы на среднем уровне.

Еще один минус — отсутствие возможности проводить детализацию данных по иерархии (технология drill-down).

Есть недостатки и в работе с источниками данных. Работать напрямую с файлами форматов .txt, .csv, .xls в Superset нельзя, нужно предварительно загружать информацию в БД. Инструментов по предпроцессингу сырых данных нет, поэтому все этапы нужно выполнять сторонними программами либо с помощью языков программирования.

Для пользователей Superset доступна мощная поддержка сообщества, где можно почерпнуть идеи модификации, но могут возникнуть проблемы с получением поддержки для решения проблем в реальном времени.

Есть вопросы и к безопасности Superset. Недавно агентство кибербезопасности Horizon3 обнаружило в порядка 2000 из 3000 установок Apache Superset уязвимость. Многие из этих серверов оказались публично открыты, так как выявлено использование указанного по умолчанию в примере файла конфигурации ключа шифрования для генерации сессионных файлов cookie. Любой злоумышленник мог подключиться к интерфейсу Superset с правами администратора, сформировать фиктивные параметры сеанса, изменить данные и выполнить удаленный код.

Эксперты Horizon3 еще в 2021 году обратили внимание на данную проблему, в код была добавлена проверка, при наличии значения по умолчанию выводящая в лог предупреждение, но пользователи редко обращали внимание на уведомление.

Окончательно уязвимость устранена в новых версиях Apache Superset, но все еще показательна относительно возможных рисков использования открытого ПО без должных компетенций пользователя.

Неизбежная модификация, адаптация к архитектуре и усложненный процесс интеграции со смежными системами при переходе на открытое ПО требуют временных затрат собственных или привлеченных ИТ-специалистов, а значит дополнительного бюджета на расширение штата, обучение и оплату труда.

Выбор в пользу Open Source возможен, если компания четко понимает цели внедрения, риски и в состоянии обеспечить должные навыки команды. Если у Вас есть проприетарный BI, то Open Source инструмент может использоваться для расширения возможностей платформы.

***

✔️Cloud Native платформы

Платформы BI на базе облачной инфраструктуры. Лидеры облачного BI — Google Data Studio и Amazon QuickSight, но, в связи с политикой импортозамещения, платформы больше не доступны в России. На смену пришел бесплатный отечественный продукт Yandex DataLens.

Преимущества облачного ПО:

1. Простота и скорость внедрения или миграции — внедрение on-premise решения требует более тщательного планирования и подготовки в масштабах организации
2. Простое масштабирование — нет ограничений по количеству пользователей, объему хранилища или вариантов визуализаций
3. Регулярные автоматические обновления
4. Данные из облака можно получать практически из любой точки доступа

Недостатки облачных платформ:

Популярное сейчас бесплатное российское решение на базе облачной инфраструктуры — Yandex DataLens.Имеет хорошую документацию, встроенные справочники функций и даже курсы бесплатного обучения по работе с продуктом. Но, как и прочие варианты, имеет свои минусы.

— Не подходит для компаний с высокими требованиям к информационной безопасности

Размещение данных во внешней инфраструктуре не дает гарантий по конфиденциальности и сохранности данных.

— Не подходит для работы с большим объемом данных

На базе облачного BI, как правило, невозможно развернуть полноценное Enterprise решение. Скорость работы платформы будет практически полностью определяться скоростью работы БД и оптимизацией таблиц данных, и при больших объемах данных быстродействие в облаке может проседать. В DataLens есть следующие ограничения при работе с данными:- Лимиты данных в чартах — 75 000 строк для большинства диаграмм, есть и более ограниченные чарты- Лимиты данных в таблицах — 100 000 строк

— Сложности кастомизации

Если вам не хватит функциональности платформы, добавить ее не получится, возникнут расходы на дополнительные инструменты.

Например, в DataLens количество видов встроенных диаграмм ограничено, нельзя строить каскадные диаграммы Waterfall, и отсутствует возможность их расширения путем интеграции сторонних решений (с помощью JavaScript кода).

— Затраты на инфраструктуру, доработки и дополнительные инструменты

DataLens не имеет собственных ETL-инструментов, нужно больше времени уделять подготовке данных на стороне источника. Инструменты для ETL предоставляет Yandex Cloud — платный сервис, таким образом, за ETL-инструменты придется платить, а сколько, зависит от объемов потребленных ресурсов и времени их использования.

Для DataLens можно построить ETL-процедуры на Open Source продуктах и собственных мощностях, но при наличии квалифицированного персонала или интегратора, способного настроить и вести процессы хранения и обработки данных у заказчика, что также означает дополнительные затраты на сотрудников.

В рамках DataLens невозможен автоматический процесс Data Mining — глубокое погружение в необработанные данные для извлечения ключевых знаний. Интеллектуальный анализ данных реализован в других сервисах Yandex Cloud, они требуют дополнительных расходов и привлечения аналитиков для настройки.

Российская облачная BI-платформа позиционируется как полностью бесплатная, но на самом деле требует дополнительных затрат на инфраструктуру, доработки, дополнительные инструменты и привлечение экспертов.

***

Для каждой конкретной компании и каждых конкретных бизнес-задач, независимо от того, внедряете ли вы решение с нуля или хотите мигрировать на новую версию платформы, выбираете между проприетарным ПО или Open Source, необходимо оценивать внутренние процессы и возможности, а в выборе ориентироваться не на кажущуюся доступность или простоту внедрения, а на совокупную стоимость владения и оценивать как плюсы, так и минусы продуктов.

***

Как тогда выбирать и при этом сократить затраты?

Чтобы инвестиции в ПО принесли ожидаемые результаты, необходима стратегия, с помощью которой можно определить критически важные заинтересованные во внедрении стороны, согласовать их потенциально несопоставимые цели, оценить технологии, обеспечить оптимальный бюджет и отслеживать процесс выбора ПО.

Оценка технологий

Для оценки ПО стоит определить и согласовать:

1. Функциональные возможности для удовлетворения конкретных потребностей пользователей и решения конкретных задач
2. Технические требования, соответствующие вашей инфраструктуре и отвечающие потребностям безопасности
3. Возможности поддержки, включая помощь во внедрении, нюансы SLA (Service Level Agreement, соглашения об уровне обслуживания), обучение и техподдержку
4. Отзывы и рейтинги пользователей или коллег по отрасли
5. Потенциальную стоимость владения и коммерческие условия в соответствии с вашим бюджетом, включая затраты на внедрение и обучение, плату за обслуживание и поддержку, лицензионные сборы и продление, возможные доработки

Процессы

Определите процессы, которые должны поддерживаться с помощью BI, получите консенсус по ним от ключевых заинтересованных сторон и ранжируйте их по важности.Для того, чтобы выбрать и в дальнейшем использовать BI максимально эффективно, ваша стратегия выбора должна отвечать на вопросы:

1. Какие бизнес-задачи вы хотите решить с помощью ПО?
2. Какие сотрудники и процессы оказывают наибольшее влияние на достижение ваших бизнес-целей?
3. Какие инструменты и технологии бизнес-аналитики нужны этим сотрудникам и для поддержки этих процессов, чтобы обеспечить достижение бизнес-целей?

Показатели

В рамках стратегии оцените, какие показатели оказывают наибольшее влияние на вашу бизнес-стратегию: помогают оценить эффективность имеющихся процессов и сформулировать цели.

Данные

Определите, какие конкретные данные необходимы для реализации процессов и влияют на вашу бизнес-стратегию. Перед выбором решения необходимо учитывать все источники данных, используемые для принятия решений: операционные системы, электронные таблицы и неструктурированные данные, хранящиеся в текстовых файлах, веб-страницах и других корпоративных системах.

Стратегия также должна учитывать процесс управления данными как корпоративным активом — для согласования использования данных с глобальной стратегией компании.

Пользователи

Ваша стратегия должна учитывать, что все ключевые сотрудники должны иметь простой и быстрый доступ к данным из разрозненных источников в любой точке мира, по мере необходимости.

Обзор текущей ситуации

Проведите аудит BI. Аудит текущей BI системы позволит выявить узкие места в ETL-процессах, архитектуре решения, требуемой ИТ-инфраструктуре, а также на уровне интерфейсов, визуализаций и отчетов.

В случае, если вы внедряете с нуля, аудит поможет провести анализ готовности инфраструктуры и источников данных.

Согласование внедрения BI со стратегией развития компании

Сопоставьте глобальную стратегию роста и развития бизнеса со сформированной стратегией выбора, внедрения и развития BI. Это поможет вам оценить затраты и выгоды от системы на долгосрочный период.

***

Разработка стратегии поможет:

1. Снизить затраты на ПО за счет более скоординированных, эффективных закупок
2. Снизить затраты на поддержку и администрирование
3. Снизить затраты на обучение пользователей
4. Получить ускоренную окупаемость проектов BI

Внедрение BI часто является предметом разногласий между ИТ-отделом и бизнес-пользователями. Связывая цели, процессы, показатели эффективности, сотрудников и оценку BI-инструментов, стратегия BI обеспечивает согласованность, прозрачность и эффективность процесса выбора и проекта внедрения.

Стратегия BI способствует значительной экономии средств, эффективному управлению и улучшенному опыту бизнес-пользователей. Все это даст вам конкурентное преимущество за счет полноценного использования функциональности и возможностей BI системы.

Хотите сократить затраты на BI?

Совершите один из важных шагов в стратегии эффективного внедрения — пройдите аудит BI