Главное Свежее Вакансии   Проекты
Комментируемое:

Список ссылок временно недоступен
188 0 В избр. Сохранено
Авторизуйтесь
Вход с паролем

Реинкарнация больших данных: какие преимущества есть у Big Data

Сергей Зинкевич, директор по развитию сервисов КРОК Облачные сервисы

Анализ больших данных могут позволить себе только самые крупные компании. Так ли это на самом деле? Разберем несколько устойчивых стереотипов о технологии, которую некогда назвали новой нефтью, затем лишили титула популярного тренда и снова «короновали» на фоне развития искусственного интеллекта и машинного обучения.

На самом деле с большими данными не все однозначно. Про их безусловное благо для улучшения работы с клиентами и оптимизации операционной деятельности в теории знают многие. Однако на практике реализовать стремятся далеко не все. Даже среди крупнейших корпораций Америки, по данным опроса NewVantage Partners, большие данные и AI используют чуть более половины участников рынка. В России масштаб внедрения в enterprise-сегменте и того меньше. И, естественно, существенно реже большие данные применяются среди компаний среднего масштаба из-за серьезных инвестиций инфраструктуру: аппаратного обеспечения и лицензий, а также привлечения специалистов для работы с этими данными. Несмотря на то, что внедрение полноценной big data в B2C-сегменте помогает увеличить средний чек, на подобные проекты решаются единицы. Все дело в высокой стоимости. По нашим оценкам, она составляет от десятков до сотен миллионов рублей в зависимости от масштаба компании, также нужно учитывать ежегодную поддержку с учетом того, что специалисты будут работать в штате. В первую очередь это касается комплексных систем корпоративного класса с длительным циклом внедрения, типа экосистемы Hadoop.

Но есть и альтернативы для тех, кто хотел бы сэкономить.

Об облачных инструментах работы с Big Data стали говорить в конце 2000-х. Несмотря на то, что в целом массивно-параллельные вычисления, которые характерны для этого класса систем, эффективно работают в первую очередь on premise (в локальной инфраструктуре заказчика), модель начала завоевывать рынок. Причем настолько успешно, что Gartner еще в 2017 году начала «списывать» классические дистрибутивы. Аналитики компании утверждали, что продукты не достигнут «плато продуктивности» и проиграет своим облачным аналогам. И, напротив, BDaaS (Big data as a service) стали пророчить светлое будущее. Так, ResearchAndMarkets считает, что этот сегмент мирового облачного рынка к 2026 году вырастет более чем на 36%.

Big Data — это всегда высокая стоимость как барьер для старта проекта?

Своей популярности BDaaS обязана облачной модели оплаты вычислительных ресурсов. По объему первоначальных инвестиций в инфраструктуры Big Data классические решения не идут ни в какое сравнение с облачными продуктами. Стоимость лицензий и в том, и в другом случае примерно одинакова, но она составляет всего от 10 до 30% от всех затрат на проект. Значительную долю финансовых средств съедает железо. Часто его нужно очень много. Кроме того, буквально в каждом первом проекте возникает проблема сайзинга — невозможно сразу понять, сколько ресурсов потребуется. В итоге компании либо покупают оборудования больше, чем нужно. Либо же сталкиваются с нехваткой мощности.

В облаке эту проблему легко решить. Во-первых, необходимый объем ресурсов оплачивается строго по мере потребления, без значительных инвестиций на старте. Во-вторых, существуют различные схемы для оптимизации стоимости услуг. Например, некоторые клиенты предпочитают короткие пилоты. Их цель — проведение разового исследования, проверка гипотезы. В этом случае провайдер может предоставить не только инфраструктуру с почасовой тарификацией, но и временные лицензии на сам программный продукт (что-то типа community edition). Компании, которые с Big Data всерьез и надолго, оплачивают годовую стоимость лицензий. Но и тут есть возможность для экономии: часть заказчиков запускает виртуальные машины в облаке, когда хотят сгенерировать отчет. Они же «гасят» эти виртуальные машины в выходные дни. Таким образом получается уменьшить стоимость облачных услуг до 30%.

Big Data — это всегда долгая реализация?

Модель работы с ИТ — будь они облачными или локальными — принципиально не влияет на сроки разработки архитектуры и настройки системы для анализа больших данных. В среднем по масштабу проекте это длится от 1-2 месяцев на пилот до нескольких лет, если речь идет о полномасштабном проекте для крупного предприятия. Подводным камнем тут, как и в вопросе стоимости всей инфраструктуры, становится железо. Компания крупная, со сложной структурой и большим количеством ответственных? Прибавляйте к срокам проекта минимум полгода. Например, в одной нефтегазовой компании одно лишь согласование бюджета на закупку нужного оборудования занимает не менее двух месяцев. Система класса Big Data горизонтально масштабируемая, то есть если вдруг ИТ-специалисты промахнулись с нужным объемом ресурсов, всегда можно докупить недостающие. И если в облаке добавление мощности происходит по клику в течение нескольких минут (максимум часов), с классическими Big Data процесс может затянуться.

Сложно ли найти квалифицированных специалистов для создания и поддержки Big Data?

В России, как и во всем мире, существует дефицит дата-сайнтистов и тем более дата-инженеров. На одну вакансию, по данным HeadHunter, приходится шесть резюме, в то время как на другие более популярные среди соискателей предложения — восемь и более. Несмотря на то, что такие специалисты очень востребованы в банках, ритейле, госсекторе и промышленности, нужные компетенции накапливаются в основном внутри ИТ-компаний. В целом это совсем не плохо. У клиентов, которые обращаются ко внешней экспертизе, не болит голова, где искать персонал, как его удерживать и платить ФОТ. За последние полгода к нам обращались заказчики, которые могли лишь сформулировать бизнес-задачу. Например, повысить продажи на основе исходных данных. Ни как правильно построить модели прогнозирования спроса, ни тем более какое оборудование выбрать для этого, они не знали. Мы в свою очередь, собирали информацию, строили архитектуру решения, подбирали нужные компоненты инфраструктуры, консультировали и оказывали сервисные услуги. По сути были супермаркетом, в котором клиент мог взять с полки 3 кг облака, 2 часа архитектора, 1 час программиста, взвесить и оплатить все на кассе.

Нужна облачная Big Data: основные шаги

По этому пути компания может пройти самостоятельно, если есть желание и внутренние ресурсы. В ином случае всегда есть возможность привлечь провайдера, который проделает основную часть трудозатратных и рутинных работ.

  1. Формирование предельно конкретной и понятной бизнес-задачи с возможными результатами на выходе;
  2. Проектирование бизнес- и технической архитектуры;
  3. Выделение вычислительных ресурсов, сайзинг решения;
  4. Создание спроектированной инфраструктуры;
  5. Все получилось? Бинго! Вывод в продуктив и эксплуатация.

0
В избр. Сохранено
Авторизуйтесь
Вход с паролем
Комментарии
Первые Новые Популярные
Комментариев еще не оставлено
Выбрать файл
Блог проекта
Расскажите историю о создании или развитии проекта, поиске команды, проблемах и решениях
Написать
Личный блог
Продвигайте свои услуги или личный бренд через интересные кейсы и статьи
Написать

Spark использует cookie-файлы. С их помощью мы улучшаем работу нашего сайта и ваше взаимодействие с ним.