Как искусственный интеллект помогает строить корабли

У нашего заказчика появилась потребность развернуть на территории одной из крпнейших судоверфей мира Keppel Offshore & Marine Limited’s shipyard систему видеомониторинга промышленной безпасности, которая позволяла бы:

1. Определять количество работников в цехе, наличие у них средств индивидуальной промышленной защиты (каски, жилеты, комбинезоны, бэйджи). Отслеживать присутствие на объекте супервайзера или посторонних групп лиц.
2. Определять объекты в зоне цехов: погрузчики, краны, велосипеды. Время их работы и нарушения в процессе экплуатации.
3. Вести анализ состояния инфраструктуры объекта: мониторинг свободных от посторонних предметов эвакуационных зон/галерей/проходов, опреелять наличие строительных лесов в зоне ведения высотных работ.
4. Вести автоматизированный мониторинг прогресса строительства кораблей в режиме реального времени.
   

Этапы проекта

Проект рассчитан на 3 года. Первый год мы запустили пилот на 24 камеры заказчика, в которых показали возможности платформы. В течение 2021 года идет масштабирование решения на 500 камер (32 цеха) судоверфи. В 2022 году предусмотрено сопровождение системы для дальнейшего автономного использования заказчиком. На сегодня — два первых этапа проекта в полной мере реализованы и используются заказчиком.

Реализация

В каждом из цехов мы установили 6 высокоточных беспроводных Wi-Fi (в будущем 5G) цифровых камер, которые покрывают всю исследуемую область заказчика и подключены к программному комплексу нашей собственной разработки. Все данные обрабатываются, анализируются и формируются в отчеты при помощи платформы анализа потока медиа данных в режиме реального времени (RTMIP). В основе ПО — специально созданный набор нейросетей, каждая из которых обучена на определенную задачу (подсчет трафика, определение СИЗ, распознавание людей и объектов, прогресса строительства и т.д.).

Для построения системы используется мощное серверное оборудование, подключение к существующей на территории заказчика базовой станции связи, при помощи которой данные передаются на компьютеры в диспетчерском центре судоверфи.

Это позволило нам создать для заказчика решение со кастомизированным УТП:

— многофункциональная платформа объективного контроля и промышленной безопасности для отслеживания рабочего времени персонала, соблюдения правил ТБ на рабочем месте, наличия посторонних объектов и нештатных ситуаций на производстве, с возможностью экстренного реагирования.

— комплексное автоматизированное решение для слежения за ходом строительства судов в режиме реального времени.

— мультиплатформенная (desktop, mobile, web, SNS) и легко настраиваемая система получения отчетности по всем задачам заказчика с единым интерфейсом

Что представляет из себя платформа RTMIP?

Real-Time Media Identification Platform (RTMIP) — это многоуровневая система, основу которой составляют, так называемые, нейросервисы (нейронка на лица, нейронка на машины, нейронка на номера, на текст и т.д.). Над этим полем нейронок лежат алгоритмы обработки результатов. Эти алгоритмы анализируют данные, что выдает нейросеть, сравнивают их с другими данными в системе (например, место, время, состояние, условия, при которых эти данные были обнаружены нейронкой). Следующий уровень — фронтенд — это где все визуализируется в виде окон, интерфейса, отчетов и т.д.

Какую проблему решает?

Оптимизация человеческих ресурсов на объекте, профилактика нарушений, оптимизация расходов на обеспечение промышленной безопасности на производстве заказчика и устранение последствий экстренных ситуаций. Непредвзятый контроль за ходом строительства и расходом материалов на производстве.

Как это работает?

В каждом из цехов заказчика установлен комплекс IP камер, которые мониторят периметр на предмет происходящего. Если в периметре появляется группа рабочих — нейросеть их считает, анализирует — одеты ли они в СИЗ согласно требованиям ТБ, смотрит — к какой группе рабочих относятся (супервайзер, рядовой персонал, посторонние) и в зависимости от настроенных сценариев записывает данные в отчет.

Например, в 8:30 в цех № 1 вошли 3 рабочих, экипированы должным образом, находились на объекте в течение рабочего времени. В 9:00 на объекте появился 1 сотрудник — супервайзер, делал обход помещения в течение 30 минут.

В 11:00 на прилегающей доку № 3 работает автопогрузчик — видеокамера его видит, а нейросеть к ней подключенная распознает его и записывает его параметры в систему (модель, марка, номер, оператор погрузчика, сколько работал). Там же в 11:13 проехал сотрудник на велосипеде — супервайзер, которых решил ускорить обход объекта, пересев на велосипед. Поскольку, передвижение на велосипедах по территории предприятия запрещено правилами техники безопасности — система видеокамер зафиксировала нарушение и передала уведомление на пульт диспетчеру и оформила данные в отчет.

В судостроительном доке № 5 произошло обрушение строительных лесов, конструкции которых упали на прилегающие проходы, предназначенные для эвакуационного выхода сотрудников из помещения. Система видеокамер зафиксировала отсутствие строительных лесов на высоком этаже строительства корабля и нахождение посторонних предметов, загромождающих эвакуационные проходы из дока. Нейросеть распознала ситуацию как нештатную и передала соответствующие данные в систему для устранения.

В судостроительном доке № 33 идет строительство кормы для нефтеналивного танкера. Видеокамеры, установленные в помещении, следят за ходом строительства — сверяют с планом в системе для учета этапов проекта. IP камеры распознают изменения в размерах постройки и передают данные для трекинга в систему — 13 октября построено 3 уровня, 19 октября — 4 уровня и т.д. В случае отклонения от плана строительных работ — супервайзер объекта может корректировать отчетную документацию и влиять на ход работ в режиме реального времени.

Стоимость решения

В проектах подобного масштаба стоимость проекта может доходить до полумиллиона долларов США. Она складывается из софтверной и инфраструктурной частей. Ценообразование софтверной части решения строится из стоимости разработки нейросетей под заказчика и стоимости лицензий на ПО из расчета на количество камер на объекте. Стоимость хардверной части решения — зависит от желания и возможностей заказчика. Здесь заказчик сам выбирает, закупить самое инновационное и дорогостоящее оборудование или его более бюджетные аналоги.

Результаты проекта

Заказчик удовлетворен результатами реализации первых двух этапов проекта и принял решение о масштабировани решения на своей территории.