Как нейросеть занимается охраной труда

Начало

На любом производстве в том или ином виде существуют системы, отвечающие за контроль и выявление угроз для жизни и здоровья работников: падения с высоты, воздействие рабочей техники, электроприборов и тп. Есть примеры экспериментальных внедрений технологий 4.0: интернет вещей, машинное зрение, искусственный интеллект.

Мы решили проверить, удастся ли реализовать решение с применением нейросетей и компьютерного зрения, используя уже существующие на объектах заказчика CCTV-камеры. До этого в компании собирали информацию с камер, но не анализировали в режиме реального времени.

Задача

Используя имеющуюся инфраструктуру внедрить искусственный интеллект, который будет захватывать видеопоток с камер, выделять в стриме зоны производства, людей, элементы защиты и определять, нарушены правила техники безопасности или соблюдены. Для проекта мы выбрали свёрточную архитектуру нейронной сети.

Процесс

Чтобы нейросеть научилась определять надета на человеке каска или нет, нужен датасет - набор шаблонов определённых движений, на которых программа сможет тренироваться. Частая проблема проектов с машинным обучением в промышленности — недостаток данных ввиду новизны темы и единичности внедрений.

Датасет

Пришлось с нуля разработать референсный датасет, в состав которого вошли 56 размеченных последовательностей, покрывающих позитивные и негативные сценарии поведения персонала на производстве. На изображениях - сотрудники предприятия, часть из которых экипирована по всем правилам техники безопасности, часть - с нарушениями. У каждого человека размечена модель скелета по 12 точкам. Амуниция размечена дополнительными точками. Каждый кадр имеет текстовую подпись и цветовой маркер - характеристики демонстрируемого действия. Также размечены типы производственных зон.

Собранный датасет позволил искусственному интеллекту стабильно распознавать и классифицировать три распространённых сценария поведения персонала, которые требуют повышенного внимания:

● Носит ли сотрудник защитную каску на голове - является обязательным условием на производстве;

● Надел ли сотрудник капюшон от рабочей куртки поверх каски - это строго запрещено;

● Пристёгнут ли сотрудник тросом - является обязательным условием при проведении высотных работ.

Распознавание

Обработка видеопотока происходит в три этапа. Сначала отфильтровываются кадры, на которых отсутствуют люди. Затем части видео, на которых система распознала людей, передаются свёрточной нейронной сети. Сеть определяет человека по разметке и идентифицирует снаряжение. Затем алгоритм, использующий метод опорных векторов, сопоставляет изображение объекта по базе с шаблонами. Если кадр содержит нарушения, рамка сотрудника меняет цвет с зеленого на красный, система направляет уведомления в соответствии с прописанными требованиями.

Технологии

Для имплементации методов обнаружения объектов была использована платформа Detectron. Функциональность Detectron позволяет реализовывать наиболее перспективные подходы по построению нейронных сетей и систем машинного обучения, нацеленных на выделение объектов на изображениях. В текущей версии Detectron применяются шесть алгоритмов. Авторы одного - Mask R-CNN - получили премию Марра за вклад в развитие компьютерного зрения. Тренировка нейросети выполнена на технологии Transfer Learning, оптимальной, когда вы работаете с ограниченным датасетом.

Но нужно учитывать, что такой подход, в основном, подходит при условии, что нейросеть будет мониторить соблюдение правил безопасности, без требований к работе с персонифицированными данными и построению аналитических отчётов для повышения эффективности производства.

Результат

В финальном варианте удалось достигнуть стабильной аналитики видеопотока с распознаванием объектов и классификацией поведения. Диапазон точности составляет 77 – 100 процентов. Наш пилот показал отличные результаты на этапе тестирования и сейчас заказчик продолжает тесты, так как путь от пилота до промышленного решения очень долгий. Мы следим за развитием событий и, возможно, в скором будущем опубликуем кейс о производственном внедрении.