Исследователи создали крупнейший в мире датасет для умных касс и систем учета магазинов

Данный набор данных состоит из изображений фруктов и овощей и может быть использован ритейлерами для совершенствования алгоритмов, применяемых в автоматизированных кассовых узлах и системах инвентаризации.

Применение PackEat позволит существенно повысить точность идентификации продукции непосредственно в реальных торговых точках благодаря учету специфики изображений: наличия упаковочных материалов, перекрывающихся объектов и фона, характерного для прилавков.

Для формирования PackEat команда исследователей собрала фотографии 65 сортов, относящихся к 34 видам фруктов и овощей. В набор вошли общедоступные товары, размещенные на фруктовых и овощных прилавках и заснятые с разных углов в обычных магазинах. Всего было собрано свыше 100 тысяч изображений, содержащих более 370 тысяч объектов, в различных торговых точках.

Около 9 тысяч этих изображений содержат детальную разметку каждого объекта, с указанием количества объектов и общего веса упакованного товара. Этот крупнейший в своем роде датасет призван решить ключевые проблемы компьютерного зрения в ритейле: распознавание видов и сортов продукции, выделение отдельных объектов даже при их частичном перекрытии, а также автоматизированный подсчет количества товаров.

Автоматизация идентификации видов, сортов и дефектов весовой продукции (фруктов, овощей) остается актуальной задачей для ритейлеров, поскольку ручная обработка приводит к финансовым потерям. Исследования показывают, что применение нейросетей позволяет достичь точности до 92%, что подчеркивает важность автоматизации данного процесса.