Искусственный интеллект на кассах самообслуживания

Заказчик:: Х5 Group
Руководитель проекта со стороны заказчика: Роман Тимаев

Директор по инновациям
Год завершения проекта: 2023
Сроки выполнения проекта: Март, 2022 - Сентябрь, 2023
Масштаб проекта: 500 автоматизированных рабочих мест
Цели: Разработка системы помощи покупателям при работе с КСО путем внедрения группы нейросетей, которые распознают товары и движения покупателей, попадающие в рабочую зону КСО.
Результаты: В результате запуска программно-аппаратного комплекса удалось снизить на 10% количество ошибок покупателей при использовании КСО в магазинах сетей X5.
Уникальное решение позволяет справиться сразу с несколькими видами типичных ошибок. Например, если товар был поднесён к сканеру, но не отобразился в системе или если пользователь по ошибке пробил один товар под видом другого. Кроме того, благодаря нейросети КСО теперь может подсказать, если покупатель некорректно разместил товар на весах. Искусственный интеллект поможет распознать количество и вид товаров, в том числе, кофе, алкоголь, схожие по виду овощи и фрукты, конфеты. На текущем этапе алгоритм различает категории и классы товаров, однако в процессе обучения, он сможет распознавать сорта и виды продуктов.

Уникальность проекта

Разработан программно-аппаратный комплекс, состоящий из вычислительного модуля, камер, группы нейросетей и управляющего модуля, которые с высоким уровнем точности позволяют различать категории и классы товаров, их количество, а также фиксируют взаимодействие покупателей с товарами в рабочей зоне КСО. В случае ошибки КСО подскажет пользователю, какой товар был некорректно добавлен в чек, какой товар не был добавлен в чек и, при необходимости, оповестит сотрудника магазина, если покупатель сам не смог исправить ошибку.

В ходе эксплуатации системы проводится постоянное дообучение нейросетей, что позволяет повышать точность работы системы и расширять распознаваемую товарную матрицу.

Использованное ПО

Разработка программно-аппаратного комплекса была произведена с нуля.

В проекте используется HD видеокамера и одноплатный компьютер, интегрированные с КСО

Сложность реализации

1. Размещение набора нейросетей на борту одноплатника

2. Большая вариативность внешних факторов в магазинах (разные углы освещения, цветные пакеты для весового товара, покупатели в перчатках, широкая товарная матрица)

Большая вариативность сценариев использования КСО покупателями (2 и более человек на одну покупку, разные варианты перемещения товара, разная скорость перемещения товара)

Описание проекта

Набор нейронных сетей анализирует видеопоток с камеры, установленной на КСО в режиме реального времени, генерит поток событий и отправляет в управляющий модуль.

Управляющий модуль сопоставляет события, полученные из нейронных сетей с фактическими событиями POS-системы и, при выявлении, несоответствий (по заданной логике) генерит управляющие сообщения и отправляет их на КСО

Реализованы следующие кейсы:

- - В чек добавлен не тот товар, который распознала система.

- - Товар был перемещен в рабочей зоне КСО, но не был добавлен в чек.

- - Товар некорректно размещен в зоне взвешивания.

- - Количество товаров, которое переместили в рабочей зоне КСО существенно превышает кол-во добавленного в чек товара.

- - В пик-листе был выбран не тот товар, который распознала система.

География проекта

На стадии пилота охвачен Центральный федеральный округ, тираж планируется разворачивать на все регионы присутствия