Автоматизация ведения НСИ на новом уровне

Справочники материально-технических ресурсов (МТР) – один из ключевых элементов системы нормативно-справочной информации (НСИ). С НСИ работают многие подразделения компаний – от производства и логистики до финансовой службы и бухгалтерии. 

Но чем крупнее компания, тем сложнее структура их справочников: десятки, сотни тысяч и даже миллионы позиций, несогласованность форматов описаний, дубли и ошибки. Поддерживать порядок становится все труднее, а цена таких неточностей оказывается слишком высокой. Управляющий директор «Преферентум» компании SL Soft Дмитрий Романов объясняет, как работают интеллектуальные сервисы для обработки НСИ и какой бизнес-эффект приносят.

Справочники МТР содержат информацию об используемых в производстве материалах, оборудовании, запчастях, комплектующих изделиях, готовой продукции и множество других важнейших сведений, необходимых для поддержки бизнес-процессов. Безусловно, любая компания стремится к тому, чтобы эти сведения были всеобъемлющими, точными и непротиворечивыми. Однако на практике из-за меняющихся подходов в ведении справочников и ручного ввода позиций начинают появляться дубликаты, неполные записи, опечатки. Так запускается каскад проблем: инженеры теряют время на поиск аналогов, отдел снабжения закупает комплектующие, которые уже есть в избытке на складе, финансовые службы и производство допускают просчеты при планировании, топ-менеджмент принимает неверные решения из-за искаженных данных в отчетах. По разным данным, только из-за некачественной НСИ время простоя оборудования составляет 3-5%, компании теряют до 15% средств на избыточных закупках. И это далеко не полный перечень издержек, которых можно было бы избежать.

Как это исправить? К сожалению, скрипт в Excel, который сопоставлял бы записи, искал в них совпадающие последовательности символов и объединял бы по принципу похожести, не решает задачу. Причина в том, что даже две записи, отличающиеся друг от друга всего на один символ, могут принадлежать принципиально разным категориям: например, трубам с круглым и квадратным сечением. Поэтому зачастую проверкой справочников МТР вручную занимается целый отдел высококвалифицированных специалистов. Это трудозатратный, рутинный и, по сути, непрекращающийся процесс – ведь каждый сотрудник может обработать не больше нескольких десятков позиций в день, а новые записи появляются в системе постоянно.

Цифровые решения, и прежде всего технологии искусственного интеллекта, позволяют кардинально – раз и навсегда – решить эту проблему. Разберем, как они работают и к какому результату приводят.

Варианты нормализации товарных позиций

Интеллектуальные инструменты, применяемые в процессах обработки и нормализации НСИ, могут основываться на разных технологиях в зависимости от типов данных и бизнес-целей организации.

Первый – традиционное программирование. Специалисты могут по техническому заданию написать программу, которая будет искать в записях нужные сведения и использовать их в соответствии с поставленной задачей. Такой инструментарий отличает максимальное быстродействие, но для его создания, поддержки и развития необходима команда разработчиков.

Второй – формирование шаблонов поиска и замены подстрок, например, на основе регулярных выражений (RegExp). Аналитик описывает алгоритмы нормализации, которые позволяют по заданным правилам находить нужные фрагменты в товарной позиции и выделять в них соответствующие элементы. Это решение менее требовательно к квалификации пользователя, но нуждается в постоянном контроле правил квалифицированными специалистами.

Третий – классические методы машинного обучения (ML). Система использует размеченный массив данных для обучения модели выделению ключевых свойств позиций справочника. Основная сложность в применении этого подхода связана с формированием качественного датасета.

Четвертый – использование языковых моделей (LLM). Настроив обученную модель, пользователи могут запускать процессы обработки товарных позиций и выделения ключевых свойств с помощью правильно заданных запросов (промтов). Преимущество этого подхода в том, что LLM позволяет создавать очень гибкую и мощную аналитическую функциональность, а также способна дообучаться в процессе своей работы на основе оценок уже выполненных заданий. Из недостатков можно отметить достаточно высокие требования к вычислительным мощностям.

Например, в ИИ-сервисе для нормализации НСИ нашей компании применяется гибридная модель, сочетающая несколько технологий, которые дополняют и усиливают преимущества друг друга.

Повышение качества существующей базы НСИ

Текстовое наименование товарной позиции в справочнике – сложный объект, содержащий множество атрибутов, необходимых для точной работы как бизнес-систем компании, так и рядовых сотрудников: ведь по ней они должны четко понять, какие у объекта параметры, чем он отличается от других. Среди таких атрибутов, например, – тип и вид изделия, габариты, материал, из которого оно изготовлено и многое другое.

Поэтому первая задача, которую должен решать интеллектуальный сервис, – это нормализация описания товарных позиций по атрибутивному составу: выделение из текстовых строк набора ключевых свойств, которые будут стандартом для каждой товарной группы, и приведение записей к единому формату. Интеллектуальный сервис делает эту работу в несколько шагов.

На первом шаге происходит категоризация новой позиции, определение ее товарной группы. Система анализирует имеющиеся атрибуты и делает вывод о том, на какой ветке корпоративного или общероссийского классификатора позиция должна находиться. По нашей статистике, обученная на качественных данных ML-модель автоматически выполняет эту функцию с точностью более 95%.

На втором шаге проводится атрибутивный разбор товарного наименования и нормализация: разделение текстовой строки на структурированный набор свойств, их автоматическое извлечение и приведение к эталонной форме – заданному шаблону свойств. Для этого в системе применяется гибридный метод, включающий обработку естественного языка (NLP), большую языковую модель (LLM) и другие технологии.

Третий шаг – валидация, анализ извлеченных свойств товарной позиции на предмет соблюдения форматов (числовых, текстовых и т. д.), полноты сведений с учетом определенной товарной группы, корректности значений с учетом корпоративных словарей и справочников. В результате такой проверки система может более точно и единообразно работать с товарными позициями.

После нормализации справочников компания получает возможность решать аналитические задачи для повышения эффективности работы с НСИ – осуществлять дедупликацию, сопоставление справочников разных подразделений, выверку номенклатуры между разными системами, поиск аналогов. В частности, система сопоставляет «сырые» данные, например из справочников подразделений, с «золотыми», для каждой позиции находит эквивалентную эталонную запись или определяет, что таковой нет. Участие эксперта при этом требуется только для контрольной функции и уточнения в спорных случаях. Поиск аналогов необходим для выявления взаимозаменяемых или близких по характеристикам позиций.

Безусловно, НСИ – это не монолит, а постоянно изменяющаяся среда, в справочниках МТР которой появляются новые записи. Автоматизация их ввода по утвержденным стандартам – еще одна важная задача интеллектуального инструмента. Это позволяет проактивно работать с данными справочниками, предотвращая появление ошибок.

Таким образом интеллектуальный сервис обработки НСИ способен обрабатывать данные с большой точностью, как это делал бы специалист, но при этом в несколько раз быстрее.

Особенности внедрения и эффективность интеллектуальных инструментов

Интеллектуальный сервис представляет собой независимую интеллектуальную надстройку и легко встраивается в контур различных информационных системы заказчика. Он применяется как в облачной среде, так и в корпоративном периметре, обеспечивая интеграцию по API. Сервис взаимодействует с любой MDM-системой (Master Data Management) компании и дополняет ее интеллектуальными инструментами для «понимания данных». На этапе загрузки справочников в MDM-систему, сервис использует её в качестве источника, выполняет классификацию, нормализацию и другие необходимые процедуры, после чего возвращает в систему очищенные и структурированные данные. В дальнейшем эти мастер-данные передаются в смежные прикладные системы, которые работают со справочниками MDM.

Применение интеллектуального инструмента для нормализации НСИ востребовано организациями всех отраслей, которые работают с масштабными и разветвленными справочниками. По нашей статистике, такой сервис позволяет компаниям ускорить регистрацию и обработку новых позиций в 5-10 раз, добиться корректности заполнения карточек товаров в учетной системе до уровня 95-98%, устранить до 98% от общего объема дублей. На экономический эффект от его внедрения особенно влияет то, что нагрузка на экспертов, отвечающих за ведение НСИ, существенно снижается – ведь до 70% таких задач переходят в автоматический режим.

Внедрение сервиса начинается с анализа целей и метрик проекта, а также оценки структуры и качества исходных данных. На этой основе формируется документация и подготавливается обучающая выборка для настройки системы. Далее выполняется импорт и верификация данных, конфигурация каталогов и обработчиков по товарным группам, запуск тестовой обработки и контроль метрик качества работы системы. При необходимо идет донастройка и корректировка алгоритмов. После подтверждения результатов сервис масштабируется на весь справочник и проходит опытную эксплуатацию. Завершающий шаг — интеграция с корпоративными системами, обучение пользователей и запуск в промышленную эксплуатацию с дальнейшим сопровождением, обновлениями и расширением применения.

По нашему опыту, сроки реализации такого проекта могут составлять от 3-4 месяцев до полугода, иногда – больше, в зависимости от ограничений или специфических требований на стороне заказчика. Решение быстро выходит на окупаемость – от нескольких месяцев до года. Это один из тех полезных элементов автоматизации, который имеют доказываемую, измеримую бизнес-эффективность практически сразу же после внедрения.