Конец ручной нормализации: что ИИ меняет в управлении мастер-данными

Автор: Дарья Кагарлицкая, технический директор компании “Навикон” 

Раньше, чтобы начать работать в MDM, нужно было привести данные в порядок и разработать методику. Далее следовало воспроизвести эту методику внутри MDM, загрузить нормализованные данные и только после этого начать жить «правильно». Именно такого результата компании и ждали от самой системы. Сейчас большую часть этого процесса решает ИИ. В результате меняется не только экономика работы с данными, но и само представление о том, что должна делать MDM-система.

MDM до появления ИИ

Для бизнеса MDM всегда решал одну задачу - обеспечить работу с корректными мастер-данными. Путь к этому результату раньше обычно состоял из нескольких последовательных проектов.
Сначала разрабатывали методологию: определяли, какие данные считать корректными, какие атрибуты обязательны, какие значения допустимы и по каким правилам оценивать качество. В крупных компаниях таких бизнес-правил были тысячи.

Правила касались не только формальных признаков, но и содержания записи. Например, номер телефона должен храниться в определенном формате, а ИНН – соответствовать установленным требованиям, согласно стране. При этом методология не была раз и навсегда заданным набором требований – бизнес менялся, законодательство меняется, поэтому правила можно было дорабатывать, добавлять и изменять.

Следующим этапом становилась нормализация. Существующие данные нужно было привести в соответствие с этими правилами. Часть операций легко автоматизировалась. Например, если все номера должны начинаться с «+7», начальную восьмерку можно было заменить автоматически. Но одних формальных правил было недостаточно там, где требовалось разобраться в содержании записи. Если в одном источнике было указано «Даша», а в другом «Дарья» или «Ди», нужно было определить, относятся ли записи к одному человеку.

Поэтому после автоматической обработки оставался ручной этап: специалист проверял спорные записи, исправлял их и принимал решения там, где алгоритма было недостаточно.
Только после подготовки данных начиналась автоматизация в MDM. В систему загружали нормализованные данные, настраивали правила, роли, согласования и контроль качества. Если новая запись не соответствовала установленным требованиям, ее не пропускали.

Получалась последовательность: «методология - нормализация- автоматизация». Для интегратора это были разные проекты, но для бизнеса нет, глобально это собиралось в одну задачу - привести данные в порядок и работать с ними в MDM.

Изменение экономики нормализации

Появление нейросетей изменило возможности работы с историческими данными. Задачи, которые раньше требовали сложных алгоритмов и ручной проверки, теперь во многих случаях можно передать машине. ИИ способен сопоставлять записи с учетом их смысла, находить совпадения и выявлять отклонения от правил.

Особенно заметен эффект там, где накоплены большие массивы исторических данных. В них уже, как правило, есть множество повторяющихся вариантов, ошибок и отклонений. Причем накопленный опыт специалистов, которые годами занимались нормализацией, сам становится ценным материалом для обучения и настройки таких решений.

 Это быстро меняет экономику нормализации. Рынок ручной обработки фактически обвалился - при наличии подходящей нейросети нет прежней необходимости привлекать специалистов для обработки данных. Работа, которая раньше требовала отдельной команды и большого количества ручных проверок, постепенно превращается в ИИ-зируемый процесс.

 Человек при этом не исчезает. Участие сотрудников смещается на более сложные случаи, где требуется бизнес-контекст и принятие решения. Для сложных задач соотношение может составлять около 70% работы машины и 30% человека, а в более простых случаях автоматизация разбора и нормализации может доходить до 90%.

 Таким образом, меняется не только объем ручного труда - сама нормализация перестает выглядеть как масштабная ручная работа, ради которой нужно запускать отдельный проект. А это создает новые требования уже к самой MDM-системе.

Встраивание ИИ в MDM

Внутри MDM должен быть отдельный ИИ-сервис, который возьмет на себя классификацию и нормализацию исходных данных по заданной методологии (да, методология все еще нужна).

Минимально необходимая функция такого сервиса - получить исходные данные, определить их класс, выявить отклонения и привести записи к установленным требованиям по методологии. Результат сразу передается в остальные сервисы MDM для дальнейшей работы с данными.

При этом привычная функциональность системы никуда не исчезает. Роли и полномочия, согласование заявок, контроль качества и другие механизмы автоматизации остаются внутри MDM. Более того, перевод разработанной методологии в конкретные правила системы становится уже технической задачей.

Для MDM ИИ не является дополнительным «бантиком» или условным чат-агентом, который помогает найти информацию в документах. Это полноценный сервис внутри системы, который берет на себя классификацию и нормализацию данных - задачи, которые ранее требовали отдельных алгоритмов и работы людей, причем объемной, долгой и скрупулезной. 

Поэтому минимальным требованием к MDM нового поколения становится наличие такого ИИ-модуля внутри самой системы. Следующий уровень - когда ИИ сможет работать еще до нормализации и помогать создавать методологию, по которой данные будут классифицироваться и приводиться к единому виду.

ИИ в разработке методологии

Сегодня методология по-прежнему требует участия человека. Компания должна определить, какие справочники ей нужны, какие данные в них должны содержаться и по каким правилам ими управлять. Но следующий шаг развития MDM - передача ИИ части этой работы.

Для этого системе потребуется получить контекст бизнеса. Пользователь сможет описать, чем занимается компания и какие справочники необходимы, а ИИ на этой основе предложит базовую методологию для конкретной отрасли и задачи. Методологию  можно будет впоследствии скорректировать и утвердить внутри компании, после чего она переводится в правила MDM и используется для нормализации данных. Таким образом, ИИ будет формировать основу, на основе  которой дальше будет работать вся система и компания, в части работы с мастер данными.

В перспективе взаимодействие может стать еще проще. Вместо того, чтобы самостоятельно формулировать требования к каждому справочнику, пользователь сможет описать задачу в свободной форме - вплоть до голосового запроса - чем занимается компания, какие данные нужны бизнесу, и как он хочет с ними работать. Система предложит подход к ведению данных, который останется проверить и скорректировать.

В перспективе граница между разработкой методологии, подготовкой данных и их дальнейшим управлением будет стираться. Все эти задачи можно будет решать внутри одного MDM-продукта с помощью ИИ.

А вот организационная часть работы по-прежнему останется за компанией и ее сотрудниками. Если новые правила определяют, кто может создавать и согласовывать записи, какие роли и полномочия получают сотрудники, эти решения по-прежнему придется закреплять во внутренних регламентах. ИИ сокращает, прежде всего, подготовительную и механическую часть работы, но не отменяет бизнес-ответственность за правила управления данными.

Переход MDM на новую модель

Первые наработки MDM с интегрированными ИИ-модулями уже ведутся. Около полугода может потребоваться, чтобы такие разработки стали полноценной частью решений, а примерно через год отсутствие встроенного ИИ для нормализации и методологии уже может стать заметным технологическим отставанием. Такой темп связан не только с появлением самой технологии. Запрос на подобный результат у бизнеса сформирован давно. 

В связи с внедрением ИИ меняется и продолжительность проектов. При традиционном подходе разработка методологии и нормализация могли занимать около года, после чего еще год требовался на автоматизацию. С ИИ подготовительную часть можно сократить минимум в три раза - вплоть до нескольких месяцев. При этом выпуск регламентов, распределение ролей, полномочий и другие организационные изменения сохраняются. Сокращается объем ручной подготовки и обработки данных.

Быстрее всего эффект будет заметен там, где компании работают с большими массивами однотипных данных. Например, в металлургии или пищевой промышленности -  при большом количестве предприятий, контрагентов, товаров и материальных ценностей. Здесь автоматизация может дать быстрый и измеримый результат - вместо длительного проекта по разработке методологии и ручной обработке больших массивов значительную часть работы сможет выполнять ИИ. В более сложных бизнес-областях, где для работы с данными требуется больше предметного контекста, участие человека будет сохраняться дольше.

Есть и еще одно условие - безопасность. Для работы с корпоративными данными ИИ-модуль должен быть развернут на локальных серверах в России и использовать собственную нейросеть, обученную на большом объеме данных. Важно также контролировать, на каких данных обучается модель, чтобы ее работа не зависела от случайных открытых источников.



77
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.