Конец ручной нормализации: что ИИ меняет в управлении мастер-данными
Автор: Дарья Кагарлицкая, технический директор компании “Навикон”
Раньше, чтобы начать работать в MDM, нужно было привести данные в порядок и разработать методику. Далее следовало воспроизвести эту методику внутри MDM, загрузить нормализованные данные и только после этого начать жить «правильно». Именно такого результата компании и ждали от самой системы. Сейчас большую часть этого процесса решает ИИ. В результате меняется не только экономика работы с данными, но и само представление о том, что должна делать MDM-система.
MDM до появления ИИ
Для бизнеса MDM всегда решал одну задачу - обеспечить работу с корректными мастер-данными. Путь к этому результату раньше обычно состоял из нескольких последовательных проектов.Сначала разрабатывали методологию: определяли, какие данные считать корректными, какие атрибуты обязательны, какие значения допустимы и по каким правилам оценивать качество. В крупных компаниях таких бизнес-правил были тысячи.
Правила касались не только формальных признаков, но и содержания записи. Например, номер телефона должен храниться в определенном формате, а ИНН – соответствовать установленным требованиям, согласно стране. При этом методология не была раз и навсегда заданным набором требований – бизнес менялся, законодательство меняется, поэтому правила можно было дорабатывать, добавлять и изменять.
Следующим этапом становилась нормализация. Существующие данные нужно было привести в соответствие с этими правилами. Часть операций легко автоматизировалась. Например, если все номера должны начинаться с «+7», начальную восьмерку можно было заменить автоматически. Но одних формальных правил было недостаточно там, где требовалось разобраться в содержании записи. Если в одном источнике было указано «Даша», а в другом «Дарья» или «Ди», нужно было определить, относятся ли записи к одному человеку.
Поэтому после автоматической обработки оставался ручной этап: специалист проверял спорные записи, исправлял их и принимал решения там, где алгоритма было недостаточно.Только после подготовки данных начиналась автоматизация в MDM. В систему загружали нормализованные данные, настраивали правила, роли, согласования и контроль качества. Если новая запись не соответствовала установленным требованиям, ее не пропускали.
Получалась последовательность: «методология - нормализация- автоматизация». Для интегратора это были разные проекты, но для бизнеса нет, глобально это собиралось в одну задачу - привести данные в порядок и работать с ними в MDM.
Изменение экономики нормализации
Появление нейросетей изменило возможности работы с историческими данными. Задачи, которые раньше требовали сложных алгоритмов и ручной проверки, теперь во многих случаях можно передать машине. ИИ способен сопоставлять записи с учетом их смысла, находить совпадения и выявлять отклонения от правил.Особенно заметен эффект там, где накоплены большие массивы исторических данных. В них уже, как правило, есть множество повторяющихся вариантов, ошибок и отклонений. Причем накопленный опыт специалистов, которые годами занимались нормализацией, сам становится ценным материалом для обучения и настройки таких решений.
Это быстро меняет экономику нормализации. Рынок ручной обработки фактически обвалился - при наличии подходящей нейросети нет прежней необходимости привлекать специалистов для обработки данных. Работа, которая раньше требовала отдельной команды и большого количества ручных проверок, постепенно превращается в ИИ-зируемый процесс.
Человек при этом не исчезает. Участие сотрудников смещается на более сложные случаи, где требуется бизнес-контекст и принятие решения. Для сложных задач соотношение может составлять около 70% работы машины и 30% человека, а в более простых случаях автоматизация разбора и нормализации может доходить до 90%.
Таким образом, меняется не только объем ручного труда - сама нормализация перестает выглядеть как масштабная ручная работа, ради которой нужно запускать отдельный проект. А это создает новые требования уже к самой MDM-системе.
Встраивание ИИ в MDM
Внутри MDM должен быть отдельный ИИ-сервис, который возьмет на себя классификацию и нормализацию исходных данных по заданной методологии (да, методология все еще нужна).
Минимально необходимая функция такого сервиса - получить исходные данные, определить их класс, выявить отклонения и привести записи к установленным требованиям по методологии. Результат сразу передается в остальные сервисы MDM для дальнейшей работы с данными.
При этом привычная функциональность системы никуда не исчезает. Роли и полномочия, согласование заявок, контроль качества и другие механизмы автоматизации остаются внутри MDM. Более того, перевод разработанной методологии в конкретные правила системы становится уже технической задачей.
Для MDM ИИ не является дополнительным «бантиком» или условным чат-агентом, который помогает найти информацию в документах. Это полноценный сервис внутри системы, который берет на себя классификацию и нормализацию данных - задачи, которые ранее требовали отдельных алгоритмов и работы людей, причем объемной, долгой и скрупулезной.
Поэтому минимальным требованием к MDM нового поколения становится наличие такого ИИ-модуля внутри самой системы. Следующий уровень - когда ИИ сможет работать еще до нормализации и помогать создавать методологию, по которой данные будут классифицироваться и приводиться к единому виду.
ИИ в разработке методологии
Сегодня методология по-прежнему требует участия человека. Компания должна определить, какие справочники ей нужны, какие данные в них должны содержаться и по каким правилам ими управлять. Но следующий шаг развития MDM - передача ИИ части этой работы.Для этого системе потребуется получить контекст бизнеса. Пользователь сможет описать, чем занимается компания и какие справочники необходимы, а ИИ на этой основе предложит базовую методологию для конкретной отрасли и задачи. Методологию можно будет впоследствии скорректировать и утвердить внутри компании, после чего она переводится в правила MDM и используется для нормализации данных. Таким образом, ИИ будет формировать основу, на основе которой дальше будет работать вся система и компания, в части работы с мастер данными.
В перспективе взаимодействие может стать еще проще. Вместо того, чтобы самостоятельно формулировать требования к каждому справочнику, пользователь сможет описать задачу в свободной форме - вплоть до голосового запроса - чем занимается компания, какие данные нужны бизнесу, и как он хочет с ними работать. Система предложит подход к ведению данных, который останется проверить и скорректировать.
В перспективе граница между разработкой методологии, подготовкой данных и их дальнейшим управлением будет стираться. Все эти задачи можно будет решать внутри одного MDM-продукта с помощью ИИ.
А вот организационная часть работы по-прежнему останется за компанией и ее сотрудниками. Если новые правила определяют, кто может создавать и согласовывать записи, какие роли и полномочия получают сотрудники, эти решения по-прежнему придется закреплять во внутренних регламентах. ИИ сокращает, прежде всего, подготовительную и механическую часть работы, но не отменяет бизнес-ответственность за правила управления данными.
Переход MDM на новую модель
Первые наработки MDM с интегрированными ИИ-модулями уже ведутся. Около полугода может потребоваться, чтобы такие разработки стали полноценной частью решений, а примерно через год отсутствие встроенного ИИ для нормализации и методологии уже может стать заметным технологическим отставанием. Такой темп связан не только с появлением самой технологии. Запрос на подобный результат у бизнеса сформирован давно.
В связи с внедрением ИИ меняется и продолжительность проектов. При традиционном подходе разработка методологии и нормализация могли занимать около года, после чего еще год требовался на автоматизацию. С ИИ подготовительную часть можно сократить минимум в три раза - вплоть до нескольких месяцев. При этом выпуск регламентов, распределение ролей, полномочий и другие организационные изменения сохраняются. Сокращается объем ручной подготовки и обработки данных.
Быстрее всего эффект будет заметен там, где компании работают с большими массивами однотипных данных. Например, в металлургии или пищевой промышленности - при большом количестве предприятий, контрагентов, товаров и материальных ценностей. Здесь автоматизация может дать быстрый и измеримый результат - вместо длительного проекта по разработке методологии и ручной обработке больших массивов значительную часть работы сможет выполнять ИИ. В более сложных бизнес-областях, где для работы с данными требуется больше предметного контекста, участие человека будет сохраняться дольше.
Есть и еще одно условие - безопасность. Для работы с корпоративными данными ИИ-модуль должен быть развернут на локальных серверах в России и использовать собственную нейросеть, обученную на большом объеме данных. Важно также контролировать, на каких данных обучается модель, чтобы ее работа не зависела от случайных открытых источников.