Почему хороший BI не исправит плохие мастер-данные
Компании инвестируют в корпоративные хранилища, BI-платформы и искусственный интеллект, рассчитывая быстрее принимать решения на основе данных. Но между подключением источников и появлением достоверной аналитики есть слой, которому часто уделяют меньше внимания, — качество мастер-данных.
Проблема особенно заметна, когда компания пытается свести информацию из нескольких систем. Возьмем простой объект — аптеку или магазин. У одного дистрибьютора адрес записан как «Москва, Кибальчича, 4/6», у другого — «г. Москва, ул. Кибальчича, д. 4, корп. 6». В CRM производителя может быть третий вариант, в данных сети — четвертый, во внешнем справочнике — пятый.
Для человека очевидно, что часть записей относится к одному физическому объекту. Для информационной системы без дополнительной обработки это разные сущности. В результате компания может построить современное DWH и красивый BI, но система будет точно считать показатели на основе неверной модели реального мира.
Чем больше источников, тем заметнее проблема
Пока компания работает с одной системой, ошибки справочников могут долго оставаться незаметными. Ситуация меняется при построении единого аналитического контура.
Производитель может одновременно получать данные из ERP и CRM, от дистрибьюторов, торговых и аптечных сетей, маркетплейсов, систем маркировки, полевых команд и внешних справочников. У каждого источника свои идентификаторы, правила написания адресов, структура справочников и требования к заполнению полей.
Одна физическая сущность начинает существовать сразу в нескольких информационных представлениях. На небольшом объеме расхождения еще можно исправлять вручную. При миллионах записей это уже не задача разовой очистки, а постоянно работающий процесс управления качеством данных.
Дубликат при этом — не просто лишняя строка. Если одна торговая точка представлена тремя объектами, система может посчитать присутствие в трех точках вместо одной. Продажи одной точки распадутся между несколькими записями, исказятся численная дистрибуция, покрытие, территориальная аналитика, сегментация клиентов, планирование маршрутов и расчет бонусов.
Ошибка проходит через всю архитектуру: источник передает запись в интеграционный слой, она попадает в DWH, на ее основе считается показатель, а затем он отображается в BI. Технически вся цепочка может работать безупречно. Проблема в том, что результат не соответствует реальности.
Почему нельзя просто сравнить адреса
На первый взгляд дедубликация кажется простой: привести адреса к единому виду и сравнить. На практике исходные строки содержат разные сокращения, опечатки, переставленные элементы, неполные адреса, старые названия улиц, комментарии сотрудников и даже посторонний текст.
Поэтому свободный текст сначала нужно превратить в структурированные данные: выделить регион, населенный пункт, улицу, дом, корпус и другие элементы, а по возможности связать адрес с государственным идентификатором. После этого сравниваются уже не строки, а структурированные признаки.
Однако одинаковый адрес еще не означает, что перед нами одна сущность. В одном здании могут находиться разные магазины, аптеки и юридические лица. Но и совпадение по ИНН не решает задачу: одному юридическому лицу может принадлежать десятки или сотни точек.
Поэтому промышленная дедубликация требует совокупности признаков: стандартизированного адреса, идентификатора адресного объекта, ИНН, названия или вывески, принадлежности к сети, координат, телефонов, внутренних кодов источников и других отраслевых атрибутов.
Для каждой новой записи система ищет потенциальное совпадение с эталонным справочником. Уверенные случаи можно обрабатывать автоматически. Неоднозначные должны попадать в отдельную очередь проверки.
Почему 100% автоматизации — плохая цель
В мастер-данных ложное совпадение зачастую опаснее отсутствия совпадения.
Если алгоритм не смог определить, относятся ли две записи к одному объекту, их можно проверить позже. Если он ошибочно объединил разные точки, ошибка распространится по аналитическому контуру и будет восприниматься как достоверная информация.
Поэтому эффективнее гибридная модель. Автоматика закрывает очевидные случаи, а специалист работает только с исключениями: неполными адресами, несколькими организациями по одному адресу, противоречащими друг другу признаками или несколькими близкими кандидатами.
Такой human-in-the-loop не отменяет автоматизацию, а делает ее безопаснее. Более того, решения специалистов можно возвращать в процесс. Если определенная ошибка повторяется, появляется новое правило сопоставления. Если конкретный источник регулярно присылает данные в нестандартном формате, для него создается отдельная предварительная обработка.
В результате качество данных развивается не как разовая «генеральная уборка», а как постоянно улучшаемый процесс.
Data Quality нужно измерять
Еще одна распространенная ошибка — говорить о данных как о «хороших» или «плохих». Для управления качеством нужны показатели.
Например, можно отслеживать долю автоматически сопоставленных записей, долю объектов на ручной проверке, количество обнаруженных дублей, процент неполных адресов, число конфликтов между признаками и долю записей, которые не удалось связать с эталонным справочником.
Особенно полезно измерять эти показатели по источникам. Если один партнер передает 95% корректно идентифицируемых объектов, а другой — 60%, появляется конкретная зона для работы, а не абстрактная проблема «плохих данных».
При больших объемах важна и стоимость процесса. Перед сложной нормализацией стоит выполнять базовую очистку: удалять лишние пробелы и непечатные символы, проверять структуру строки, унифицировать типовые сокращения. Уже обработанные значения полезно кэшировать, чтобы не выполнять одни и те же операции при каждой загрузке.
На миллионах повторяющихся записей такие, казалось бы, простые архитектурные решения существенно влияют на стоимость эксплуатации конвейера данных.
Источник проблемы не всегда находится в IT
Даже лучший технологический стек не решит проблему качества, если бизнес-процесс продолжает создавать некорректные данные.
ИТ-команда может внедрить валидацию, нормализацию, MDM и мониторинг, но должны быть определены владельцы данных, критерии качества и порядок обработки исключений. Важно понимать, кто отвечает за конкретный домен, как исправления возвращаются в системы-источники и какой уровень качества считается допустимым.
Без этого Data Quality рискует превратиться в бесконечную работу отдельной команды, которая исправляет последствия чужих ошибок.
Поэтому MDM имеет смысл рассматривать не как отдельную систему, а как часть общей архитектуры доверия к корпоративным данным.
Почему это особенно важно в эпоху AI
Распространение корпоративного AI делает проблему мастер-данных еще заметнее.
BI показывает пользователю цифры, и опытный специалист иногда способен заметить аномалию. AI может пойти дальше: интерпретировать данные, искать закономерности, готовить рекомендации или предлагать действия.
Если исходная модель данных ошибочна, AI ее не исправит. Напротив, он способен превратить ошибочные исходные данные в убедительно сформулированный вывод.
Например, система рекомендует усилить работу на территории, потому что видит низкую дистрибуцию. Но часть торговых точек не была корректно сопоставлена. Модель логично рассуждает на основании неверного представления реальности.
Поэтому перед внедрением AI компаниям стоит задавать не только вопрос «какую модель использовать?», но и более фундаментальный: «насколько мы доверяем данным, которые передаем этой модели?»
Сначала доверие к данным
Из практики работы с большими массивами можно сделать несколько выводов.
Проблему качества нельзя решить одной миграцией или разовой очисткой: источники меняются, появляются новые объекты и новые ошибки. Универсального ключа для сопоставления сущностей обычно нет — нужна совокупность признаков и механизмы оценки уверенности. Полная автоматизация не всегда оптимальна: для спорных случаев безопаснее сохранить human-in-the-loop. А само качество должно измеряться и связываться с конкретными источниками и владельцами данных.
Современная архитектура может включать DWH, data lake, self-service BI и генеративный AI. Но все эти технологии находятся выше по цепочке.
Если организация на базовом уровне не знает, относятся ли пять записей к пяти объектам или к одному, технологическая сложность верхнего уровня проблему не решит.
Поэтому зрелость data-driven компании определяется не только количеством дашбордов и AI-проектов. Важнее способность ответить на более простой вопрос: насколько информационная модель компании соответствует реальному миру?
Именно с этого начинается доверие к BI, AI и управленческим решениям, которые принимаются на основе данных.