Данные против организаций: почему бизнес тонет в информационном хаосе

Автор: Заруи Широян, Архитектор по управлению данными, BeringPro

Введение

В последние годы компании столкнулись с парадоксом: чем больше данных они собирают, тем меньше доверяют собственной аналитике.

Практически в каждой организации есть программа управления данными. Тем не менее, большинство данных низкого качества, у компаний слишком много разрозненных копий одного и того же материала, а проблемы безопасности и приватности стали нормой.

В чем корень проблемы?

Главным барьером на пути к порядку оказались не технологии, не методы и даже не высокие цели вроде управления корпоративной информацией. Главным барьером стал человеческий фактор: нежелание меняться, отсутствие четкой ответственности и привычка к тактическим «временным решениям» вместо системных решений. Приобретение инструментов или создание централизованных систем обработки данных – это лишь видимость первого шага. По-настоящему начать можно только с понимания тех сложных и противоречивых отношений, которые люди формируют со своей информацией.

Без формальной модели владения данными по умолчанию возникает неформальная (или де-факто), неконтролируемая форма собственности на информацию, которая блокирует любые улучшения. Без базового структурированного подхода, который обеспечивает измеримое повышение качества, у руководства просто не находится веских причин одобрять реальные меры по решению фундаментальных проблем.

Так что же пошло не так?

Вместо стратегического внедрения эффективных практик, старшие менеджеры предпочли тактические мини-проекты для лечения симптомов. Например, пользователю предоставлена недостоверная информация о ценах? Давайте наймем сотрудников, которые будут вручную обзванивать клиентов и проверять данные. Невозможно отыскать запись о клиенте из-за ошибки в имени? Без проблем создадим новую (а заодно, и ещё парочку).

Это та самая «управленческая суета», которая создает иллюзию контроля, но лишь усугубляет реальность. Результат предсказуем: аналитика буксует, отчёты противоречат друг другу, AI-модели обучаются на ошибках, а доверие к информации падает до нуля. Например, в CRM один и тот же клиент фигурирует под пятью разными ID или в системе закупок товар «Ноутбук Pro X» заведён дважды под разными кодами, с разными ценами и остатками.

Организации, которые хотят быть конкурентоспособными в информационную эпоху, не могут этого добиться, не осознав истинную ценность качественной информации. Важно понимать: это не «ошибки программистов» и не «неидеальные системы». Это следствие глубинной проблемы, отсутствия системного управления мастер-данными.

Почему это накопительный эффект ошибок?

Мастер-данные (клиенты, товары, контрагенты, сотрудники) – это не просто справочники. Это фундамент, на котором держатся все транзакции, аналитика и управленческие решения. Когда фундамент разрушается, рушится и способность бизнеса принимать взвешенные решения.

Данные не становятся активом автоматически. Они превращаются в актив только тогда, когда ими управляют как активом. Если же в компании возникает «вакуум владения», где ни бизнес, ни ИТ не считают данные своей зоной ответственности, мастер-данные превращаются в ничейный ресурс, который методично разрушает доверие.

Проблема не только в дубликатах. Каждая неточность, словно вирус, распространяется по всем процессам.

По оценкам, до 25% мастер-данных в организациях содержат критические ошибки, а каждая дублированная запись увеличивает издержки на обслуживание клиента на 10–15% (источник: Gartner. Data Quality: Best Practices for Accurate Insights, 2020, https://www.gartner.com/en/documents/3981874).

Поэтому вопрос звучит уже не «Где хранить справочники?», а «Можно ли доверять данным, на которых строится современный бизнес?».

Цена хаоса: четыре ключевых вызова

1. Недоверие к данным = недоверие к решениям.
   Руководители тратят время на выяснение того, «чей отчёт правильный», вместо принятия стратегических решений. Недоверие к данным мгновенно превращается в недоверие к управлению.

2. Финансовые и регуляторные риски.
   Ошибка в реквизитах может привести к блокировке платежа. Несогласованность в справочнике товара – к миллионным штрафам. Даже единичная неточность бьет по репутации и бюджету.

3. Иллюзия цифровизации.
   Компании активно внедряют Business Intelligence (BI), машинное обучение, роботизированную автоматизацию процессов (Robotic Process Automation, RPA). Но без качественных мастер-данных эти инструменты начинают «обучаться на некорректных данных». В итоге цифровая трансформация остается красивой витриной, за которой скрывается хаос.

4. Рост скрытых издержек.
   Дубли и ошибки заставляют бизнес платить «скрытые расходы». Компании теряют десятки миллионов ежегодно из-за возвратов, повторных коммуникаций и неэффективных процессов.

Учитывая эту реальность, не пришло ли время для фундаментального переосмысления управления данными? Пора действовать.

Управление данными как фундамент корпоративного развития

Осознание проблемы – только первый шаг. Второй, и главный – понять, как выстроить работу с данными правильно. Здесь уже не получится ограничиться точечными исправлениями. Нужен системный подход, новая философия и четкий план.

Данные – это единственная форма органического роста бизнеса в XXI веке. Самый ценный актив чаще всего делегируется самым низшим операционным уровням. Руководство упускает из виду главное: управление данными – стратегический вопрос, а не вспомогательная функция ИТ.

MDM (Master Data Management или управление мастер-данными) – это не просто инструмент, это философия взаимодействия между людьми, процессами и технологиями. Она строится на трех китах:

• Четко определённые роли (кто за что отвечает).

• Прозрачные правила (по каким стандартам работаем).

• Измеримые результаты (как мы поймем, что стало лучше).

Значимость мастер-данных выходит далеко за рамки IT-проектов. Это вопрос корпоративной культуры, ответственности и новых бизнес-моделей.

Что же требует эта новая философия на практике? Чтобы принимать решения на основе достоверной информации, компания должна иметь единое представление о ключевых бизнес-концептах. Это требует:

• Определения сущностей: кто такой «клиент»? Что такое «продукт»? Без единого понимания этих основ любая интеграция обречена.

• Согласования форматов: как мы записываем номера телефонов? Как кодируем регионы? Мелочи, которые создают большой хаос.

• Интеграции данных: объединения информации из разных систем (ERP, CRM, BI) в единую картину.

• Публикации эталонных данных: предоставления всем подразделениям доступа к единому, доверенному источнику правды.

Вам также может быть интересен материал Клуба ИТ-лидеров Компас CIO:

Data Driven — драйвер инноваций цифровой трансформации

Опыт Burger King в переходе от информационного хаоса к data-driven управлению: создание единой платформы данных для 800+ ресторанов, результаты 3-летней трансформации (рост эффективности 5-6%), реальные проблемы на старте и их решения, динамическое ценообразование на основе 15+ факторов, размер команды и технологический стек. Статья с практическими результатами и ответами на вопросы ИТ-руководителей.

Именно здесь MDM открывает дорогу к созданию по-настоящему интегрированного предприятия, где решения принимаются быстро и на основе качественной информации.

Информация как актив: теория vs реальность

Все говорят: «данные – это актив». Но что это значит на практике? Это значит, что с ними нужно обращаться так же, как с деньгами или запасами:

• Данные приносят ценность только при правильном использовании. Корректная информация при принятии решений – это ваше конкурентное преимущество.

• Неверные данные приносят убытки. Некорректно присвоенный товару атрибут «категория риска» может привести к тому, что система управления запасами будет автоматически занижать страховой запас для позиций, пользующихся стабильно высоким спросом, провоцируя постоянные дефициты.

Все остальные операции – хранение, перемещение, репликация – не создают ценности сами по себе. Они лишь обслуживают главный процесс: правильное использование информации.

Управление данными как цепочка поставок

Чтобы управление данными работало, нужен не лозунг, а отлаженный процесс. Здесь прекрасно работает метафора цепочки поставок:

• Продукт: Сборка → Отправка → Логистика → Потребление.

• Данные: Создание → Обработка → Хранение → Использование.

Управление цепочками поставок (логистика) – это давно стандартизированная и уважаемая дисциплина. С данными должно быть точно так же.

Data Management (DM) – это и есть ваша цепочка поставок данных. Она требует четких ролей, разделения обязанностей и контроля качества на каждом этапе.

Как это устроено: Data (Information) Management по DMBOK

Согласно международному своду знаний DAMA DMBOK, управление данными (Data Management, DM) – это многогранная дисциплина, охватывающая:

• Бизнес-функцию: разработка планов, политик и практик для повышения ценности данных,

• Программу: комплекс проектов и мероприятий для выполнения этой функции.

• Дисциплину: совокупность методов и процессов для управления данными.

• Профессию: деятельность специалистов по управлению данными.

Управление данными (Data Management) – это «бережливое производство» для корпоративной информации: постоянное улучшение, контроль и стандартизация.

EIM: корпоративный уровень мышления

Enterprise Information Management (EIM) – это программа управления данными на уровне всей компании. Если Data Management – это операционная работа, то EIM – стратегия и корпоративная философия.

EIM обеспечивает:

• Единое мышление: данные – это актив для всех, а не головная боль для IT.

• Корпоративные стандарты: единые правила игры для всех департаментов.

• Инвестиции: обоснование вложений в технологии и процессы.

• Культуру ответственности: данные – зона ответственности каждого сотрудника.

Архитектура данных: чертеж вашего успеха

Архитектура данных (Data (Information) architecture) – каркас, который связывает модели, процессы, людей и технологии. Проще говоря, это «план предприятия» в области информации. Она отвечает на вопросы:

• Где данные создаются?

• Как они движутся?

• Кто за них отвечает?

• Как они влияют на бизнес?

В DMBOK архитектура данных – часть общей корпоративной архитектуры (Zachman Framework – инструмент для описания архитектуры, созданный Джоном Захманом), обеспечивающая выполнение стратегических требований.

Концепция «Управления V»: разделение властей

Эффективное управление требует разделения ролей. Концепция «Управления V» визуализирует это:

• Левая сторона V (Управление): те, кто устанавливает правила, стандарты и политики.

• Правая сторона V (Исполнение): те, кто выполняет операционную работу с данными.

• Основание V: жизненный цикл данных – создание, использование, изменение, удаление.

Такой подход создает баланс между контролем и гибкостью, предотвращая «вакуум владения».

MDM: от «золотой копии» клиента к системе

MDM вырос из идеи создания «золотой копии» клиента (Customer Data Integration (CDI)). Очень быстро стало ясно, что «золотые записи» нужны как для продуктов, поставщиков, сотрудников, так и для других ключевых объектов. Сегодня MDM – это единая дисциплина, обеспечивающая согласованное управление всеми критически важными бизнес-сущностями. Согласно DMBOK, мастер-данные – это данные, которые обеспечивают контекст для бизнес-транзакций. Это сведения о клиентах, продуктах, сотрудниках, поставщиках и справочниках. MDM гарантирует, что эти данные согласованы, актуальны и доступны во всех системах предприятия.

Классическая архитектура MDM строится по принципу «hub-and-spoke»: данные из множества источников поступают в центральный MDM-хаб, где проходят очистку, согласование и объединение (match/merge). Для каждого мастер-объекта (например, клиента или товара) строится единая «золотая» запись по канонической модели данных. Затем «золотая» запись может быть опубликована обратно в исходные системы или передана потребителям (BI-системам, аналитике, внешним партнёрам). В процесс включены уровни интеграции (ETL/ELT или сервисные шины), механизмы верификации бизнес-правил, менеджмент качества и централизованное хранилище мастер-данных.

Классическая модель hub-and-spoke включает:

• Источники (системы планирования ресурсов предприятия (Enterprise Resource Planning, ERP), управление взаимоотношениями с клиентами (Customer Relationship Management, CRM), Excel-файлы, облачные сервисы (Software as a Service, SaaS).

• Интеграцию (процессы извлечения, преобразования и загрузки данных (Extract, Transform, Load, ETL), API- программные интерфейсы).

• MDM-хаб (match & merge, golden record).

• Потребителей (Business Intelligence, BI), отчёты, AI).

Качество данных: не красота, а необходимость

Качество данных – это основа всего. Оно измеряется по четырём ключевым критериям:

• Точность: данные соответствуют реальности.

• Полнота: данные представлены в полном объеме.

• Своевременность: данные доступны тогда, когда нужны.

• Соответствие правилам: данные подчиняются бизнес-требованиям.

Плохое качество редко видно сразу. Оно проявляется через ошибки в процессах: компания может годами платить одному и тому же поставщику по двум разным договорам и юридическим лицам (например, ООО «Вента» и ООО «ВЕНТА») из-за дубликатов в справочнике контрагентов, что ведет к прямым финансовым потерям при сверке. Именно поэтому без системного управления (DM + MDM) любые усилия по повышению качества превращаются в дорогостоящие разовые акции. Почистили данные сегодня – через месяц хаос вернулся. Нужна система, которая предотвращает появление ошибок, а не борется с их последствиями.

Business Intelligence (BI)

Термин «Business Intelligence» (BI) был введен исследовательской компанией Gartner еще в 1990-х и с тех пор превратился в обобщенное название для всего, что связано с запросами, анализом и отчетностью.

Согласно DMBOK, BI – это:

• Деятельность работников умственного труда по мониторингу и пониманию финансового и операционного состояния предприятия.

• Процессы и процедуры запроса, анализа и отчетности.

• Синоним среды BI – экосистема инструментов и платформ.

• Целый сегмент рынка программного обеспечения.

Эффективность BI-системы напрямую зависит от качества данных. Некорректные или разрозненные данные делают любой, даже визуально совершенный дашборд, бесполезным. Принятие решений на такой основе создает иллюзию контроля и несет прямые риски для бизнеса. 

Продолжение следует: Аналитика и продвинутая аналитика: когда прогнозы превращаются в фантастику

Источники и литература

1. DAMA International. DAMA-DMBOK Data Management Body of Knowledge (DMBOK2). DAMA. Официальная страница руководства https://www.dama.org/cpages/body-of-knowledge

2. Ladley J. Data Governance: How to Design, Deploy and Sustain an Effective Data Governance Program, 2nd ed., Elsevier, 2019. ISBN: 012815831X

3. Loshin D. Master Data Management. Morgan Kaufmann/Elsevier, 2008. ISBN: 9780123742254

4. Gartner. Data Quality: Best Practices for Accurate Insights, 2020. https://www.gartner.com/en/documents/3981874

5. Федеральный закон РФ «О персональных данных» №152-ФЗ. https://www.consultant.ru/document/cons_doc_LAW_61801/

6. Zachman Framework: официальный сайт https://www.zachman.com/