Интеллектуальная платформа управления метаданными DWH с поддержкой ИИ

Основным вызовом стала низкая эффективность процесса документирования объектов DWH. Ведение описаний в GitLab (Markdown) требовало ручной валидации со стороны аналитиков, что приводило к ошибкам, несогласованности форматов и росту операционных издержек.

1. Ликвидировать ручное документирование и валидацию метаданных DWH за счет внедрения автоматизированной системы на базе ИИ.

2. Создать единый источник достоверной информации об объектах DWH, доступный для бизнес-пользователей и технических специалистов.

3. Высвободить до 150 человеко-дней в год команды разработки за счет автоматизации для перераспределения на стратегические задачи.

Количественные:

• Сокращение трудозатрат на 7% (150 чел./дней/год).

• Ускорение формирования ТЗ для регламентных процессов в 3 раза.

Качественные:

• Ускорение вывода данных на рынок (Data-to-Market) на 15% за счет ускорения приёмки.

• Повышение прозрачности данных для бизнеса и выполнение требований регуляторики.

• Создание новой технологической компетенции по использованию ИИ в управлении данными.

Положительный эффект достигнут за счёт синергии двух ключевых платформ:

• «Dat.ax Meta» («Аксеникс Инновации»): Единая платформа для управления метаданными на всех этапах жизненного цикла DWH.

• «НейроКод» (on-premise): Позволил встроить ИИ-инструменты (чат-боты, генерация текстов и кода) непосредственно в рабочие процессы, обеспечивая безопасность данных.

• А также: Arenadata Catalog, Arenadata Database, Gitlab.

1. Технологическая интеграция в гетерогенный ландшафт: Необходимо было обеспечить бесшовное взаимодействие новых платформ (Dat.ax Meta, «НейроКод») с существующими компонентами экосистемы (Arenadata Database, GitLab), каждый из которых имел свои API и модели данных. Это потребовало разработки комплекса кастомных коннекторов и обеспечения согласованности данных в реальном времени.

2. Обработка наследия и «чистка» данных: Перенос и парсинг исторических метаданных, накопленных за несколько лет в различных форматах, выявил проблему несогласованности и низкого качества существующей документации. Процесс их приведения к единому стандарту потребовал создания специальных скриптов валидации и, частично, ручной проверки.

3. Организационное внедрение и принятие командой: Перевод команд аналитиков и разработчиков с привычных ручных процессов на автоматизированные потребовал дополнительных усилий. Была проведена серия воркшопов, разработана подробная инструкция и запущен чат оперативной поддержки.

Проект реализован в «ЮниРусь» — одном из лидеров российского FMCG-рынка. Он охватил полный жизненный цикл управления метаданными — от проектирования до сверки с продакшеном, решив проблему масштабируемости и затратности ручных процессов.

Этапы:

1. Развертывание ПО (2 нед.).

2. Сбор требований и адаптация (1 мес.).

3. Парсинг и загрузка исторических данных (1,5 мес.).

4. Интеграция и запуск ИИ-сценариев (1,5 мес.).

Центр управления проектом расположен в г. Москва, где осуществляется:

• Координация всех проектных активностей

• Управление ресурсами

• Контроль сроков и качества реализации

• Взаимодействие с заинтересованными сторонами

География реализации проекта охватывает все регионы присутствия компании на территории Российской Федерации, что обеспечивает:

• Единое информационное пространство

• Стандартизированный подход к управлению данными

• Централизованный контроль качества

• Равнодоступность проектных решений для всех участников