Le Catalogue — управление мастер-данными

В условиях роста объема данных, усложнения тарификации и развития услуг авиакомпании целью стало создание не просто классической MDM-системы, а единого гибкого контура управления мастер-данными, объединяющего возможности других дата-продуктов холдинга. Система должна:

• бесперебойно доставлять эталонные данные потребителям через корпоративную шину, API и UI;

• поддерживать версионность, приоритезацию, политики сопоставления и слияния на уровне атрибутов, согласование изменений;

• автономно собирать данные из неформализованных источников с помощью ИИ-агентов и роботов, снижая трудозатраты и ускоряя доставку данных;

• задавать бизнес-сценарии работы, позволяющие контролировать качество данных, вносимых пользователями, а также генерировать часть данных автоматически, основываясь на заданных правилах наполнения;

• объединить управление данными об услугах авиакомпании: от проработки концепции и согласования до публикации на сайте и формирования документов для регуляторов.

2026

Реализован единый контур управления мастер-данными холдинга S7 Group – продукт Le Catalogue.

• Product caused downtime — 0%: сбой отдельного компонента не приводит к потере данных и остановке системы.

• Среднее DAU 70 сотрудников, NSAT — 100%; к данным подключены 33 системы-потребителя, включая DWH и корпоративный BI.

• ИИ-агенты и роботы автоматизируют получение данных из неформализованных источников.

• Базовый контроль качества данных дополнен поиском похожих записей с помощью embedding-модели и векторного поиска, что позволяет решать классическую проблему неявных дублей.

• Через UI настраиваются правила проверки и автоматического формирования данных; запущен проект автоназначения рационов питания рейсам.

• Создан конструктор бизнес-процессов; находится в приемке функционал запуска новых услуг с участием 11 подразделений.

• Администраторы настраивают формирование эталонных данных, версионность, приоритеты источников и политики ETL через UI без разработки.

• Серверная часть: Java / Spring

• Клиентская часть: Angular

• Хранилище: PostgreSQL

• Интеграции и доставка данных: Apache Kafka, Apache NiFi

• Автоматизация процессов: n8n

• Инструменты для поиска неявных дублей: ML-модель qwen-embedder, база данных Qdrant

• Эксплуатация: Docker, мониторинг Grafana и Zabbix

В проекте не используются решения из каталога Global CIO

1. Универсальность решения. Требовалось создать единые механизмы для разных типов мастер-данных и бизнес-сценариев без отдельной разработки под каждый справочник.

2. Перенос логики управления данными от разработки к конфигурированию через интерфейс. Необходимо было обеспечить гибкость пользовательских настроек, сохранив целостность данных и управляемость процессов.

3. Автоматизация работы с данными. ИИ-агентов и роботов требовалось встроить в единый контролируемый процесс сбора и обработки данных из неформализованных источников.

4. Поиск похожих записей. Для записей с разными бизнес-ключами стандартных проверок недостаточно. Потребовалось совместить embedding-модель и векторный поиск с существующими процессами контроля качества мастер-данных.

5. Совмещение интуитивно понятного пользовательского интерфейса со сложными сценариями работы с данными, чтобы переход к использованию нового продукта не встречал сопротивления и обеспечивал высокую удовлетворенность пользователей.

Le Catalogue создавался как централизованная система для ведения справочных данных Группы компаний S7 и их передачи системам-потребителям. По мере роста количества данных, источников и интеграций продукт развивался от базовой МДМ-системы к единому контуру управления мастер-данными и связанными с ними бизнес-процессами.

Сегодня Le Catalogue объединяет получение данных из внутренних и внешних источников, ведение первичных (ненормализованных) и эталонных справочников, маппинг атрибутов, настройку приоритетов источников и политик обработки, версионность и историю изменений. Администраторы и локальные администраторы могут конфигурировать эти процессы через интерфейс без участия команды разработки.

Продукт поддерживает бизнес-правила проверки и автоматического формирования данных. Через UI можно задать обязательные атрибуты, допустимые значения и подсказки по заполнению отдельных записей. На этих механизмах основан запущенный проект автоматического назначения рационов питания на рейсы на основе их параметров; на текущий момент результаты контролирует ответственное подразделение через согласование изменений.

Для работы с данными, которые формируют несколько подразделений, создан конструктор бизнес-процессов: администратор задаёт ответственные роли, этапы, допустимые действия и маршрутизацию заявок. Так, процесс запуска новой услуги предусматривает 11 ролей: участники последовательно дополняют запись, взаимодействуют между собой и совместно принимают решение о её публикации. Функционал реализован и находится в приёмке.

Автоматизация охватывает и получение данных из неформализованных источников: ИИ-агенты и роботы собирают информацию с сайтов, запрашивают выгрузки, обрабатывают сообщения электронной почты и файлы xlsx, pdf, dat, a1.

Поиск неявных дублей обеспечивается за счет преобразования значений заданных атрибутов embedding-моделью в векторы и применения векторного поиска. В случае выявления возможных дублей записи, заполняемой на UI, система покажет их пользователю, если данные были загружены автоматически из источника, сформируется заявка на пользователя, которую он сразу же увидит благодаря уведомлениям в почте.

Отказоустойчивость Le Catalogue обеспечивается на уровнях архитектуры, логики сервисов и платформы. Микросервисы имеют собственные БД, а запись в эталонную базу выполняется ядром: сбой импорта, истории, уведомлений или интеграций не затрагивает эталонные данные.

Россия