Импортозамещение SAP или Data Management Platform на отечественных компонентах

Заказчик:: X5 Group
Руководитель проекта со стороны заказчика: Александр Афонин

Директор департамента архитектуры и методологии работы с данными
Поставщик: X5 Group
Год завершения проекта: 2022
Сроки выполнения проекта: Апрель, 2022 - Октябрь, 2022
Масштаб проекта: 5000 автоматизированных рабочих мест
Цели: В рамках проекта необходимо было обеспечить бесперебойную работы всей аналитической и финансовой отчетности Компании, а также процесс использующих

Уникальность проекта

1. Инновационность. Наиболее масштабный опыт в РФ Ретейле: - Вся география присутствия Компании - более 600 бизнес показателей - более 4000 витрин - более 8000 пользователей - более 40+ систем-источников 2. Импортозамещение – проект реализован исключительно на отечественном высоконагруженном ПО, что позволяет с гордостью смотреть в будущее и делиться опытом на внутреннем рынке. 3. Значимость для жизнестойкости компании. Благодаря тому, что в момент отключения ЦОД SAP ключевые инструменты и процессы были перенесены на новое решение, удалось избежать проблем с непрерывностью бизнеса Компании в наиболее тяжелый период для наших потребителей 4. Эффективность – до внедрения проекта Компания оплачивала дорогостоящую аренду оборудования компании SAP. Переход на собственное решение позволил Компании сэкономить существенные средства и снизить затраты на поддержку в расчете на 1 пользователя до 20 раз;

Проект решает задачи импортозамещения

Да

Использованное ПО

1. GreenPlum (ArenaData DB)

2. ClickHouse

3. Hadoop

Сложность реализации

Масштаб проекта и технологическая сложность.

Требовалось реализовать с помощью отечественных и открытых технологий аналог решению, которое:

А) Является одной из самых мощных аналитических СУБД

Б) Работало на высокопроизводительном оборудовании с премиум-поддержкой вендора

В) Развивалось десятилетие, за которое очень глубоко интегрировалось в компанию

Г) Было слабо документирована - отсутствовала значительная часть технической документации, частично отсутствовали инструкции/методики/бизнес-владельцы отчетности, не прозрачны интеграционные потоки

Решение было нужно быстрее чем за полгода, компания любой момент могла остаться без аналитических данных

Масштаб проекта – Вся география присутствия Компании, более 600 бизнес показателей, более 4000 витрин, более 8000 пользователей. Данные ежедневно загружаются из 40+ систем-источников

Описание проекта

X5 сегодня лидер российской продуктовый розницы. На языке данных это – десятки миллионов клиентов, сотни тысяч сотрудников, объектов управления, товаров, контрагентов, а также многие миллиарды транзакций в сутки. Ежедневно в Компании формируется десятки терабайт полезных данных, которые в соответствии с требованиями пользователей поступают в платформу данных, проходят обработку и доступны для использования с учетом различных требований к их потреблению (время, качество, нагрузка, конфиденциальность и др).

Несмотря на активное развитие Opensource(Greenplum, Hadoop и др.), в Компании также исторически существует SAP BW on HANA как часть DMP, размещенная в облаке SAP РФ. SAP BW исторически в Компании отвечала за расчет и поставку ключевых финансовых показателей, а также реализацию сценариев высоконагруженного одновременного использования основных финансовых агрегатов тысячами пользователей(фактически горячее хранение аналитических данных).

В конце февраля компания SAP сообщила о прекращении обслуживания ЦОД в России и необходимости остановки системы X5 разрабатываемой в течении последних 10 лет за короткий срок, при этом требуемое оборудование для переноса системы в объеме Х5 в России(и Европе) недоступно.

В рамках проекта необходимо было обеспечить бесперебойную работы всей аналитической и финансовой отчетности Компании, а также процесс использующих DMP в качестве источника данных.

В итоге в ходе проекта были проведены след. работы:

Проведен перенос расчёта более 600 аналитических показателей компании на отечественное DWHрешение – GreenPlum от ArenaData .

Перенос включал фиксирование и согласование методики, автоматизации построения, обеспечение SLA, настройка проверок качества и процессов его обеспечения

2. Создано новое технологическое решение на базе Clickhouse, позволяющее одновременно нескольким тысячам пользователей «откручивать» данные глубиной более 2х лет и объемом более 100 млрд строк, при этом улучшить пользовательский опыт, интегрировав «конструктор отчетности» с DWH, дата-каталогом, а также существующим BI-решением

Проведено обучение 4000+ сотрудников новым инструментам, оптимизирована модель данных с учетом профилей потребление

Результаты проекта:

- Увеличено количество пользователей BI-аналитики в два раза (до 10к человек), более 70% офисных сотрудников BI регулярно(не реже чем раз в месяц) использует BI;

- Собран единый логический контур данных для отчетности и продуктовых команд обеспечивающий мульти температурный режим(Hive+GreenPlum+Clickhouse), что существенно оптимизирует стоимость владения данными;

- Выполнена архивация 50% исторической отчетности в системе SAP BW

- Интегрированные с BW системы переключены на работы с новым источником данных без потери в уровне доступности

Все это позволит Компании сэкономить существенные средства и снизить затраты на поддержку (в расчете на 1 пользователя до 20 раз), перестав оплачивать дорогостоящую аренду оборудования

География проекта

Вся география присутствия компании X5 на рынке, от Калининграда до Новосибирска.