Импортозамещение SAP или Data Management Platform на отечественных компонентах

Заказчик
X5 Group
Руководитель проекта со стороны заказчика
ИТ-поставщик
X5 Group
Год завершения проекта
2022
Сроки выполнения проекта
Апрель, 2022 - Октябрь, 2022
Масштаб проекта
5000 автоматизированных рабочих мест
Цели

В рамках проекта необходимо было обеспечить бесперебойную работы всей аналитической и финансовой отчетности Компании, а также процесс использующих

Уникальность проекта

1. Инновационность. Наиболее масштабный опыт в РФ Ретейле: - Вся география присутствия Компании - более 600 бизнес показателей - более 4000 витрин - более 8000 пользователей - более 40+ систем-источников 2. Импортозамещение – проект реализован исключительно на отечественном высоконагруженном ПО, что позволяет с гордостью смотреть в будущее и делиться опытом на внутреннем рынке. 3. Значимость для жизнестойкости компании. Благодаря тому, что в момент отключения ЦОД SAP ключевые инструменты и процессы были перенесены на новое решение, удалось избежать проблем с непрерывностью бизнеса Компании в наиболее тяжелый период для наших потребителей 4. Эффективность – до внедрения проекта Компания оплачивала дорогостоящую аренду оборудования компании SAP. Переход на собственное решение позволил Компании сэкономить существенные средства и снизить затраты на поддержку в расчете на 1 пользователя до 20 раз;
Проект решает задачи импортозамещения
Да
Использованное ПО

1. GreenPlum (ArenaData DB)

2. ClickHouse

3. Hadoop

Сложность реализации

Масштаб проекта и технологическая сложность.

Требовалось реализовать с помощью отечественных и открытых технологий аналог решению, которое:

А) Является одной из самых мощных аналитических СУБД

Б) Работало на высокопроизводительном оборудовании с премиум-поддержкой вендора

В) Развивалось десятилетие, за которое очень глубоко интегрировалось в компанию

Г) Было слабо документирована - отсутствовала значительная часть технической документации, частично отсутствовали инструкции/методики/бизнес-владельцы отчетности, не прозрачны интеграционные потоки

Решение было нужно быстрее чем за полгода, компания любой момент могла остаться без аналитических данных

Масштаб проекта – Вся география присутствия Компании, более 600 бизнес показателей, более 4000 витрин, более 8000 пользователей. Данные ежедневно загружаются из 40+ систем-источников

Описание проекта

X5 сегодня лидер российской продуктовый розницы. На языке данных это – десятки миллионов клиентов, сотни тысяч сотрудников, объектов управления, товаров, контрагентов, а также многие миллиарды транзакций в сутки. Ежедневно в Компании формируется десятки терабайт полезных данных, которые в соответствии с требованиями пользователей поступают в платформу данных, проходят обработку и доступны для использования с учетом различных требований к их потреблению (время, качество, нагрузка, конфиденциальность и др).

Несмотря на активное развитие Opensource(Greenplum, Hadoop и др.), в Компании также исторически существует SAP BW on HANA как часть DMP, размещенная в облаке SAP РФ. SAP BW исторически в Компании отвечала за расчет и поставку ключевых финансовых показателей, а также реализацию сценариев высоконагруженного одновременного использования основных финансовых агрегатов тысячами пользователей(фактически горячее хранение аналитических данных).

В конце февраля компания SAP сообщила о прекращении обслуживания ЦОД в России и необходимости остановки системы X5 разрабатываемой в течении последних 10 лет за короткий срок, при этом требуемое оборудование для переноса системы в объеме Х5 в России(и Европе) недоступно.

В рамках проекта необходимо было обеспечить бесперебойную работы всей аналитической и финансовой отчетности Компании, а также процесс использующих DMP в качестве источника данных.

В итоге в ходе проекта были проведены след. работы:

  1. Проведен перенос расчёта более 600 аналитических показателей компании на отечественное DWHрешение – GreenPlum от ArenaData .

Перенос включал фиксирование и согласование методики, автоматизации построения, обеспечение SLA, настройка проверок качества и процессов его обеспечения

2. Создано новое технологическое решение на базе Clickhouse, позволяющее одновременно нескольким тысячам пользователей «откручивать» данные глубиной более 2х лет и объемом более 100 млрд строк, при этом улучшить пользовательский опыт, интегрировав «конструктор отчетности» с DWH, дата-каталогом, а также существующим BI-решением

  1. Проведено обучение 4000+ сотрудников новым инструментам, оптимизирована модель данных с учетом профилей потребление

Результаты проекта:

- Увеличено количество пользователей BI-аналитики в два раза (до 10к человек), более 70% офисных сотрудников BI регулярно(не реже чем раз в месяц) использует BI;

- Собран единый логический контур данных для отчетности и продуктовых команд обеспечивающий мульти температурный режим(Hive+GreenPlum+Clickhouse), что существенно оптимизирует стоимость владения данными;

- Выполнена архивация 50% исторической отчетности в системе SAP BW

- Интегрированные с BW системы переключены на работы с новым источником данных без потери в уровне доступности

Все это позволит Компании сэкономить существенные средства и снизить затраты на поддержку (в расчете на 1 пользователя до 20 раз), перестав оплачивать дорогостоящую аренду оборудования


География проекта

Вся география присутствия компании X5 на рынке, от Калининграда до Новосибирска.

Коментарии: 6

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Сергей Кузнецов
    Рейтинг: 1013
    Лебер Логистика
    Директор по управлению цепями поставок
    19.12.2022 18:30

    Александр, добрый день.
    "- Собран единый логический контур данных для отчетности и продуктовых команд обеспечивающий мульти температурный режим(Hive+GreenPlum+Clickhouse), что существенно оптимизирует стоимость владения данными;" - можете уточнить существенно это сколько в %?
    К какому году проект должен покрыть всю географию присутствия X5?

    • Александр Афонин Сергей
      Рейтинг: 125
      Х5 Group
      Директор департамента архитектуры и методологии работы с данными
      21.12.2022 12:21

      Сергей, добрый день!

      С учетом отказа от оплаты облачной инфраструктуры SAP HEC экономия на стоимости 1 пользователя аналитики более чем в 3 раза.

      Проект уже покрыл всю географию сети

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2023 13:05

    Добрый день! И как Вам после САПа Ваше новое решение? Если бы не новая реальность, то стоило ли менять технологическое решение, или стоило бы оставить все как есть?

    • Александр Афонин Максим
      Рейтинг: 125
      Х5 Group
      Директор департамента архитектуры и методологии работы с данными
      09.01.2023 11:59

      Добрый день!
      В нашем случае стоило, как минимум по этим причинам:
      1. В целях экономии TCO (SAP очень недешево обходился, по сравнений с теми же GreenPlum+ClickHouse)
      2. В целях приведения данных к единой точке правды. (вопросами охлаждения SAP и создания нового хранилища мы уже занимались, проект позволил сильно ускорить все изменения)

  • Александр Виноградов
    Рейтинг: 1035
    MSD (ГК ТРАДИЦИИ УСПЕХА)
    CDTO
    08.01.2023 01:55

    Добрый день. Скажите с помощью какого инструмента у вас строится отображение данных из нового источника данных ?

  • Александр Афонин
    Рейтинг: 125
    Х5 Group
    Директор департамента архитектуры и методологии работы с данными
    09.01.2023 12:00

    Добрый день!
    Пока живем на QlikSense/QlikView

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.