Внедрение платформы управления данными Magnit Data
- Заказчик:
- Магнит
- Руководитель проекта со стороны заказчика
- Поставщик
- DIS Group
- Год завершения проекта
- 2023
- Сроки выполнения проекта
- Ноябрь, 2022 - Сентябрь, 2023
- Масштаб проекта
- 18500 человеко-часов
- Цели
- Повысить эффективность компании:
- обеспечения прозрачности информационных активов и знаний о них (что позволило ускорить поиск данных, сократить время на разбор происхождения данных и импакт-анализ, ускорить внедрение изменений);
- повышения доверия к существующим наработкам и создания условий их переиспользования (что позволило снизить затраты на дублирующие разработки, сдерживать расширения “теневого” ИТ и ускорить получение бизнесом желаемых активов)
- разделения ответственности за данные и работу над повышением их качества.
Задачи проекта:
- Развернуть и сконфигурировать инструменты в двух средах, развернуть в облачной среде, обеспечить соответствие всем нормам компании с точки зрения архитектуры и информационной безопасности.
- Разработать концепцию управления данным с использованием инструментов (процессы управления данными в обвязке с внедряемым инструментарием).
- Наполнить инструментарий минимальным контентом (100 терминов, 25 проверок качества данных в критичных элементах данных, отсканировать 6 центральных систем, на которых строится аналитика Компании, включая Корпоративное хранилища данных, ETL-инструмент по BI-система) для подтверждения работоспособности разработанных процессов и подхода к тиражированию на всю компанию.
- Вовлечь бизнес-подразделения в процессы управления данным, выстроенные в инструментах.
- Разработать интеграции с корпоративными системами таск-трекинга и управления доступами для повышения эффективности пользовательских сценариев в инструментах (автоматическая генерация задач, запрос доступов к информационным активам из единого окна в 2 клика).
- Мигрировать существующие наработки компании в части графов происхождения данных и бизнес-глоссариев.
- Перенять экспертизу у интегратора по сопровождению и развитию инструментов для снижения дальнейших костов на поддержку.
- Результаты
О результатах проекта можно дополнительно почитать в прикрепленных материалах.
План проекта был перевыполнен:
A) Все системы с полной функциональностью были поставлены бизнесу не за 9 месяцев, а за 6.
B) Благодаря хорошо организованной передаче знаний, внутренняя команда Магнита приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур
C) Всего за 6 месяцев со старта проекта были уже получены следующие активы:
1. 5700+ описанных информационных активов (справочников, витрин КХД, отчетов)
2. 252 утвержденных с бизнесом терминов бизнес-глоссария; 3 описанных предметных области
3. 11 подключенных систем,
4. 7 миллионов отсканированных и каталогизированных объектов данных, по которым можно анализировать линедж данных и влияние изменений
5. Разработано 74 проверки качества данных.
6. Утверждено и опубликовано 7 внутренних-нормативных документа, включая Политику по управлению качеством данных.
D) Получили ежемесячную базу пользователей новых инструментов в размере 1000 сотрудников, которые создают более 5000 запросов на поиск данных ежемесячно.
Уникальность проекта
Реализованный проект является фундаментом для другой стратегической ИТ инициативы компании по импортозамещению технологий, на которых построена корпоративная платформа данных.
- Проект решает задачи импортозамещения
- Да
- Использованное ПО
- 1. ПО на базе решений DIS Group:
- Бизнес-глоссарий
- Каталог данных
- Система управления качеством данных
2. Виртуальный помощник - собственная разработка.Инфраструктура: Я.Облако.
- Сложность реализации
· Внедрение по принципу «большого взрыва» - одновременное внедрение 4 инструментов и 7 внутренних нормативных документа
· Сканирование legacy систем и самописных систем, которые развивались более 10 лет. Метаданные этих систем часто были сложно доступны
· Вовлечение бизнес-подразделений в процессы управления данными и закрепление их ответственности за данные потребовало огромного объема внутренней «PR» работы для грамотного донесения ценности проекта
- Описание проекта
В компании около 10 000 пользователей данных, которые используют многоуровневую платформу, содержащую >1 Пб данных. Более 2000 пользователей обращаются напрямую к центральному элементу платформы, корпоративному хранилищу данных, которое развивается уже 12 лет и содержит 420 Тб данных.
За это время в система стала сверхсложной: в неё интегрировано более 200 систем источников данных, а пользователи обращаются к 5000 витринам данных. Такое количество разработанного функционала требует продвинутых возможностей для поиска нужной информации. А так как бизнес самостоятельно работает в пользовательских областях, которых сейчас около 80, то потребовалось также повысить переиспользуемость объектов.
В середине 2022 года было принято решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Стартовали 01.11.2022. За 6 месяцев разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как:
- бизнес-глоссарий,
- каталог данных,
- автоматизированную систему контроля качества данных,
- виртуальный data-помощник.
Magnit Data сегодня — это центральный портал, через который осуществляется поиск данных, изучение их описания, анализ происхождения, запрос доступов и многое другое. Инструменты встроены в действующие производственные процессы развития и сопровождения хранилищ данных и аналитической отчетности; встраиваются в процессы управления информационной безопасностью и архитектурного надзора.
Справка о компании «Магнит»
Публичное акционерное общество «Магнит» (MOEX: MGNT) является холдинговой компанией группы обществ (Компания), занимающихся розничной торговлей через сеть магазинов «Магнит», с местом нахождения в Краснодаре. Сеть магазинов «Магнит» является одной из ведущих розничных сетей по торговле продуктами питания в России. По состоянию на 30 июня 2023 г. сеть «Магнит» насчитывала 28 309 магазинов, расположенных в 4 183 населенных пунктах Российской Федерации и Республике Узбекистан.
Около двух третей магазинов Компании работает в городах с населением менее 500 000 человек. Большинство магазинов Группы расположено в Южном, Северо-Кавказском, Центральном и Приволжском Федеральных округах. Магазины сети «Магнит» также находятся в Северо-Западном, Уральском и Сибирском Федеральных округах.
Компания управляет собственной логистической системой, насчитывающей по состоянию на 30 июня 2023 г. 45 распределительных центров, автоматизированную систему управления запасами и автопарком, состоящим из 5 412 автомобилей.
- География проекта
Все бизнес-подразделения федеральной розничной сети Магнит.
- Дополнительные презентации:
- Magnit Data. Внедрение платформы управления данными.pdf