Построение корпоративного хранилища данных и создание аналитических инструментов

Заказчик
Splat Global
Руководитель проекта со стороны заказчика
ИТ-поставщик
SPLAT GLOBAL
Год завершения проекта
2021
Сроки выполнения проекта
Январь, 2020 - Июнь, 2021
Масштаб проекта
4200 человеко-часов
Цели

Иметь оперативный доступ к отчетности, данные в которой будут предоставлены в едином формате: единую версию правды.

Уникальность проекта

Проект уникален по его масштабам и скорости реализации. Было реализовано корпоративное хранилище (DWH), которое аккумулирует в себе данные из практически всех информационных систем компании, нормализует и сопоставляет их  в системе мастер-данных (MDS), приводя к единому виду.

Хранилище дало возможность строить отчёты, KPI и модели, ранее недоступные из-за сложности вычислений и разрозненности данных.

Хранилище содержит в себе 27 источников данных и 931 таблицу с данными.

Изменения в хранилище поступают через 1 час после внесения изменений в источнике данных.

Для реализации проекта был нанят один разработчик. Остальная команда за время выполнение проекта получила новые навыки: разработка отчётов Power BI, разработка на  DAX и T-SQL, работа с OLAP кубами.

Проектная команда: 1 разработчик/архитектор, 4 аналитика/разработчик Power BI.
Проект решает задачи импортозамещения
Нет
Использованное ПО

С#, MS SQL, MS Power BI

Сложность реализации

Все интеграции и архитектура хранилища разработаны одним человеком, поэтому важна правильная приоритезация задач.

На старте проекта у участников отсутствовали знания о Power BI, они были получены во время разработки.

Т.к. у всех источников данных разные интерфейсы или их вообще нет, приходилось использовать разнообразные инструменты и по ходу реализации проекта изучать новые, например, писать роботов по сбору данных, использование которых позволяет в том числе контролировать неправомерные продажи.

Скорость подключения нового источника составляет от 1 дня до 2 недель.

Аналогичная реализация внешними ресурсами была бы от 7 до 10 раз дороже.
Описание проекта

На первом этапе была разработана интеграция с системой хранения вторичных продаж.

После этого была начата работа по созданию отчётов на базе Power BI для отдела продаж. Был произведен переход на автоматический расчёт всех KPI задач на базе данных DWH. В MDS реализованы справочники для ведения задач, их весов, сотрудников и зон ответственности.

На втором этапе параллельно с созданием отчётов начали подключать систему 1С ERP к хранилищу данных. В первую очередь были интегрированы финансовые данные и данные для планирования.

На базе этих данных были разработаны финансовые отчёты в Power BI, позволяющие делать анализ от макрорегионов до SKU в одном месте. Разработаны 3 OLAP Cube для удобного анализа данных.

В DWH передаются производственные данные. На них был реализован отчёт с планом и фактом по каждой производственной линии и автоматическим обновлением данных 1 раз в минуту.

Также к DWH была подключена SFA система. Это позволило в одном отчёте объединить данные из трёх разных систем и рассчитать эффективность визита с учётом множества критериев, получаемых из разных источников.

Еще данные в DWH:

-       Логистические данные (контроль отгрузок исходя из загруженности склада);

-       Маркетинговые данные (анализ промо, промо календарь, позиции на рынке);

-       Данные с online-площадок (контроль остатков, автозаказ на маркетплейсы);

-       Мониторинг цен интернет-магазинов (отслеживание цен в 20 популярных интернет магазинах);

-       Данные по всем каналам обращений потребителей (анализ поступающих заявок от потребителей);

-       Интеграции с национальными сетями (анализ остатков, продаж РЦ и Магазинов);

-       SEO (анализ поискового спроса на площадках Европы).

С начала запуска проект в Power BI на базе данных DWH было разработано 54 отчёта.

По итогам реализации каждого отчёта для сотрудников проводиться обучение и делается запись. Создан удобный каталог отчётов на базе SharePoint. Под каждым отчётом добавлено видео с обучением работе с отчётом.

Отчёт 1.jpg

Отчёт 2.jpg

Отчёт 3.jpg

География проекта
РФ, СНГ и Европа
Коментарии: 3
  • Максим Часовиков
    Рейтинг: 2235
    Центр цифровой экономики МГУ
    Ведущий специалист
    23.12.2021 13:38

    Добрый день! а какие аналитические инструменты были разработаны в рамках этого проекта? ВЫ их сами разрабатывали или использовали уже готовые решения? На сколько такие инструменты легко были восприняты в рамках компании?

  • Дмитрий Турчановский
    Рейтинг: 1030
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2022 18:13

    Анна, добрый день! Линейка ПО не соответствует описанию с точки зрения реализации хранилища данных и корпоративной нормативной справочной информации, можно подробнее раскрыть архитектуру, мы в компании сейчас также создаем аналогичный инструмент и архитектура намного сложнее как по составу, так и по интеграционным элементам, включая интеграционную шину.

    • Анна Морина Дмитрий
      Рейтинг: 284
      Splat Global
      Chief Digital Officer
      12.01.2022 10:55

      Добрый день, Дмитрий!
      Думаю, у нас может не совпадать ландшафт, и это нормально, если наши инструменты не подойдут вам.
      Про ПО мы действительно забыли еще Python, на котором как раз написаны «пауки», но в остальном все реализовано на майкрософтовском стеке с подключаемыми в SSIS библиотеками.
      Расскажу про архитектуру, она проста: есть стейджинг, в который аккумулируются данные, есть MDS, в котором ведется управление мастер-данными, есть DWH, в котором уже располагается весь массив нормализованных данных, отдельно реализованы кубы и табулярные модели, на которых и строятся аналитические дашборды и отчеты как в Power BI, так и в Excel. ПО источников данных в архитектуру проекта не попадает по понятным причинам.
      Если остаются вопросы – пишите.

Год
Предметная область
Отрасль
Управление