Внедрение «Платформы данных и глубокой аналитики»

Заказчик
АО ОХК "УРАЛХИМ"
Руководитель проекта со стороны заказчика
ИТ-поставщик
АО "ОХК "УРАЛХИМ"
Год завершения проекта
2021
Сроки выполнения проекта
Январь, 2021 - Ноябрь, 2021
Масштаб проекта
2500 автоматизированных рабочих мест
Цели

Мы идем к Data Driven компании, где информация, точные прогнозы и цифровые двойники (не только клиентов и продукции, но и производственных процессов и активов) делают компанию устойчивой к внешним изменениям и повышают эффективность/прибыльность. Внедрение «Платформы данных и глубокой аналитики» по функциональным направлениям для группы компаний Уралхими Уралкалий является одним из этапов реализации стратегии цифровой трансформации.

Цель проекта внедрения «Платформы данных и глубокой аналитики» - создание экосистемы данных, которая обеспечивает сбор, обработку и хранение данных с целью поддержания бизнес-инициатив в части цифровизации, создания цифровых двойников и прогнозной аналитики для процессов и активов компании, в том числе по ad-hoc запросам.

Уникальность проекта

Уникальность проекта определяется несколькими параметрами, в первую очередь это создание гибридного Корпоративного Хранилища Данных, в дополнение к компонентам платформы, размещённым on-prem, так же используются сервисы облачной платформы SberCloud.Advanced. Проект «Платформа данных и глубокой аналитики» в части анализа данных объединяет в себе решения: самостоятельное проведение глубокой аналитики данных сотрудниками функциональных направлений, возможность получать Near Real Time отчеты, Self-Service конструктор отчетов, распознавание голоса для формирования запросов к системе и получение прогнозов.
Проект решает задачи импортозамещения
Нет
Использованное ПО

Платформа данных и глубокой аналитики основана на решениях Apache, Microsoft и так же Компании SberCloud, поставщика облачных услуг, входящей в экосистему «Сбера», сервисы облачной платформы SberCloud.Advanced, которые позволяют быстро создавать новые цифровые сервисы и двойники активов компании, поддерживая и ускоряя цифровую трансформацию предприятия.

Использованное ПО (основное): Apache NiFi, Apache Kafka, Apache Airflow, Docker, K8s, Python, MinIO, MLFlow, PostgreSQL, Clickhouse, MongoDB, PowerBI, SQL Server, Gitlab

Оборудование: SberCloud, Centos 7, Windows Server

Вспомогательные системы: Nginx, Grafana, Prometheus, Kowl, PGAdmin, Docker registry


Сложность реализации

Основные сложности при реализации проекта заключается в интеграции разных стеков технологий и внедрение Unix-компонентов Платформы данных в закрытом контуре с инфраструктурой, ориентированной на экосистему Microsoft. Интеграция в единое решение облачные и on-prem компоненты Платформы данных, построение распределенной структуры данных с высокой скоростью доступа к информации, а также обеспечить высокие требования и стандарты информационной безопасности, включая требования к персональный данным и коммерческой тайне.

Описание проекта

Проект  в первую очередь нацелен на решение задачи централизованного управления данными. В проекте  создается не только инфраструктурная часть, но и, также, создаются дата продукты, показатели по функциональным направлениям и цифровой модели, такие как прогноз валютного риска; прогноз дебиторской / кредиторской задолженностей; прогноз роста цен на продукцию на основании внешних факторов; прогноз объема запаса ТМЦ на складах; предиктивная аналитика по валковому прессу. Построение цифрового двойника оборудования на основе большого массива исторических данных и сравнение с данными реального времени. Заблаговременное обнаружение проблем в работе и оповещение о вероятности поломок оборудования.

Проект «Платформа данных и глубокой аналитики» в части Корпоративного Хранилища Данных (КХД) удовлетворяет потребности в сборе данные из ИС и процессов компании (накопление); обеспечить снижение стоимости владения данными; вести учет данных в компании; обеспечить безопасность и защиту данных.

Проект в части управления качеством данных удовлетворяет следующие потребности: сопоставимость данных на базе НСИ; предоставить корпоративные (интегрируемые) данные за счет мастер-данных; обеспечить использование (получение) качественных корпоративных данных ИС и сотрудниками компании; обеспечить проведение аналитики данных; обеспечить создание и обучение цифровых моделей. В том числе создается каталог данных, описывающий данные и информацию компании - аналитические материалы (внутренние и внешние), принятые решения, базы знаний и т.д.

География проекта

Проект рассчитан на работу на всех предприятиях и филиалах компании, включая Центральный федеральный округ и Приволжский федеральный округ, свыше 10 производственных площадок компании.

Коментарии: 8
  • Александр Маркин
    Рейтинг: 815
    ГБУ «Безопасный регион»
    Начальник отдела программного сопровождения Ситуационного центра Губернатора Пензенской области
    05.12.2021 18:52

    «Платформы данных и глубокой аналитики» - что в данном случае подразумевается под термином «глубокая аналитика»? Это прогнозирование, моделирование, некое решение, получаемое в автоматическом режиме? Или же подразумевается что-то иное?

  • Владимир Вавра
    Рейтинг: 130
    АО ОХК "УРАЛХИМ"
    Руководитель отдела инфраструктуры данных
    20.12.2021 11:17

    Добрый день, Александр, термин «глубокая аналитика» в данном случае подразумевает построение перекрестной аналитики на основе интегрированных данных. Также мы используем цифровые модели для прогнозирования и расчета показателей.

  • Александр Маркин
    Рейтинг: 815
    ГБУ «Безопасный регион»
    Начальник отдела программного сопровождения Ситуационного центра Губернатора Пензенской области
    20.12.2021 11:45

    Добрый день, Владимир, спасибо.

  • Максим Часовиков
    Рейтинг: 2235
    Центр цифровой экономики МГУ
    Ведущий специалист
    23.12.2021 13:40

    Добрый день, в рамках "глубокой аналитики" использовались ли какие-либо методы анализа данных, за исключением статистических? Если да, то какие именно и на сколько они были легко восприняты пользователями?

  • Виктор Булгаков
    Рейтинг: 175
    ООО Gridfore
    Директор по развитию бизнеса
    27.12.2021 16:47

    Поздравляю, прекрасный масштабный проект, здорово, что получилось реализовать в облаке!
    Какая у Вас получилась трудоемкость проекта, на сколько удалось ускорить внедрение благодаря использованию облака?
    На сколько оправдала себя ставка на SberCloud.Advanced, почему?
    Много ли усилий потребовалось для обучения пользователей работе в аналитическом приложении с новыми данными?
    Какие средства управления доступом используются на проекте?

    • Владимир Вавра Виктор
      Рейтинг: 130
      АО ОХК "УРАЛХИМ"
      Руководитель отдела инфраструктуры данных
      14.01.2022 14:04

      Спасибо за комментарий!
      Использование инфраструктуры облака и облачных сервисов позволило значительно ускорить внедрение. Особенно в части выделения вычислительных ресурсов.
      Получили очень качественную техническую и архитектурную (в части облачных сервисов) поддержку со стороны SberCloud.Advanced.
      Управление доступом централизовано через AD.

  • Дмитрий Турчановский
    Рейтинг: 1030
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2022 18:32

    Владимир, добрый день! Очень интересный и главное масштабный проект, линейка используемого ПО впечатляет. Интересен опыт организации поддержки такой линейка, это собственный центр компетенций, или единый интегратор с субподрядчиками или отдельные договора с учетом специализации, просьба поделиться опытом. Также интересно рассчитывались ли какие-то измеримые показатели эффективности от использования системы, особенно соответствует это ли ожиданиям, которые наверняка представлялись руководству при согласовании финансирования на такой крупный проект. Также просьба уточнить какое ПО из линейки использовалось для качества данных и довольны ли его работой, удалось ли оценить работу с учетом недлительного использования после сдачи в эксплуатацию?

  • Максим Часовиков
    Рейтинг: 2235
    Центр цифровой экономики МГУ
    Ведущий специалист
    10.01.2022 07:11

    Добрый день! А какие именно методы глубокой аналитики были использованы или на сколько такие методы привычны людям, принимающим решения? Они могут принимать эти самые решения, основываясь на некоторых контринтуитивных прогнозах и предсткаханиях?

Год
Предметная область
Отрасль
Управление