Внедрение «Платформы данных и глубокой аналитики»

Мы идем к Data Driven компании, где информация, точные прогнозы и цифровые двойники (не только клиентов и продукции, но и производственных процессов и активов) делают компанию устойчивой к внешним изменениям и повышают эффективность/прибыльность. Внедрение «Платформы данных и глубокой аналитики» по функциональным направлениям для группы компаний Уралхими Уралкалий является одним из этапов реализации стратегии цифровой трансформации.

Цель проекта внедрения «Платформы данных и глубокой аналитики» - создание экосистемы данных, которая обеспечивает сбор, обработку и хранение данных с целью поддержания бизнес-инициатив в части цифровизации, создания цифровых двойников и прогнозной аналитики для процессов и активов компании, в том числе по ad-hoc запросам.

Платформа данных и глубокой аналитики основана на решениях Apache, Microsoft и так же Компании SberCloud, поставщика облачных услуг, входящей в экосистему «Сбера», сервисы облачной платформы SberCloud.Advanced, которые позволяют быстро создавать новые цифровые сервисы и двойники активов компании, поддерживая и ускоряя цифровую трансформацию предприятия.

Использованное ПО (основное): Apache NiFi, Apache Kafka, Apache Airflow, Docker, K8s, Python, MinIO, MLFlow, PostgreSQL, Clickhouse, MongoDB, PowerBI, SQL Server, Gitlab

Оборудование: SberCloud, Centos 7, Windows Server

Вспомогательные системы: Nginx, Grafana, Prometheus, Kowl, PGAdmin, Docker registry

Основные сложности при реализации проекта заключается в интеграции разных стеков технологий и внедрение Unix-компонентов Платформы данных в закрытом контуре с инфраструктурой, ориентированной на экосистему Microsoft. Интеграция в единое решение облачные и on-prem компоненты Платформы данных, построение распределенной структуры данных с высокой скоростью доступа к информации, а также обеспечить высокие требования и стандарты информационной безопасности, включая требования к персональный данным и коммерческой тайне.

Проект  в первую очередь нацелен на решение задачи централизованного управления данными. В проекте  создается не только инфраструктурная часть, но и, также, создаются дата продукты, показатели по функциональным направлениям и цифровой модели, такие как прогноз валютного риска; прогноз дебиторской / кредиторской задолженностей; прогноз роста цен на продукцию на основании внешних факторов; прогноз объема запаса ТМЦ на складах; предиктивная аналитика по валковому прессу. Построение цифрового двойника оборудования на основе большого массива исторических данных и сравнение с данными реального времени. Заблаговременное обнаружение проблем в работе и оповещение о вероятности поломок оборудования.

Проект «Платформа данных и глубокой аналитики» в части Корпоративного Хранилища Данных (КХД) удовлетворяет потребности в сборе данные из ИС и процессов компании (накопление); обеспечить снижение стоимости владения данными; вести учет данных в компании; обеспечить безопасность и защиту данных.

Проект в части управления качеством данных удовлетворяет следующие потребности: сопоставимость данных на базе НСИ; предоставить корпоративные (интегрируемые) данные за счет мастер-данных; обеспечить использование (получение) качественных корпоративных данных ИС и сотрудниками компании; обеспечить проведение аналитики данных; обеспечить создание и обучение цифровых моделей. В том числе создается каталог данных, описывающий данные и информацию компании - аналитические материалы (внутренние и внешние), принятые решения, базы знаний и т.д.

Проект рассчитан на работу на всех предприятиях и филиалах компании, включая Центральный федеральный округ и Приволжский федеральный округ, свыше 10 производственных площадок компании.