Платформа «Озеро данных»

Заказчик:: ПАО «ГМК «Норильский никель»
Руководитель проекта со стороны заказчика: Лиана Ермишина

Вице-президент по информационным технологиям
Год завершения проекта: 2022
Сроки выполнения проекта: Январь, 2021 - Июль, 2022
Масштаб проекта: 10000 человеко-часов
Цели: Добыча цветных металлов - технологически одна из самых сложных отраслей. От рудников на Крайнем севере до сбыта конечного продукта собираются терабайты данных. Их обработка позволяет повысить производительность фабрик и сделать условия работы более комфортными и безопасными. Цифровизация производства является одной из ключевых стратегических задач "Норникеля" на ближайшие несколько лет. Она включает: сбор и обработку больших данных на производственных площадках и внедрение передовых наработок в области ML, например, для повышения эффективности оператора на производстве. Для решения этой задачи в компании был инициирован проект по созданию цифровой платформы «Озера данных». Сейчас «Озеро данных» - это технологичная платформа для решения бизнес-задач с применением Big Data. Например, реализация сквозного технологического сценария позволяет комплексно подойти к процессу цифровой трансформации при построении систем, использующих прогнозирование и машинное обучение. Или же создание расширенного профиля сотрудника на базе платформы данных дает уникальную возможность на новом уровне осуществлять управление и прогнозирование в области управления персоналом.

Уникальность проекта

Платформа «Озеро данных» является первым в Норникеле корпоративным smart platform сверхбольшого объёма структурированных и неструктурированных данных. По своей сути является единым местом реализации всех инициатив, направленных на цифровизацию производства на базе цифровых двойников/советчиков/аналитических отчетов.

Проект решает задачи импортозамещения

Да

Использованное ПО

Cloudera Data Platform, Arenadata DB, ML стэк, Nvidia GPU DGX, ПАК Atos, Arenadata DB, Kubernetes

Сложность реализации

Проработка архитектуры решения. Проведена работа по анализу рынка решений класса Big data, анализ реализованных проектов, выработка критериев подбора компонент.
Оценка потенциальных эффектов. Проведена работа по сбору потенциальных инициатив в производственном блоке и HR аналитике. Проведен выбор критериев реализации инициатив и оценки их эффективности, проведено ранжирование инициатив и выбор наиболее перспективных для реализации.
Выполнение требований информационной безопасности. Принимая во внимание, что система работает с персональными данными и данными производственных систем необходимым условием запуска системы было реализация требований ИБ. Проработаны проектные решения по защите компонент Озера данных (ролевая модель доступа к ОД, шифрование, логирование и мониторинг). Перед сдачей в промышленную эксплуатацию система проверена специализированными инструментами по поиску уязвимостей.

Описание проекта

Озеро данных спроектирована как масштабируемая платформа и в перспективе позволит хранить и анализировать данные всей Группы компаний, получая синергетический эффект при обогащении новыми данными существующих на предприятии цифровых моделей. В рамках проработанных архитектурных решений платформа позволяет обрабатывать в режиме near real-time информацию с датчиков оборудования, пакетные данные из реляционных систем, подключать ML модели, исследовать данные и получать аналитическую отчётность за счет подключенных BI инструментов к озеру данных. В рамках внедрения платформы был разработан framework (на базе компонент Spark, Nifi, Kafka) для упрощения процессов подключения и обработки данных с датчиков оборудования. Возможности framework’a позволяют: 1. Подключать новые показатели без разработки/доработки интеграционных интерфейсов, добавляя их в настройки; 2. Вести НСИ производственных показателей, включающую в себя классификацию показателей, привязку показателей к древовидной структуре производственной площадки;
3. Настраивать произвольные расчеты без разработки функционала за счет внесения формулы расчета в файл с настройками; 4. Осуществлять базовые проверки качества производственных показателей; Единой точкой доступа к данным и одним из основных компонентов платформы является аналитическая СУБД Arenadata DB (Greenplum). В рамках проекта был реализован мониторинг качества производственных данных в отделении ОКН Кольской ГМК и на линии дробления и измельчения в ГРКБ. На переделе внедрена система, которая позволяет отслеживать сотни показателей в режиме, близком к реальному времени. Технология способствует превентивному выявлению некорректно работающего измерительного оборудования и повышению скорости принятия управленческих решений. Расчетный эффект от внедрения технологии выражен в сокращении времени на обнаружение некорректных показателей на 30%. В рамках дальнейших планов по развитию масштабировать данные кейсы на все производственные подразделения компании.
Также были разработаны кейсы по HR, в том числе: 1. Карьерный рост и совмещение профессий. Отслеживать карьерный рост сотрудников для максимального использования их знаний и способностей в Компании.
2. Анализ фактической явки. Сопоставлять данные по запланированному графику выходов персонала с фактическими данными посещения производственных площадок для определения явочного количества работников, находящихся на смене, в режиме близкому к реальном.

Также на текущий момент Озеро данных выбрано единой платформой для разработки и работы всех разрабатываемых математических моделей, цифровых двойников и систем советчиков. Что позволяет: 1. Сократить время time-to-market реализации цифровых проектов за счет Отсутствия необходимости проектировать и реализовывать интеграционные инструменты. 2. Сниpbnm аналитическe. нагрузкe на системы управления/диспетчеризации производства.

Начиная с 2023 г. в перспективе будут охвачены следующие направления:

· Экономика и финансы

· Техническое обслуживание оборудования

· Логистика

· Промышленная безопасность

· Экологический мониторинг в регионах присутствия производства

· Экономические риски

География проекта

ООО "ГРК "Быстринское"

АО «Кольская горно-металлургическая компания»

Заполярный филиал

ПАО ГМК