Платформа «Озеро данных»
- Заказчик
- ПАО «ГМК «Норильский никель»
- Руководитель проекта со стороны заказчика
- Год завершения проекта
- 2022
- Сроки выполнения проекта
- Январь, 2021 - Июль, 2022
- Масштаб проекта
- 10000 человеко-часов
- Цели
-
Добыча цветных металлов - технологически одна из самых сложных отраслей. От рудников на Крайнем севере до сбыта конечного продукта собираются терабайты данных. Их обработка позволяет повысить производительность фабрик и сделать условия работы более комфортными и безопасными. Цифровизация производства является одной из ключевых стратегических задач "Норникеля" на ближайшие несколько лет. Она включает: сбор и обработку больших данных на производственных площадках и внедрение передовых наработок в области ML, например, для повышения эффективности оператора на производстве. Для решения этой задачи в компании был инициирован проект по созданию цифровой платформы «Озера данных». Сейчас «Озеро данных» - это технологичная платформа для решения бизнес-задач с применением Big Data. Например, реализация сквозного технологического сценария позволяет комплексно подойти к процессу цифровой трансформации при построении систем, использующих прогнозирование и машинное обучение. Или же создание расширенного профиля сотрудника на базе платформы данных дает уникальную возможность на новом уровне осуществлять управление и прогнозирование в области управления персоналом.
Уникальность проекта
Платформа «Озеро данных» является первым в Норникеле корпоративным smart platform сверхбольшого объёма структурированных и неструктурированных данных. По своей сути является единым местом реализации всех инициатив, направленных на цифровизацию производства на базе цифровых двойников/советчиков/аналитических отчетов.- Проект решает задачи импортозамещения
- Да
- Использованное ПО
-
Cloudera Data Platform, Arenadata DB, ML стэк, Nvidia GPU DGX, ПАК Atos, Arenadata DB, Kubernetes
- Сложность реализации
-
- Проработка архитектуры решения. Проведена работа по анализу рынка решений класса Big data, анализ реализованных проектов, выработка критериев подбора компонент.
- Оценка потенциальных эффектов. Проведена работа по сбору потенциальных инициатив в производственном блоке и HR аналитике. Проведен выбор критериев реализации инициатив и оценки их эффективности, проведено ранжирование инициатив и выбор наиболее перспективных для реализации.
- Выполнение требований информационной безопасности. Принимая во внимание, что система работает с персональными данными и данными производственных систем необходимым условием запуска системы было реализация требований ИБ. Проработаны проектные решения по защите компонент Озера данных (ролевая модель доступа к ОД, шифрование, логирование и мониторинг). Перед сдачей в промышленную эксплуатацию система проверена специализированными инструментами по поиску уязвимостей.
- Проработка архитектуры решения. Проведена работа по анализу рынка решений класса Big data, анализ реализованных проектов, выработка критериев подбора компонент.
- Описание проекта
-
Озеро данных спроектирована как масштабируемая платформа и в перспективе позволит хранить и анализировать данные всей Группы компаний, получая синергетический эффект при обогащении новыми данными существующих на предприятии цифровых моделей. В рамках проработанных архитектурных решений платформа позволяет обрабатывать в режиме near real-time информацию с датчиков оборудования, пакетные данные из реляционных систем, подключать ML модели, исследовать данные и получать аналитическую отчётность за счет подключенных BI инструментов к озеру данных. В рамках внедрения платформы был разработан framework (на базе компонент Spark, Nifi, Kafka) для упрощения процессов подключения и обработки данных с датчиков оборудования. Возможности framework’a позволяют: 1. Подключать новые показатели без разработки/доработки интеграционных интерфейсов, добавляя их в настройки; 2. Вести НСИ производственных показателей, включающую в себя классификацию показателей, привязку показателей к древовидной структуре производственной площадки;
3. Настраивать произвольные расчеты без разработки функционала за счет внесения формулы расчета в файл с настройками; 4. Осуществлять базовые проверки качества производственных показателей; Единой точкой доступа к данным и одним из основных компонентов платформы является аналитическая СУБД Arenadata DB (Greenplum). В рамках проекта был реализован мониторинг качества производственных данных в отделении ОКН Кольской ГМК и на линии дробления и измельчения в ГРКБ. На переделе внедрена система, которая позволяет отслеживать сотни показателей в режиме, близком к реальному времени. Технология способствует превентивному выявлению некорректно работающего измерительного оборудования и повышению скорости принятия управленческих решений. Расчетный эффект от внедрения технологии выражен в сокращении времени на обнаружение некорректных показателей на 30%. В рамках дальнейших планов по развитию масштабировать данные кейсы на все производственные подразделения компании.
Также были разработаны кейсы по HR, в том числе: 1. Карьерный рост и совмещение профессий. Отслеживать карьерный рост сотрудников для максимального использования их знаний и способностей в Компании.
2. Анализ фактической явки. Сопоставлять данные по запланированному графику выходов персонала с фактическими данными посещения производственных площадок для определения явочного количества работников, находящихся на смене, в режиме близкому к реальном.Начиная с 2023 г. в перспективе будут охвачены следующие направления:
· Экономика и финансы
· Техническое обслуживание оборудования
· Логистика
· Промышленная безопасность
· Экологический мониторинг в регионах присутствия производства
· Экономические риски
- География проекта
-
ООО "ГРК "Быстринское"
АО «Кольская горно-металлургическая компания»
Заполярный филиал
ПАО ГМК