Нефтеконтроль – Газпром нефть

Заказчик
ПАО "Газпром нефть"
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО «Автоматика-сервис»
Год завершения проекта
2021
Сроки выполнения проекта
Сентябрь, 2019 - Ноябрь, 2021
Масштаб проекта
400 автоматизированных рабочих мест
Цели
  1. Снижение количества потерь нефти и нефтепродуктов по всей товаропроводящей цепочке компании.
  2. Сбор данных по количеству и качеству нефтепродуктов в единое цифровое пространство.
  3. Повышение оперативности принятия управленческих решений.
  4. Выявление зон неэффективности по товаропроводящей цепочке компании.
  5. Регистрация причин возникновения отклонений и корректирующих мероприятий для них.

Уникальность проекта

«Нефтеконтроль – Газпром нефть» - уникальный проект, который решает задачи, поставленные Правительством РФ и потребителями перед одной из ключевых отраслей для нашей страны.

«Нефтеконтроль» позволяет обеспечить 100% прозрачность данных о качестве, количестве и местонахождении нефтепродуктов, которые компании необходимо контролировать на протяжении всего жизненного цикла — от производства на нефтеперерабатывающем заводе до налива в бензобак автомобиля или крыло самолета. На данный момент, это первое и единственное в России и СНГ подобное решение. Оно имеет потенциал также стать отраслевым стандартом всей нефтяной промышленности как в России, так и за рубежом.
Использованное ПО
HortonWorks Data Platform ( в частности, Apache Spark, Apache Hive, Apache HBase, Apache Kafka, Apache Zeppelin), Django REST Framework, Angular.
Сложность реализации
Сложность проекта заключалась в необходимости создания цифровой платформы, сочетающей в себе принципы как пакетной обработки, так и перерасчёты «на лету» для большого объёма данных о количестве и качестве НП.

В то же время система должна агрегировать информацию с более чем 30 различных цифровых систем, которые предоставляют данные в структурированном, полуструктурированном и неструктурированном виде.

Решение должно обеспечить возможность работы с данными для 50+ параллельных сессий, при этом время отклика не должно превышать 30 секунд.
Описание проекта

Нефтегазовая отрасль является одной из ключевых в экономике России и поэтому всегда вызывает особый интерес у государства и общества, что закономерно поднимает вопросы прозрачности учета нефти и нефтепродуктов. Поэтому, в 2012 году Минэнерго России было принято решение о создании концепции отраслевой системы учета нефти и нефтепродуктов. Ответом на данную инициативу в компании «Газпром нефть» стала программа «Нефтеконтроль — Газпром нефть». 

Данная система сквозного мониторинга с единым информационным пространством позволяет не только фиксировать факт возникновения потерь нефти и нефтепродуктов, но и точно определять места их возникновения и идентифицировать причину. В итоге, снижается общее количество отклонений, и, как следствие, экономия нефтепродуктов достигает ~15 000 тонн в год. Также снижаются имиджевые и репутационные риски Компании, в т.ч. за счет возможности гарантировать потребителю заявленное качество нефтепродуктов. На текущий момент платформа выявляет зоны неэффективности (узкие места) в цепочке поставок и показывает, например, какие типовые коммерческие узлы учета необходимо корректировать или автоматизировать. А алгоритмы машинного обучения позволяют подсвечивать критичные зоны отклонений.

Фактически «Нефтеконтроль» — это целый блок технологий Индустрии 4.0 в одном флаконе:
  • интернет вещей для получения данных с датчиков о движении;
  • озеро данных для распределенного хранения и обработки информации;
  • машинное обучение для обработки, анализа и принятия решений на его основе.
Система интегрирована с множеством источников: системы коммерческого учета (ERP), производственные системы (MES) и измерений КИПиА (контрольно-измерительных приборов и автоматики).

Структура хранения данных реализована согласно классической концепции Big Data Lake:
  • MART: слой витрин данных (результаты обработки и вычислений);
  • DDS: слой консолидированной модели детальных данных;
  • ODD: слой предварительной обработки данных (проверка ошибок, полноты данных);
  • RAW: слой сырых данных (любой формат и тип, структуризация не важна);
  • ETL: инструменты извлечения и управления доставкой потоков данных.
Таким образом получилось реализовать гибкую, масштабируемую систему, имеющую инструменты для анализа и визуализации, с относительно дешевой стоимостью хранения данных. Также, благодаря качественно реализованному CI/CD-пайплайну удалось сократить время доведения новой бизнес-функциональности до продуктивного ландшафта с 45 до 20 дней. Алгоритмы обработки информации обеспечивают автоматическую идентификацию отклонений, влияющие на эффективность всей цепи поставок. Аналитические расчеты в системе выполняются с помощью распределенных вычислений на Spark.
Модули интеллектуальной системы поддержки принятия решения реализуются на основе следующих методов (алгоритмов) машинного обучения:
  • кластеризация (плотностные и иерархические алгоритмы),
  • методы классификаций (логистическая регрессия, «случайный лес» и бустинг).
На данный момент команда проекта работает над тем, чтобы сделать разработанную систему еще умнее.

Реализация проекта, помимо ИТ-части, включала в себя трансформацию бизнес-процессов и автоматизацию производства. По итогам выполнения проекта, он был реализован в полном объеме и отмечен благодарственным письмом Минэнерго России. 
География проекта
Система не имеет ограничений по географии доступа пользователей, предоставляя web-интерфейс. Географический охват автоматизации логистической цепочки – от Дальнего Востока до Калининграда.
Коментарии: 10
  • Михаил Петров
    Рейтинг: 756
    Счетная палата Российской Федерации
    Директор департамента цифровой трансформации
    15.11.2021 19:05

    какого рода решения помогает принимать система? приведите примеры, пожалуйста, очень интересно

    • Александр Кузнецов Михаил
      Рейтинг: 82
      ПАО "Газпром нефть"
      Начальник управления событиями в операционной деятельности ЦДС (БЛПС)
      22.11.2021 20:22

      Добрый день!

      Система анализирует цепочки поставок нефтепродуктов НПЗ - первичная логистика - нефтебаза - вторичная логистика - АЗС (аэродромные заправочные комплексы, бункеровочные терминалы, терминалы реализации битумных материалов), без участия человека выявляет и прогнозирует инциденты, связанные с отклонениями параметров качества и количества нефтепродуктов, формирует реестр инцидентов и по каждому инциденту проводит факторный анализ возможных причин инцидентов. С точки зрения факторов система умеет выявлять факты несанкционированных действий персонала, сбои в работе технологического оборудования, сбои в работе ИТ-систем и каналов передачи данных, организационные сбои в работе бизнес процессов. Например: 1. если при доставке топлива от нефтебазы до АЗС произойдёт ситуация, когда на нефтебазе в бензовоз по показаниям автоматизированных средств измерения налили 20 тонн, а на АЗС по показаниям автоматизированных средств измерения слили в резервуары 17 тонн, система определит причины такого отклонения с учетом всех факторов хозяйственной деятельности нефтебазы, перевозки и АЗС и предложит набор корректирующих мероприятий.
      2. если в процессе доставки топлива до нефтебазы выявится ситуация ухудшения качественных характеристик в сравнении с требованиями ГОСТ, система выявит такое отклонение, определит возможные причины и предложит корректирующие мероприятия, направленные на предотвращение дальнейшей реализации некачественного топлива.
      3. если в процессе хозяйственной деятельности на любом из активов цепочки поставок выявится ситуация системного отклонения параметров регистрации операций движения, например в резервуарах (по 4-м параметрам: объём, плотность, температура, масса нефтепродуктов) система определит причину такого отклонения (с учетом всех приходных и расходных операций) и предложит мероприятия по техническому обслуживанию измерительных систем резервуарных парков, включая факторный анализ корректности составления градуированных характеристик на каждый резервуар.

      • Михаил Петров Александр
        Рейтинг: 756
        Счетная палата Российской Федерации
        Директор департамента цифровой трансформации
        22.12.2021 22:06

        понятно, спасибо за ответ!

  • Максим Часовиков
    Рейтинг: 2234
    Центр цифровой экономики МГУ
    Ведущий специалист
    22.12.2021 19:34

    Добрый день! общая погрешность измерений в топливораздаточной колонке составляет около 1%. По сути - это все накопленные потери и накопленная неточность всей технологической цепочки от скважины до конечного потребления. Есть ли прогноз, как может измениться этот процент, благодаря Вашему решению?

    • Александр Кузнецов Максим
      Рейтинг: 82
      ПАО "Газпром нефть"
      Начальник управления событиями в операционной деятельности ЦДС (БЛПС)
      22.12.2021 20:52

      Добрый день!

      Спасибо за интерес к нашему проекту. Наше комплексное решение сокращает общий процент потерь по цепочке с 1 до 0,5%.

      • Максим Часовиков Александр
        Рейтинг: 2234
        Центр цифровой экономики МГУ
        Ведущий специалист
        22.12.2021 21:06

        Спасибо большое за быстрый ответ, двукратное снижение потерь - это точно хороший результат

  • Виктор Булгаков
    Рейтинг: 175
    ООО Gridfore
    Директор по развитию бизнеса
    27.12.2021 16:18

    Поздравляю с реализацией достойного проекта!
    Оценил годовой эффект – это весомо, отличная экономика!
    Уточните пожалуйста: с вашей экономикой вполне можно было бы сфокусироваться на in-memory аналитике с обеспечением гарантированной скорости расчета и обеспечить еще большую оперативность, как вы собираетесь в дальнейшем развивать решение?

  • Александр Кузнецов
    Рейтинг: 82
    ПАО "Газпром нефть"
    Начальник управления событиями в операционной деятельности ЦДС (БЛПС)
    27.12.2021 19:30

    Виктор, спасибо за обратную связь и интересный вопрос. На текущий момент мы создавали и развивали сервисы системы с точки зрения инструментов поддержки принятия решений на основе данных, которые формируются с определённым запаздыванием внутри суток в часах. Например, материальный баланс нефтебазы на момент закрытия смены составлен из операций за последние 8 часов работы и точка анализа и принятия решения именно материальный баланс. Для таких сервисов применяемые нами инструменты дают хорошую производительность и скорость расчетов, потоковая обработка не требуется. Но в процессе внедрения у нас становится все больше кейсов, в которых нужна обработка данных на лету. Мы накопили и обобщили такие кейсы и уже реализуем их на технологии Spark structure streaming.

  • Дмитрий Турчановский
    Рейтинг: 1020
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2022 18:09

    Добрый день, интересный проект, указанные вами эффекты впечатляют. При этом хотелось уточнить какие показатели использовались для подтверждения повышения оперативности принятия управленческих решений. Какие решения использованы для создания дашбордов, не совсем понял какое из текущей линейки. Указано, что система работает по всей территории России и получается круглосуточно, подскажите как организовано технологическое окно для обновления системы с учетом данного фактора?

    • Александр Кузнецов Дмитрий
      Рейтинг: 82
      ПАО "Газпром нефть"
      Начальник управления событиями в операционной деятельности ЦДС (БЛПС)
      08.01.2022 19:04

      Дмитрий, здравствуйте!

      Оперативность принятия управленческих решений мы оценивали исходя из нескольких показателей:
      1. Время реакции на отклонение по количеству / качеству. По данному показателю система выявляет и требует отработки отклонений в темпе с производством до закрытая сменной отчетности тем самым минимизирует количество отклонений, которые влияют на закрытие бухгалтерской и налоговой отчетности по итогам работы за месяц.
      2. Время, затрачиваемое на проведение расследований по качеству и количеству. Здесь система помогла специалистам всю необходимую информацию и аналитики иметь сразу под рукой. В большинстве случаев мы отменили комиссионные мероприятия и выезды комиссий для проведения расследований.
      3. Время реакции на прогнозные отклонения по качеству. Здесь система настроена на мониторинг нормативных запасов по качеству на всех участках цепочки и мы в предиктивном режиме перестраиваем при необходимости производственные процессы на заводе или нефтебазе для предотвращения непроизводственный простоев.
      Для аналитики и дашбордов используем решение собственной разработки в веб-приложении, frontend часть которого реализована на фреймворке angular. Многие элементы инфографики базируются на open source библиотеке Apache Echarts, которые кастомизированы в соответствии с guide book Компании. Обновление Системы осуществляется в нерабочее время пользователей, после 19:00 МСК, когда сотрудники самого западного региона РФ заканчивают свою работу. Часто происходит релиз инкремента фич и багфиксов и благодаря использованию Docker контейнеров, деплой веб приложения в данных случаях на продуктивную среду (после нескольких циклов тестирования) занимает менее минуты, создавая условия для непрерывной работы пользователей.

Год
Предметная область
Отрасль
Управление