Сервис интеграции и анализа данных

Заказчик:

ПАО "Газпром нефть"

Руководитель проекта со стороны заказчика

Андрей Белевцев

Старший вице-президент, главный технический директор, руководитель блока «Технологическое развитие»

Поставщик

ООО "Газпромнефть - Цифровые решения"

Год завершения проекта

2020

Сроки выполнения проекта

Июнь, 2018 - Декабрь, 2020

Масштаб проекта

40000 человеко-часов

Цели

Создание технологического сервиса интеграции и анализа данных для массового сбора, хранения, последующей обработки и трансформации разнородных данных (структурированных и неструктурированных) вне зависимости от их источника и реализации аналитических задач различного уровня сложности в целях:

Сокращения времени вывода продукта (Time to market) за счет акселерации инициатив по анализу данных, быстрого выделения ресурсов управления данными, переиспользования данных и доступных инструментов ETL;
Сокращения стоимости инициатив за счет переиспользования данных, эффективного использования инфраструктуры и ПО, и «единого окна» по работам.

Уникальность проекта

Линейная масштабируемая архитектура с использованием импортонезависимых компонентов.
Разработка фреймворков динамической загрузки данных из систем источников как в пакетном режиме, так и в режиме близком к реальному времени.
В разнородной многокомпонентной платформе реализованы механизмы ИБ, в том числе с межкомпонентной аутентификацией с применением протокола Kerberos.
Реализуется внедрение модели управления доступом на основе атрибутов данных.
Наполнение Сервиса разнородными данными из более чем 20 внутренних и внешних систем-источников данных компании.
Создание Центра компетенций по сопровождению и развитию технологий работы с BigData.

Использованное ПО

Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Informatica DEI/PC, PostgresPro,Серверы Lenovo (ThinkSystem SR650), блейд система Huawei (E9000) и сервера CH121 V5, СХД (OceanStor 5500 v5 и 6800 v5), Nvidia Tesla v100.

Сложность реализации

Узкая и дефицитная экспертиза внутри компании и на рынке.
Сложный многокомпонентный технологический стек.
Многоуровневое и объемное межпроектное взаимодействие внутри группы компаний.
Сложные интеграционные потоки, необходимость доработок на стороне источников-данных.

Описание проекта

Реализация общедоступного промышленного линейно-масштабируемого ИТ-решения в периметре ПАО «Газпром нефть», для массового сбора, хранения и последующей трансформации разнородных данных вне зависимости от их источника, включая возможность формирования кросс-функциональной отчетности на уровне всех подразделений ПАО «Газпром нефть» и ее дочерних предприятий.

Проект реализуется с 2018 года в соответствии со стандартами управления ИТ-проектами с использованием гибких методологий. За три года ведения проекта реализованы основные задачи по разработке и внедрению функционала. В настоящее время ИТ-решение проходит ОПЭ. Проект и ИТ-решение включены в программу компании по созданию единой Цифровой платформы. По итогам реализации проекта запланирована передача ИТ-решения на сервис и последующее развитие функционала.

География проекта

Платформа предназначена для использования как в ПАО «Газпром нефть», так и всех ее дочерних обществах.