Внедрение корпоративной платформы управления данными (RHD) «Газпром нефти»

Заказчик
ПАО "Газпром нефть"
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО "Газпромнефть - Цифровые решения", ЗАО "Крок инкорпорейтед"
Год завершения проекта
2020
Сроки выполнения проекта
Сентябрь, 2018 - Декабрь, 2020
Масштаб проекта
82000 человеко-часов
Цели
Стратегия «Газпром нефти» предполагает трансформацию в компанию, управляемую на основе данных и цифровых двойников, что требует внедрения эффективных процессов Data Governance. В рамках проекта RHD реализуется комплекс инструментов DG/DM, обеспечивающих:
  • Прозрачность данных за счет создание единого источника информации и правил управления данными группы «Газпром нефть», быстрого поиска по данным;
  • Единое понимание данных (терминологии, взаимосвязей между бизнес-терминами/показателями и источниками данных, методологии расчетов/трансформаций, формирование data lineage);
  • Быстрый доступ к данным и data- сервисам за счет реализации единой точки доступа к глоссарию, каталогу данных, аналитической отчетности, порталу самообслуживания;
  • Доверие к данным за счет внедрения средств контроля качества данных, инцидент- и проблем-менеджмента;
  • Цифровое представление бизнес-процессов за счет внедрения моделей данных;
  • Повышение аналитичности данных за счет внедрения инструментов self-service BI.

Уникальность проекта

Общекорпоративный уровень проекта. Задачей проекта является обеспечение бизнесу оперативного доступа к данным всей группы компаний, включая исчерпывающую информацию по всем бизнес-блокам и функциональным направлениям компании.

Внедрение инструментов работы с данными в производственной компании со сложным, разнородным ИТ ландшафтом. Реализуется интеграция как с аналитическими платформами и системами класса RDM/MDM, хранилищами/озерами данных и BI, так и со всем спектром исходных систем ГК, которые содержат критичные для бизнеса данные. Это обеспечит максимально широкий охват описываемых данных и потоков.

Уникальная ролевая модель доступа к данным на базе доменной модели ответственности за данные. На базе полученного описания всего спектра данных будут в последующем предоставляться права доступа.

Модульная, расширяемая по функциональности архитектура по принципу «best in class», в перспективе позволяет масштабировать функционал и реализовывать стратегию импортозамещения.
Использованное ПО

Store and Compute, DBMS: Arenadata DB, Arenadata Hadoop, PostgresPro, MS SQL Server

Интеграция: Informatica PowerCenter

Data Quality: Informatica DQ

Metadata Management: Informatica Enterprise Data Catalog

Моделирование данных: SAP PowerDesigner, ARIS

Business Intelligence: Qlik

Бизнес-глоссарий, каталог данных: Alteryx Connect

In-house разработка: Java, Spring, Angular


Сложность реализации
  1. Необходимость детальной проработки единой методологической базы компании по процессам управления данными, автоматизация которых реализуется средствами программного комплекса. В рамках проекта разработаны регламенты и методические указания по процессам управления данными, на базе них сформированы требования к объектам системы-артефактам, настроены процессы и роли участников как в рамках проектной, так и сервисной деятельности УпД.
  2. Сложности в технической реализации интеграций с информационными системами, которых в целом в группе компаний насчитывается более тысячи, необходимость учета специфики информационных систем (вплоть до версии платформы).
  3. Организационный масштаб предполагает тиражирование проекта в большое количество бизнес-подразделений и функций, обучение пользователей, интеграцию в операционные и ИТ процессы компании.
Описание проекта

В соответствии с целями стратегии 2030 «Газпром нефть» стремится стать мировым лидером по эффективности, безопасности, технологичности. Для этого внедряются передовые цифровые технологии, позволяющие работать с колоссальными объемами информации, извлекать максимальную ценность из данных как стратегического актива, критичность которого для принятия бизнес решений и реализации цифровых программ растет с каждым годом.

Ключевую роль в достижении этих целей выполняет внедряемая корпоративная платформа управления данными (RHD). Reporting HelpDesk является программным комплексом, состоящим из нескольких компонентов, обеспечивающих основные процессы управления данными: описание/каталогизацию, оценку качества, моделирование, анализ данных (включая self- service BI). Frontend комплекса - система Alteryx – в интеграции с другими модулями сводит воедино описание используемых в компании данных как на бизнес, так и на техническом уровне по таким разделам, как:

  • Домены данных (определяют структуру ответственности за данные в организации);
  • Бизнес-глоссарий (унифицирует бизнес-терминологию данных);
  • Критичные элементы данных (фиксируют спрос на данные, максимально раскрывают связи между элементами для облегчения поиска);
  • Отчеты/аналитические приложения и справочники (определяют аналитический потенциал данных);
  • Каталог технических метаданных и потоки (data lineage) (формирует полное понимание потоков данных и их трансформации);
  • Мониторинг качества данных (определяет уровень ценности данных и возможности использования для целей бизнес-, продвинутой аналитики и моделей искусственного интеллекта).

Реализация механизма самостоятельного построения аналитических приложений в связке с поиском по данным каталога и моделям данных позволяет существенно сократить время на принятие решений на основе данных. Бизнес- и технический каталог данных также обеспечивает быструю скорость разработки моделей ИИ, при этом обеспечив фундамент в виде достоверных данных.

Поддержка функционала инцидент- и проблем- менеджмента качества данных позволяет технологически и организационно существенно повысить потенциал использования данных в принятии решений. Реализованный в системе функционал моделирования данных в дальнейшем предполагается развить до интегрированной общекорпоративной модели данных; в интеграции с корпоративным поиском он является базисом для формирования цифровых двойников процессов и эффективного внедрения «цифровых помощников аналитиков (ЦПА)» (обеспечение быстрого поиска и доступа по неструктурированному запросу).

В перспективе платформа Управления данными позволит дополнительно внедрить автоматизированные алгоритмы анализа ситуаций и принятия решений.

Таким образом, платформа поможет бизнесу упростить доступ к информации для принятия управленческих решений, повысить ее качество, создаст единое понимание и методологию работы с данными, обеспечит поддержку цифровой трансформации компании.

Видео: https://disk.yandex.ru/i/VwJaj7EO4eQkxw

География проекта
Пользователями программного комплекса RHD являются потенциально все сотрудники компании, выполняющие бизнес-задачи в корпоративных автоматизированных системах. Поэтому география проекта охватывает все регионы присутствия ПАО «Газпром нефть» в Российской Федерации и ряде иностранных государств.
Дополнительные презентации:
GlobalCIO_Проект года_2020_ГПН_RHD_детальная презентация_v3.1.pdf
Коментарии: 124
  • Борис Емельянов
    Рейтинг: 7
    ПАО Ростелеком
    Директор направления
    23.11.2020 18:26

    Добрый день!

    Расскажите, пожалуйста, про инфраструктуру решения:
    1. Размещен ли проект on-premises, или в облачной инфраструктуре? Если облака вы еще не используете, то есть ли в планах пилотирование облачных решений под задачи работы с данными?
    2. Как распределены задачи хранилища между кластерами Hadoop и Greenplum? Чем вызвана необходимость одновременного наличия двух этих относительно близких технологий в стеке?

    • Дмитрий Куртов Борис
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      19.12.2020 18:52

      Добрый вечер, Борис!

      1. Продукты платформы RHD размещены в Private Cloud. Пилотирование внешних облачных решений мы не рассматриваем. Одна из причин этого решения – работа с чувствительной информацией, которая, согласно ограничениям со стороны службы безопасности, не может быть размещена за пределами корпоративной сети

      В 2021 и последующие годы продолжится развитие платформы управления данными (RHD), которое будет включать расширение стека программных продуктов для решения новых задач. Внедрение новых продуктов будет выполняться также в рамках Private Cloud

      2. Hadoop и Greenplum.

      Несмотря на то, что эти системы схожи тем, что представляют возможность реализации массово-параллельной архитектуры для хранения и аналитической обработки больших данных (MPP), в рамках задач, реализуемых на нашей платформе, мы видим оптимальным разделять их по типам хранимых и обрабатываемых данных

      На аналитическую, распределенную СУБД Greenplum (Arenadata DB) в первую очередь ложится основная нагрузка по преобразованиям структурированных данных и представлению конечных пользовательских витрин для BI, выполнения ad-hoc анализа в CУБД и организации «магазина данных» (Data Market) на портале УпД

      В отношении же таких данных, например, как потоковые или слабоструктурированные, хранение, обработка и преобразование выполняется в экосистеме Hadoop, которая предназначена в бОльшей степени как раз для выполнения операций со слабоструктурированными и неструктурированными данными

      Один из примеров реализуемых в настоящий момент задач – использование платформы для сейсмического архива. В рамках этой задачи рассматривается хранение слабоструктурированных сейсмических данных в Arenadata Hadoop, структурированных данных в Arenadata DB, метаданных в корпоративном каталоге данных.

  • Алексей Проскурнин
    Рейтинг: 17
    ПАО Ростелеком
    Директор направления
    27.11.2020 15:45

    Добрый день!

    Очень сложный и интересный проект.

    Подскажите, пожалуйста, в части контроля качества данных:

    1) Каким образом удалось выявить требования, чтобы сформировать в системе:
    а) Критичные элементы данных, которые в первую очередь должны быть описаны.
    б) Проверки качества данных.

    2) На какой из продуктов и технологий ложится основная нагрузка по выполнению проверок качества (кластеры БД или сервера Informatica)?
    Вопрос связан с тем, что при реализации проверок ККД на ресурсах хранилища данных, как правило, возникает необходимость установить распределение нагрузки между собственно ETL-процессами и выполнением проверок.

    Спасибо!



    • Дмитрий Куртов Алексей
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      19.12.2020 19:10

      Добрый вечер, Алексей!

      1.а) В процессах управления данными «Газпром нефть» в первую очередь именно бизнес определяет какие элементы рассматриваются критичными с точки зрения эффекта на принятие управленческих решений, формирования отчетности, выполнения анализа

      Критичные элементы данных (далее КЭД) формируются на основании анализа потребности данных в рамках предметных областей. Предметные области объединены в домены данных. В отношении и первых, и вторых, а также отнесенных к ним элементов данных в бизнес-подразделениях формируются специальные роли: администратор домена, ответственный за домен, ответственный за данные, бизнес-эксперт предметной области, потребитель

      КЭД главным образом выявляются в рамках постановки на реализацию витрин данных, отчетов, BI дашбордов, при разработке бизнес-требований проверки качества данных, в ходе анализа результатов исследования систем-источников и в результате каталогизации данных с последующим построением транзитивных связей тех метаданных с бизнес-терминами через КЭД

      1.б) В соответствии с разработанными в Компании процессами, по запросу от потребителя данных аналитик по качеству данных формирует Бизнес-требования к качеству данных (далее БТ). При этом используется имеющиеся в репозитории КЭД или формирует запрос на создание новых. Таким образом процессы определения КЭД и проектирования проверок качества данных тесно связаны

      В отношении одного КЭД количество БТ не ограничено. Каждое БТ может быть декомпозировано на несколько бизнес-правил проверки КД, которые по сути являются уже постановкой на реализацию в Informatica Data Quality. Обратная связь о метриках качества данных собирается и представляется бизнесу в такой же понятной для потребителя данных группировке: КЭД, БТ, БП

      2) Кластеры БД, в рамках которых размещены проверяемые данные, обслуживают только нагрузку по извлечению и представлению данных для IDQ. Т.к. проверяемые данные представлены в том числе посредством VIEW, то соответственно эта «нагрузка» включает объединение данных из разных таблиц, преобразования и группировку, выполняемые в рамках этих представлений

      Основная же нагрузка по выполнению непосредственно проверок качества данных ложится на Informatica Data Quality. По завершении исполнения оценки качества детальные и агрегированные результаты сохраняются в БД хранилища качества данных

      Т.к. для задач управления качеством данных планируется широкое использования специально созданных отдельных представлений, то мы можем говорить о гибридном подходе в реализации процедур ККД с распределенной нагрузкой, часть которой ложится на кластеры Arenadata DB, часть на IDQ

      Касаемо вопроса распределения нагрузки между ETL-процессами и выполнением проверок.

      Процессы по извлечению, преобразованию и загрузке в хранилище данных выполняются отдельным продуктом, Informatica PowerCenter (BDM). В случае с Informatica PwC – это отдельная инфраструктура, которая занимается только процессами ETL и не дает параллельной нагрузки на подсистему ККД

      Причем Informatica BDM переиспользуют также ресурсы Hadoop, где, собственно и выполняются отдельные задачи. Таким образом мы имеем две независимые подсистемы ETL и ККД, которые не создают друг другу дополнительной нагрузки, но объединены общим расписанием

  • Алексей Ильин
    Рейтинг: 25
    Adastra
    Генеральный директор
    20.12.2020 15:33

    Расскажите, пожалуйста, про выбор инструментов в части управления метаданными. Почему выбрали комбинацию из двух инструментов и как выбирали оптимальное для вас решение. Также интересно, используете ли выбранные инструменты для анализа потоков данных (data linage)?

    • Наталья Третьякова Алексей
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      22.12.2020 11:56

      Добрый день, Алексей!
      Рассматривались изначально лучшие в своем классе инструменты. Свой выбор целевых инструментов остановили на Alteryx Connect и Informatica Enterprise Data Catalog. Последующие пилотные испытания верность этого выбора полностью подтвердили

      • Алексей Ильин Наталья
        Рейтинг: 25
        Adastra
        Генеральный директор
        22.12.2020 11:58

        Уточните почему выбрали комбинацию именно этих решений? Чем обусловлен этот выбор?

        • Дмитрий Куртов Алексей
          Рейтинг: 243
          ПАО «Газпром нефть»
          Руководитель направления архитектуры данных Управление по организации работы с данными
          22.12.2020 12:04

          1) Alteryx Connect, как приложение для Бизнес-Глоссария, предоставляет наибольшую гибкость для настройки сложной модели метаданных с различными взаимосвязями;
          2) Informatica EDC в свою очередь предоставляет наиболее широкие возможности для сканирования и анализа различных источников технических метаданных
          Анализ потоков данных (ETL), сканирование каталога данных БД систем-источников выполняется посредством EDC. Далее из репозитория EDC метаданные, необходимые для предоставления пользователя Бизнес-глоссария, передаются в Alteryx Connect.

          • Андрей Бабуров Дмитрий
            Рейтинг: 10
            ООО Адастра
            Ведущий консультант
            22.12.2020 12:18

            Поясните в каком из этих инструментов формируются/демонстрируются потоки данных (data lineage)?

            • Наталья Третьякова Андрей
              Рейтинг: 595
              ПАО «Газпром нефть»
              Начальник управления организации работы с данными
              22.12.2020 12:23

              Из репозитория EDC передаются в Alteryx Connect как раз метаданные, необходимые для отражения ключевых «точек» Data Lineage. При этом выполняется передача только тех данных, которые необходимо для построения не детальных (как это необходимо для технических специалистов), а обобщенных Data Lineage, т.к. бизнес-пользователям корпоративного бизнеса-глоссария не требуется детальная информация о трансформациях и использовании промежуточных или служебных структурах данных, которые задействованы в ETL процессах, чтобы не перегружать инструмент для бизнеса излишней тех информацией

              • Алексей Ильин Наталья
                Рейтинг: 25
                Adastra
                Генеральный директор
                22.12.2020 13:15

                Поясните пожалуйста, используется ли получаемый Data Lineage в Alteryx Connect бизнес-экспертами, кому скорее интересны связи между элементами бизнес-глоссария? Есть ли возможность визуализировать отдельные Data Lineage для бизнес-экспертов и отдельно для Аналитиков, кому важно ознакомиться с родословной данных (происхождением)?

                • Наталья Третьякова Алексей
                  Рейтинг: 595
                  ПАО «Газпром нефть»
                  Начальник управления организации работы с данными
                  22.12.2020 14:20

                  Да, конечно. Повторюсь, в Alteryx Connect передаются уже отфильтрованные данные, чтобы формировать в инструменте Data Lineage, не перегружая излишней детальной технической информацией.

                  Более того, предоставляется возможность настройки различных режимов отражения Data Lineage для разного круга пользователей. Например, для бизнес-экспертов можно настроить отражение только [бизнес-термин] – [КЭД] - [элемент отчета]. Для аналитиков в бизнес-подразделениях построить Data Lineage из «точек»: [бизнес-система источник] – [витрина данных] – [отчет], минуя и в этом случае ODS и DDS. Для аналитиков по данным показать в Alteryx Connect полную цепочку происхождения и использования данных.

                  И наконец, для системных аналитиков и разработчиков доступна полная исходная версия, совершенно все детали в репозитории EDC

  • Юрий Кочубеев
    Рейтинг: 30
    ООО Mail.ru
    Архитектор
    20.12.2020 16:01

    Помогите пожалуйста понять каким образом у вас построена работа с построением DataLineage?

    Какой процент кейсов выстраивается автоматически, и наcколько требуется ручное документирование Lineage?

    Например, у вас имеются сложные правила транcформации данных, которые, могут использовать сложные парсинги текстовых полей данных, или даже использовать модели машинного обучения, для осуществления преобразования данных.

    Как в таких случаях может быть построен и документирован Lineage?

    • Наталья Третьякова Юрий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      27.12.2020 21:54

      Добрый вечер, Юрий!
      Касаемо того, посредством каких именно инструментов построена работа по формированию и отражению DataLineage, поясняется в предоставленных выше ответах на вопросы Алексея о причинах использования и продукта EDC, и Alteryx Connect.

      Если кратко, анализ потоков данных, сканирование систем-источников выполняется инструментом Informatica EDC. С полученным результатом в EDC работают аналитики по данным, системные аналитики, кому необходима первичная неотфильтрованная информация о сканируемых объектах и трансформациях.
      Для отражения DataLineage пользователям бизнес-глоссария (бизнес-эксперты, аналитики в бизнес-подразделениях) используется исключительно Alteryx Connect. С учетом категории пользователей Alteryx Connect в этот инструмент передается только те метаданные, которые необходимы для DataLineage, отражаемых бизнес-пользователям.

      Но EDC – не единственно возможный источник технических метаданных, загружаемых в Alteryx Connect для отражения DataLineage. Как вы совершенно справедливо заметили, есть ситуации, когда только при непосредственном участии специалистов возможно получить полную информацию о череде операций и самих операциях, достаточную для построения всей цепочки копирований и преобразований. В таких случаях используются S2T (source to target), подготавливаемые системными аналитиками.

      «Процент кейсов» выстраивания полностью автоматически DataLineage значительно варьируется в отношении разных потоков в зависимости от многих факторов. Помимо приведенных вами примеров к ним также относятся: выбор ETL инструмента, использование одного или нескольких ETL продуктов, степень использования в ELT процессах хранимых процедур, представлений, функций, соответствие методике собственно самих подходов в разработке ETL и т.п.

      Таким образом возможность подобного использования S2T для восстановления «потерянных» звеньев во всей цепочке трансформаций отдельного элемента является весьма эффективным решением. Причем оно в одних кейсах используется как временное, в других как целевое.

      • Юрий Кочубеев Наталья
        Рейтинг: 30
        ООО Mail.ru
        Архитектор
        27.12.2020 22:42

        Большое спасибо за подробный ответ.
        Не могли бы вы рассказать в какой из озвученных вами инструментов подгружаются подготовленные вручную S2T.
        И было бы очень интересно понять как примерно выглядят такие ручные S2T для сложных кейсов, с применением моделей машиннного обучения? Например, я готовлю некоторый набор скоринговых полей, на основе отработки довольной сложной нейронной сети?

        • Наталья Третьякова Юрий
          Рейтинг: 595
          ПАО «Газпром нефть»
          Начальник управления организации работы с данными
          06.01.2021 09:27

          S2T загружается в Alteryx Connect. Было принято решение не загружать карты S2T в EDC с последующей выгрузкой этой информации в Alteryx уже в общем потоке загрузки метаданных. Такой сценарий усложняет процесс и при этом не дает явных дополнительных «плюсов»

        • Дмитрий Куртов Юрий
          Рейтинг: 243
          ПАО «Газпром нефть»
          Руководитель направления архитектуры данных Управление по организации работы с данными
          08.01.2021 03:43

          Юрий, спасибо за вопрос про S2T для сложных кейсов. Это действительно интересная задача, с которой нам предстоит обязательно справиться.
          Причем вопрос получения набора скоринговых полей будет решен совместно нашей командой и Data Scientists, а непосредственно разработка подхода формирования верхнеуровневого доступного для понимания неискушенных бизнес-пользователей описания алгоритма получения данных (DataLineage) в подобных кейсах будет выполнена отдельно командой Управления Данными. Пока же на настоящий момент для нашей команды, не будем скрывать, это задача относится к перспективным

          • Юрий Кочубеев Дмитрий
            Рейтинг: 30
            ООО Mail.ru
            Архитектор
            08.01.2021 13:39

            Дмитрий, спасибо большое за ваш ответ, да задача не из тривиальных, с интересом буду следить за вашими подходами к её решению. Неудачные попытки кстати тоже будут весьма интересны - всё таки, область ещё очень неизведанная, и любой опыт бесценен!
            Подскажите пожалуйста ответ на ещё один вопрос:
            Предполагается ли использование машинного обучения непосредственно для задач Data Governance?

            • Дмитрий Куртов Юрий
              Рейтинг: 243
              ПАО «Газпром нефть»
              Руководитель направления архитектуры данных Управление по организации работы с данными
              08.01.2021 21:43

              Да, конечно. В рамках следующего этапа проекта RHD машинное обучение будет уже достаточно широко применяться в задачах DG. Например, для выявление в ходе каталогизация данных соответствий новых объектов технических метаданных с ранее созданными КЭД, определение принадлежности элементов данных к КТ или ПДн, и пр.

  • Андрей Бабуров
    Рейтинг: 10
    ООО Адастра
    Ведущий консультант
    21.12.2020 10:02

    Расскажите, пожалуйста, какие виды метаданных вы описываете в Бизнес-Глоссарии? Только термины или что-то еще? Интересует насколько гибко можно конфигурировать выбранное ПО для Бизнес-Глоссария.

    • Наталья Третьякова Андрей
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      23.12.2020 14:29

      Добрый день, Андрей!
      В самом описании проекта уже говорится о том, что в Alteryx Connect (frontend комплекса) представлено описание данных по ряду разделов. Они же отдельные виды метаданных.
      - Домены данных с ролевой моделью (организационные метаданные, обеспечивающие назначение ответственных за данные);
      - Термины (бизнес-определения);
      - Критичные элементы данных;
      - Каталог технических метаданных (описание объектов реляционных БД, NoSQL БД, файлов, BI отчетов, потоков данных);
      - Бизнес-правила качества данных, а также технические проверки, соглашения о качестве данных
      Это основные разделы

    • Андрей Бабуров Андрей
      Рейтинг: 10
      ООО Адастра
      Ведущий консультант
      23.12.2020 14:44

      Позволяет ли Бизнес-Глоссарий самостоятельно проектной команде создавать дополнительные служебные справочники? Если да, можно ли эти справочники обновлять из внешних для БГ информационных систем, из корпоративного RDM?

      • Наталья Третьякова Андрей
        Рейтинг: 595
        ПАО «Газпром нефть»
        Начальник управления организации работы с данными
        23.12.2020 16:11

        Да, конечно. В ПО Бизнес-Глоссарий (Alteryx Connect) представлена сопутствующая справочная информация, необходимая для дополнительного описания данных. А именно, справочники:
        - бизнес-процессы;
        - нормативные документы;
        - проекты;
        - ЗНИ;
        - бизнес-решения и бизнес-системы;
        - дочерние общества;
        - список сотрудников;
        - реестр корпоративных справочников;
        - единиц измерения;
        и др.

        Как пример, при заполнении карточки показателя из соответствующих справочников указываются: единица измерения, регулирующий нормативный документ, бизнес-процесс, ФИО аналитика по данным и т.д.

        Alteryx Connect интегрируется с другими бизнес-системами для автоматического обновления справочников. Включая все вышеперечисленные.

  • Константин Карнаухов
    Рейтинг: 52
    ПАО Магнит
    Руководитель управления аналитической отчетности
    21.12.2020 10:41

    Добрый день. Расскажите, пожалуйста, как организован self-service BI? какие системы задействованы, какой основной сценарий использования пользователями? Есть ли понимание в каком направление будете развивать данное направление? Сколько ориентировочно пользователей должно быть в целевом варианте?

    • Наталья Третьякова Константин
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      24.12.2020 00:50

      Для SelfServiceBI за основу взят QlikSense.Ключевым сценарием использования SS BI мы в первую очередь видим сценарии проверки гипотез и быстрой разработка прототипов. Драйвером этих сценариев будет в том числе возможность оперативного получения доступа к необходимым данным.

      По итогу анализа данных, подтвердив гипотезу, далее разработав прототип, задействуя различные способы визуализации, пользователь может сохранить результат для собственного использования или на базе прототипа подготовить детальную постановку на разработку целевых аналитических приложений, если посчитает необходимым тиражировать свои опыт и результат внутри Компании.

      Причем, и разработка прототипа будет возможной за непродолжительное время, и разработка целевых дашбордов займет на порядок меньше времени, нежели разрабатывать постановку и выполнять реализацию с «чистого листа».

      В целевом варианте, потенциальное количество пользователей будет стремительно расти. Сейчас же, на стадии только зарождения культуры массового использования SS BI, мы ориентируемся на подключение 50-100 пользователей в ближайший год

    • Константин Карнаухов Константин
      Рейтинг: 52
      ПАО Магнит
      Руководитель управления аналитической отчетности
      24.12.2020 09:57

      Одним из ключевых вопросов при реализации SelfService BI является защита конфиденциальной информации. При этом, с условием ее доступности для SS BI пользователей, которым согласован к ней доступ. Этот вопрос вами уже решен? Если да, то каким образом?

      • Наталья Третьякова Константин
        Рейтинг: 595
        ПАО «Газпром нефть»
        Начальник управления организации работы с данными
        24.12.2020 10:03

        Подключение к источникам через BI настроено посредством SSO. Это позволяет не только избавить пользователя от дополнительных вводов паролей (витрины могут быть развернуты в рамках разных ХД), но и предоставлять доступ к данным в конкретном источнике в соответствии с полномочиями его единой личной учетной записи собственно в рамках этого источника.

      • Дмитрий Куртов Константин
        Рейтинг: 243
        ПАО «Газпром нефть»
        Руководитель направления архитектуры данных Управление по организации работы с данными
        06.01.2021 09:56

        Если необходимая пользователю конфиденциальная информация представлена в Хранилище Данных (например, коммерческая тайна), то доступ к ней очень прозрачно контролируются посредством ролевой модели доступа на базе доменов данных. Модель подразумевает присвоения данным соответствующих тэгов ИБ и предоставление доступа к тэгу конкретным бизнес-ролям.
        Эта же модель применяется для управления доступом и к ПДн. Но с учетом того, что персональные данные представлены в отдельной сертифицированной зоне.
        Более подробно о данной модели управления доступом к аналитическим данным можно ознакомиться ниже в ответах на вопрос Александра Адамова

    • Константин Карнаухов Константин
      Рейтинг: 52
      ПАО Магнит
      Руководитель управления аналитической отчетности
      24.12.2020 10:58

      Бизнес-подразделения больших компаний включают, как правило, достаточно большое количество аналитиков, для которых SS BI по роду выполняемых ими задач рассматривается очень привлекательным инструментом. Но компетенции у этих сотрудников разные. Качество результата самостоятельно выполненных работ может быть сомнительно. Особенно при первом опыте. А при решении сложных задач такой риск имеется в отношении практически всех. Вы каким-то образом способствуете решению этой проблемы?

      • Наталья Третьякова Константин
        Рейтинг: 595
        ПАО «Газпром нефть»
        Начальник управления организации работы с данными
        24.12.2020 11:39

        У нас нет планов минимизировать такие риски ограничениями пользователей. Наоборот, мы пропагандируем выполнение самостоятельно разработки прототипов и проверки гипотез. Для повышения качества результата таких работ в настоящий момент разрабатываем курсы. Сейчас параллельно разработке курсов прорабатываются варианты/способы повышения заинтересованности аналитиков и их руководителей в обязательном прохождении этих курсов

        Мы считаем, что именно эти меры должны стать ключом к решению обозначенного вами вопроса.

        Спасибо за интересный вопрос, Константин!

  • Рамиль Фасхитдинов
    Рейтинг: 5
    ООО Адастра
    Консультант
    21.12.2020 15:32

    Добрый день!
    Интересны кейсы и функционал, которые планируется выполнять с помощью In-house разработки. А также с помощью каких инструментов планируете в перспективе автоматизировать алгоритмы анализа ситуаций и принятия решений?

    • Наталья Третьякова Рамиль
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 23:07

      Рамиль, in-house разработка выполняется для создания дополнительных модулей, необходимых для реализации централизованного управления доступом к аналитическим данным посредством ролевой модели доступа.
      Ролевая модель, как уже описано выше, основана на базе доменной модели данных.

      В Alteryx Connect выполняется присвоение тэгов ИБ КЭДам и объектам технических метаданных. Результат этой работы будет предоставлен разрабатываемым модулям (in-house разработка) для применения в хранилищах данных и BI. Для каждого отдельного типа СУБД и BI разрабатывается отдельный модуль, выполняющий генерацию специфичных для этого продукта инструкций

  • Максим Андреев
    Рейтинг: 10
    ООО Разумное Расписание
    CEO
    22.12.2020 19:45

    Добрый день!

    Подскажите, пожалуйста, а какие-то средства для Self-service BI помимо Qlik рассматривались?

    Спасибо

    • Наталья Третьякова Максим
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      24.12.2020 10:43

      Добрый день, Андрей!
      На текущий момент в Компании для построения аналитической отчетности наиболее широко используется платформа Qlik, поэтому для реализации SS BI было принято решение использовать инструменты Qlik Sense.
      Использование других BI инструментов рассматривается в рамках проработки стратегии по импортозамещению.

    • Дмитрий Куртов Максим
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      06.01.2021 07:47

      На настоящий момент составляется short list рассматриваемых российских BI продуктов

    • Дмитрий Куртов Максим
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      06.01.2021 07:48

      В отношении этих продуктов в соответствии с планами проекта RHD будет проведен анализ на соответствие функциональным требованиям, проведено пилотирование. На основании его результатов стек BI продуктов нашей платформы будет расширен

  • Василий Долгов
    Рейтинг: 185
    VizorLabs
    Генеральный директор
    22.12.2020 22:50

    Как бывший руководитель ИТ - восхищаюсь проектом!
    И выглядит все круто. Я прекрасно понимаю сложности этого проекта и сложности его дальнейшей поддержки.
    Но есть вопросы уже как представителя российского ИТ сообщества:
    Почему в качестве BI не выбирались российские платформы, сейчас на рынке есть достойные представители.

    • Наталья Третьякова Василий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      24.12.2020 10:09

      Добрый день!
      Спасибо за высокую оценку проекта.
      В ГПН сейчас ведутся работы по исследованию российского рынка BI платформ, но в силу глубокой интеграции BI в рабочие процессы наших сотрудников, мы должны быть максимально уверены, что выбранное решение закроет все необходимые задачи и не усложнит работу наших коллег. Поэтому, такая работа уже ведется, но переход на другое BI решение будет достаточно длительным

    • Дмитрий Куртов Василий
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      06.01.2021 07:59

      В рамках работ по переходу на российские BI продукты проектной командой составлен short list рассматриваемых решений. При его составлении учитывается как опыт использования в ПАО «Газпром нефть», так и в других крупных российских компаниях, отзывы технических специалистов и конечных пользователей

  • Максим Сенин
    Рейтинг: 15
    ООО БиАй Консалт
    Разработчик BI
    23.12.2020 10:01

    Добрый день, Коллеги,

    Мы имеем более скромный опыт построения BI-решений, но тем не менее, видим, что в различных организация от малых до больших частой, если не сказать, что общей проблемой является переход от бизнес-терминологии и логики, источником которых являются бизнес-подразделения, к фактическим данным на уровне баз данных и/или систем, таблиц, полей, знаниями о которых в организациях в лучшем случае обладают ИТ-службы. Т.к. между первым и вторым имеется пробел, то выяснив у пользователей заказчика всю бизнес-логику порой очень не просто определить, какие именно данные нужно взять, чтобы данную логику реализовать. Исходя из состава целей вашего проекта, в результате его выполнения вы должны были получить картину, в которой связь между уровнями бизнес-логики и данных однозначно установлена с гарантией качества, что очень круто, учитывая гетерогенность ГПН (т.е. множество компаний с разными технологиями, системами, процессами).

    А вопрос такой - есть ли обратная связь по итогам выполненной работы от вашего проекта в части оптимизации существующей инфраструктуры ГПН (тех самых разрозненных технологий, системам и процессов)? Если есть, то какого рода, если можно пару-тройку примеров?

    Спасибо.

    • Наталья Третьякова Максим
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 20:43

      Максим, благодарю за вопрос. Действительно, вследствие масштаба компании возникает большое количество различных, порою конкурирующих технологий и сюит- систем, а процессы постоянно пересматриваются на предмет оптимизации.
      Считаем, что проект уже сейчас вносит определённую лепту в процесс унификации и это влияние будет только увеличиваться. В качестве примеров могу привести следующие: 1) организация отслеживания изменений в структурах баз данных, потоках данных, их анализа, обеспечения версионирования посредством единого инструментария; 2) регистрация и утверждение КПЭ показателей в бизнес-глоссарии с обязательным описанием методологии расчета (решение принято в блоке HR экспертным советом, включающим специалистов различных бизнес- блоков компании).

      Эти решения позволяют как раз унифицировать инфраструктуру, сформировать единые Центры Компетенций.
      Считаем такие примеры чрезвычайно важными, их число должно расти. Т.к. унификация инфраструктуры, переход на единый стек программных продуктов и технологий также приближает в том числе к цели получения действительно «единого источника правды».

  • Константин Карнаухов
    Рейтинг: 52
    ПАО Магнит
    Руководитель управления аналитической отчетности
    23.12.2020 16:20

    Приведите примеры настройки Бизнес-Глоссария под ваши задачи. Есть ли, например, возможность у администраторов решения самостоятельно настроить процесс согласования? Можно ли самостоятельно добавить формы регистрации нового типа метаданных?

    • Наталья Третьякова Константин
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      23.12.2020 16:36

      В БГ реализованы workflow согласования вносимых изменений. Причем они отличаются в зависимости от типа метаданных, т.к. реализованы в соответствии с регламентами и методическими указаниями, индивидуально разработанными для каждого типа (домены, КЭД, термины, правила КД и т.д.)

      Функциональные возможности Alteryx Connect предоставляет возможность при необходимости расширить модель метаданных для описания других типов. Выбранная платформа позволяет эти и ряд других изменений/настроек выполнять самостоятельно

  • Александр Заносиенко
    Рейтинг: 15
    ПАО "Газпром нефть"
    Руководитель программ развития цифровых компетенций
    23.12.2020 21:54

    Наталья, добрый вечер.
    Подскажите, пожалуйста, в чем уникальность по сравнению с решениями, которые уже на рынке существуют?
    Насколько данное решение конкурентоспособно, востребовано и экономически выгодно?
    Спасибо за ответ.

    • Наталья Третьякова Александр
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 19:17

      Александр, добрый день. Дело в том, что, как уже было сказано, RHD представляет не единственный продукт, а комплекс взаимосвязанных между собой, интегрированных программных решений. Можно с уверенностью сказать, что для обеспечения функциональных требований для реализации процессов управления данными единого продукта и не может быть, уж слишком широки эти требования.

      Как вы могли видеть из описания и презентации, существуют определенные функциональные модули, каждый из которых решает свою конкретную задачу. Экономическая эффективность решения подтверждалась на инвестиционной комиссии цифровой трансформации ГК ГПН. В целом хотелось бы отметить, что уровень эффективности конкурентоспособен с другими (в том числе не ИТ) проектами, согласно принципу ранжирования и распределения инвестиционного капитала Компании.

      В части уникальности хотелось бы отметить большой акцент на методологию, мы не ставили коробочное решение, под которое бы формировали процессы. Наш сценарий более сложный и, как нам видится, более жизнеспособный. Мы считаем, что пошли правильным путем, формируя методологию не под конкретный программный продукт, а под наши задачи. И соответственно под эти задачи дорабатывали инструментарий

  • Михаил Писарев
    Рейтинг: 15
    ООО Открытая мобильная платформа
    Коммерческий директор
    24.12.2020 13:26

    Добрый день.

    Интересный проект и интересная презентация (не очень она заметна на странице, но всем рекомендую её найти и посмотреть: https://globalcio.ru/upload/iblock/1db/1db7627c176618bd567da3c3f73256ae.pdf).
    Вопрос от производителя мобильной операционной системы Аврора: вы планируете предоставлять доступ к собранным данным с мобильных устройств?
    Если "нет" - почему?
    Если "да" - как думаете решать вопросы безопасного предоставления данных на мобильное устройство?

    С уважением,
    Михаил Писарев

    • Наталья Третьякова Михаил
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 23:33

      Добрый вечер, Михаил!
      Безусловно такая задача стоит перед нашей командой.
      В составе команды есть специалисты, уже имеющие опыт реализации предоставления доступа к BI с мобильных устройств. В том числе к отчетам, разработанным в Qlik. Доступ предоставлялся через тонкого клиента, через мобильные приложения вендора. В текущем году, задействуя эти компетенции, приступаем к реализации этой задачи, совместно с техническими архитекторами и конечно специалистами информационной безопасности

  • Андрей Ким
    Рейтинг: 15
    АО Ойлинвест
    Генеральный директор
    24.12.2020 14:45

    Добрый день!

    Уточните, пожалуйста:
    1. Как выстроена организационная структура для процессов управления данными? Сколько примерно аналитиков и специалистов от бизнеса и ИТ участвует в поддержке процессов?
    2. Как долго вовлекались сотрудники в новые бизнес-процессы управления данными и какие возникали сложности в применении новых методик и регламентов в организации?

    Спасибо.

    • Наталья Третьякова Андрей
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 18:57

      Добрый день, Андрей!

      Организационная структура в компании для процессов Управления Данными выстроена на базе DAMA DMBOK и опыта ведущих компаний в отрасли. Работа по поддержке, зоны ответственности аналитиков данных как от ИТ, так и бизнес-подразделений выстраиваются вокруг отдельного домена данных. Т.к. за отдельным доменом допускается закрепление более одного администратора, а также с учетом того, что в домене может быть зарегистрировано несколько предметных областей, за каждой из который закреплен отдельный ответственный бизнес-эксперт, то в среднем с одним доменом данных работает от 4-х до 10-ти аналитиков.

  • Елена Багинская
    Рейтинг: 10
    ООО ИК Сибинтек
    Аналитик
    24.12.2020 16:32

    Добрый день.

    Расскажите, пожалуйста, как организовано внедрение в бизнес, как удается донести бизнесу ценность и необходимость внедрения подходов управления данными?

    И какие методы используются для мотивации сотрудников на следование данному подходу?

    • Наталья Третьякова Елена
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 16:53

      Добрый день, Елена!

      В рамках дорожной карты развития управления данными в группе компаний Газпромнефть параллельно внедрению инструментов УпД реализуется также отдельно портфель проектов по реализации пилотных доменов данных (более 7 проектов, как в бизнес блоках, так и в корпоративных функциях), в рамках которых с учетом специфики предметной области каждого домена применяются те или иные инструменты. Примеры использования тиражируются далее, сейчас на очереди 2 волна внедрения, в рамках которой планируется охватить до 40% доменов данных. Таким образом, внедрение идёт постепенно, ценность обосновывается на конкретных примерах и кейсах.

      Основной используемый метод мотивации – демонстрация реальных примеров повышения эффективности работы с данными. Полученные опыт, результаты демонстрируются непосредственно теми бизнес подразделения, которые уже прошли первую практику реализации процессов Управления Данными, тем подразделениям, которым только предстоит получить этот опыт, в процессе специальных семинаров - Live Cases

  • Ольга Тимашева
    Рейтинг: 7
    АО ГазпромБанк
    Начальник управления
    24.12.2020 23:02

    Добрый вечер!Скажите, пожалуйста, есть ли возможность использования различных инструментов мониторинга качества данных?

    • Наталья Третьякова Ольга
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      06.01.2021 09:10

      В ГПН используются различные инструменты мониторинга качества данных. Поэтому контроль качества данных в рамках платформы RHD организован именно так, чтобы была возможность задействовать различные программные продукты. Постановка выполняется обязательно на основании бизнес-требований и бизнес-правил. Результаты работы должны записываться в общекорпоративный журнал

  • Игорь Янушкевич
    Рейтинг: 7
    АО Фармстандарт
    Директор департамента ИТ-платформ
    25.12.2020 11:27

    Добрый день!

    Расскажите пожалуйста, как организовано обучение пользователей? Как проходит внедрение в Бизнесе?
    С какими сложностями сталкиваетесь и как решаете?

    Спасибо.

    • Наталья Третьякова Игорь
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 17:00

      Обучение выполняется комплексно для сотрудников функции Управление данными, сотрудников бизнес-подразделений, топ-менеджеров.

      Для первой категории привлечены команды партнеров (ИТ-поставщики) для обучения работе с front-end и back-end инструментами RHD. А также привлечены внешние провайдеры для проведения обучения Dama DMBok CDMP.

      Для обучения второй категории сотрудников создана команда внутренних тренеров, которые разрабатывают видеоролики по процессам, проводят вебинары «Live cases» по реализованным доменам.

      Для топ-менеджеров был проведен курс «Управление на основе данных» в рамках совместной с ВШЭ и Яндексом программы «Бизнес-мышление в цифровой действительности».

      В прошлом году также создана Кафедра Управления данными и бизнес-аналитики на базе Корпоративного университета Газпром нефти. В 2021 году планируем создание совместных обучающих программ с ВУЗами (в рамках программы «Лига ВУЗов»)

  • Александр Адамов
    Рейтинг: 10
    ООО Real Red
    Руководитель проектов
    25.12.2020 16:13

    Добрый день!
    Расскажите пожалуйста, в чем уникальность ролевой модели доступа к данным, внедренной в вашем проекте?

    • Наталья Третьякова Александр
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      31.12.2020 15:46

      Примененную модель управления доступом к данным мы видим уникальной в силу внедрения доменного принципа, характеризующегося следующей совокупностью правил:
      1. доступ к данным согласовывает ответственный за домен;
      2. все служебные и бизнес роли (за исключением специфичных ролей Data Scientists и аналитиков УД) отнесены к конкретному домену;
      3. доступ предоставляется на основании присвоения тэгов ИБ критичным элементам данных (КЭД), т.е. логическим объектам, а не физическим объектам в бизнес-системах и аналитических решениях.

      Применение указанного подхода обеспечивает реализацию принципа демократизации данных, существенно упрощает механизм доступа и расширяет объём доступных для пользователя в домене данных за счёт отсутствия необходимости дополнительного согласования с владельцами систем, в которых первоначально формируются данные домена.

      Принадлежность всех служебных и бизнес ролей к конкретному домену позволяет ответственному за домен и его команде полностью контролировать изменение доступов.

      Для каждого КЭД обеспечена связь с описанием физических объектов, содержащими этот элемент данных, т.е. с объектами технических метаданных, представленных в Alteryx Connect., вследствие чего тэги ИБ (общедоступные, «внутренние» данные домена, коммерческая тайна, ПДн), присвоенные КЭД, наследуются связанными с КЭД объектами технических метаданных. Это позволяет существенно упростить и ускорить предоставление доступа конечным бизнес пользователям; особенно по завершении описания в Alteryx Connect первых содержащих наиболее востребованные бизнесом данные систем-источников, уже используемых отчетов, BI дашбордов и по завершении тэгирования связанных с ними КЭД

    • Дмитрий Куртов Александр
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      06.01.2021 08:12

      Александр, обращаю ваше внимание, что все операции по созданию тэгов ИБ, присвоению тэгов критичным элементам данных и их наследование связанными с КЭД объектами технических метаданных выполняется в рамках ПО Бизнес-Глоссарий (Alteryx Connect)

      • Александр Адамов Дмитрий
        Рейтинг: 10
        ООО Real Red
        Руководитель проектов
        08.01.2021 10:48

        Подскажите пожалуйста, если определение доступов через тэгирование КЭД и связанных с ними технических метаданных выполняется в Alteryx, как выполняется непосредственно предоставление доступов? В хранилище данных, в отчетах. Alteryx, судя по всему, выполняет только разметку

        • Дмитрий Куртов Александр
          Рейтинг: 243
          ПАО «Газпром нефть»
          Руководитель направления архитектуры данных Управление по организации работы с данными
          09.01.2021 01:44

          Александр, вы совершенно правы. Чтобы не дублировать полную версию ответа прошу ознакомиться с ответом выше на вопрос Рамиля Фасхитдинова касаемо причин выполнения in-house разработки.
          Если кратко, в Alteryx Connect выполняется подготовительная работа с разметкой метаданных тэгами ИБ, далее отдельными модулями выполняется генерация инструкций, которые уже применяются «на местах», т.е. в СУБД и BI

  • Евгений Мелехов
    Рейтинг: 10
    ООО Наука
    Аналитик
    25.12.2020 16:32

    Добрый день!

    Подскажите, пожалуйста, для каких задач используется MS SQL Server?

    • Наталья Третьякова Евгений
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      28.12.2020 00:45

      На экземпляре (instance) MS SQL Server развернута БД Alteryx Connect. Соответственно на этой же инсталляции MS SQL Server подготовлен интеграционный слой для выгрузки любых метаданных, которые могут потребоваться для других задач. Слой представляет собою набор представлений (VIEWs).

      На настоящий момент таковыми задачами являются контроль качества данных и управление доступом к аналитическим данным на базе доменной модели.
      Для ККД необходимы зарегистрированные и прошедшие согласование в Alteryx Connect бизнес-требования, бизнес-правила, технические проверки качества данных, КЭД и связи с тех. метаданными.
      Для управление доступом к аналитическим данным требуются домены, КЭД, тех. метаданные, присвоенные им тэги ИБ и также связи между всеми этими объектами.

      В последующем список задач, для которых будет необходима выгрузка метаданных из Alteryx Connect, будет расширяться.

    • Дмитрий Куртов Евгений
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      06.01.2021 08:43

      На настоящий момент в интеграционном слое БД Alteryx Connect (MS SQL Server) для задачи управления доступом к аналитическим данным на базе доменной модели подготовлены 6 представлений (VIEW). Выгрузка перечисленных в ответе выше данных из этих представлений выполняется для отдельного модуля с целью предоставления/изменения доступов «на местах», т.е. в отчетах, БД

  • Максим Феопентов
    Рейтинг: 32
    ЕвразХолдинг
    Директор по развитию цифровых технологий
    25.12.2020 18:11

    Добрый день!
    Наталья, у показателей могут быть достаточно сложные алгоритмы расчета. Как предлагается доставлять такого рода формулы и методологию конечным пользователям? Как контролировать корректность и полноту?

    • Наталья Третьякова Максим
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 21:41

      Максим, благодарю за вопрос.
      Действительно для показателей могут быть применены алгоритмы, которые затруднительно разместить в полной версии в карточке показателя. Кроме того, даже в случае размещения таковых в карточке многие требуют подробного описания во избежание неверного трактования.

      В таких случаях допускается отсутствие указание непосредственно самой формулы и ее описания в карточке показателя, но требуется размещение ссылки на НМД и систему источник, где реализован алгоритм. Это является обязательным к соблюдению условием при согласовании и утверждении показателя. Что явно прописано в методике формирования и поддержки критичных элементов данных

  • Дмитрий Турчановский
    Рейтинг: 575
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    27.12.2020 18:48

    Наталья, очень интересный и актуальный для нас проект. Мы также сейчас формируем требования к данной платформе и уже определили этапность его реализации и с учетом сложности и масштабов видим реализации не менее чем 3 года. Вам при этом для вашей компании, в разы большей по бизнесу чем нам, удалось выполнить все работы почти за 2 года.
    1) Прошу уточнить, как разработанная система увязана со смежными, в частности я знаю, что у вас есть КХД блока экономика и финансы, региональных продаж.
    2) вы начали свой проект уже после утверждения директив по переходу на отечественное ПО, и соответственно приоритетов по использованию отечественного ПО, почему у вас в основном выбрано иностранное ПО, какая политика по использованию отечественного ПО в компании?
    3) Каким образом вы доказали руководству эффект от внедрения данной системы, какие КПЭ? Удалось ли сократить персонал с учетом оптимизации на поиск и обработку данных?
    4) Сколько FTE на обслуживание данной системы?

    • Наталья Третьякова Дмитрий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 19:30

      1) Платформа управления данными является комплексной, позволяет работать с метаданными и данными как в исходных системах-источниках, так и в интеграционных решениях, RDM/MDM, аналитических решениях, системах отчетности.

      В частности, для КХД блока экономики финансов, реализованного на базе SAP BW, проработан механизм скрининга технических метаданных с дальнейшей возможностью описания в бизнес-глоссарии.
      Интеграция с частным решением, реализованным в Дирекции региональных продаж также видится для нас решаемой задачей в связи с тем, что для наиболее технологически сложной части решения (Дата Каталог) используется единый продукт - Informatica Data Catalog (EDC)

    • Дмитрий Куртов Дмитрий
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 19:40

      2) Тема по импортозамещению в обсуждении проектов поднимается очень часто. В том числе в вопросах к нашему проекту. И тому конечно есть причины. Нами частично уже предоставлены были ответы на данную тему касаемо импортозамещения BI. Чтобы не предоставлять далее разрозненно ответы на эту темы, учитывая высокий интерес к ней респондентов, ниже будет размещен единый объемный ответ

    • Наталья Третьякова Дмитрий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 20:46

      В рамках цифровой трансформации компании «Газпромнефть» особое внимание уделяется вопросу обоснования инвестиций в ИТ-проекты и оценке экономического эффекта. В качестве основного инструмента служит программный подход к управлению инвестициями, когда ИТ-проект рассматривается, как часть целого направления инициатив, обеспечивающих повышение уровня цифровизации бизнес-процессов. В частности, проект RHD входит в одну из таких программ, реализацией которой занимается функция управления данными.

      Программа была успешно защищена на инвестиционном органе Компании, после этого регулярно (раз в полгода) проводится мониторинг ее реализации. Основными драйверами эффективности, на базе которых был рассчитан эффект от проекта в программе, являются сокращение времени на поиск /анализ данных, формирование аналитической отчетности, проверку качества данных. Однако, необходим отметить, что целью проекта не ставилось высвобождение/сокращение персонала. Мы считаем, что высвободившееся время аналитиков позволяет им реализовывать их основную задачу - формирование решений на основе актуальных и качественных данных. Эффект от этого оценивается намного выше, чем непосредственно экономия от сокращения времени на работу с данными

  • Иван Дворников
    Рейтинг: 6
    ООО Tele2
    Директор big data
    29.12.2020 13:12

    - В комментариях поясняется, что в платформе описываются также объекты BI отчетов. Поясните пожалуйста, как описываются BI отчеты, дашборды, в каком инструменте из перечисленных.
    Среди используемого ПО класса BI указан только Qlik. Наверняка этот продукт - не единственный используемый в такой крупной компании, как Газпром нефть. Отчеты, дашборды, используемые в других BI продуктах, также описываются в платформе?

    • Наталья Третьякова Иван
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      31.12.2020 19:15

      Описываются отчеты не только Bi систем, но и других решений. Описание выполняется в Alterix Connect. Решение о необходимости выполнить регистрацию отчета в Alterix принимается, исходя из анализа бизнес-ценности для компании.

      Карточка отчета в Alterix Connect предоставляет пользователям: описание, ссылку на отчет, отражение заказчика, исполнителя, ответственного, владельца, состав отчета, связь с критическими элементами данных (аналитики и показатели), системы-источники и системы-потребители.

      • Дмитрий Куртов Наталья
        Рейтинг: 243
        ПАО «Газпром нефть»
        Руководитель направления архитектуры данных Управление по организации работы с данными
        01.01.2021 14:24

        Описание в карточке отчета представлено в той полноте, которая позволяет избежать избыточности информации и при этом предоставляет возможность:
        - получить представление об основных элементах отчета;
        - минимизировать тем самым риски дублирования разработок;
        - существенно повысить переиспользование уже разработанных отчетов;
        - оперативно найти непосредственно в карточке или через указанных в карточке сотрудников весь круг специалистов, вовлеченных в работу с данным отчетом, получить дополнительную информацию/консультацию

    • Дмитрий Куртов Иван
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      01.01.2021 14:43

      Возвращаясь к теме DataLineage.
      В Alteryx Connect создаются связи между отдельным элементом отчета (аналитики/показатели) и соответствующим критичным элементом данных, что позволяет отразить и отчет, и его элементы частью DataLineage.

      Что в свою очередь позволяет:
      - проследить связь [элемент отчета] - [КЭД] - [витрина данных] - [система-источник] с отражением верхнеуровнево трансформаций (системы-источники, ХД);
      - найти отчеты, отражающие тот или иной бизнес-термин посредством связей [бизнес-термин] - [КЭД] - [элемент отчета];
      - определить ТП, БП и БТ Качества Данных в отношении каждого отдельного элемента отчета.

  • Никита Урих
    Рейтинг: 15
    ООО Спраут
    программист
    04.01.2021 22:55

    Наталья, скажите, пожалуйста, каким образом каталог данных, который вы используете, взаимодействует с различными типами информационных систем? Как проверяется корректность/ качество реализованного процесса скрининга метаданных?

    • Наталья Третьякова Никита
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 21:45

      Качество и корректность скрининга метаданных проверяется классически в процессе реализации приемо-сдаточных испытаний на основании заранее разработанной программы и методики испытаний, при этом в подготовке ПМИ участвуют специалисты систем, по которым реализуется сканирование

  • Дмитрий Анисимов
    Рейтинг: 10
    ПАО Сбербанк
    Владелец продукта
    06.01.2021 15:11

    Расскажите, как организован поиск данных в каталоге данных с точки зрения пользовательского интерфейса, насколько он удобен и понятен?

    • Наталья Третьякова Дмитрий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 21:33

      Основные способы выполнения поиска в Alteryx Connect:
      1. на любой странице вверху доступен быстрый поиск метаданных по основному названию и синонимам;
      2. локальный поиск внутри каждого раздела, где наиболее релевантные фильтры, специфичные для данного раздела, размещены в явном виде на странице раздела;
      3. отдельная страница расширенного поиска по разным критериям, включая фильтрацию по типам метаданных и местоположению.

      Первые два способа - быстрый полнотекстовый поиск в стиле google, когда пользователь просто вводит набор слов. Например, перечисляет показатели, система находит связанный с ними отчет.
      При использовании третьего способа с расширенным поиском, в качестве параметров фильтрации чаще всего используются домен, тип объекта каталога данных, владелец данных и связанные системы. При этом у пользователя есть возможность фильтрации результата абсолютно по всем характеристикам метаданных.

      Считаем, что предоставляемые возможности поиска очень удобны и интуитивно понятны

  • Карен Карапетян
    Рейтинг: 6
    ПАО Сбербанк
    Старший управляющий директор
    06.01.2021 16:24

    Добрый день, Наталья.
    Ознакомившись с проектом, понимаю, что он фундаментальный, формирующий базу для процессов управления данными в компании. Скажите пожалуйста, какие Вы видите особенности при внедрении такого проекта именно для компании, работающей в производственном секторе, по сравнению с банками или сектором ритейла?

    • Наталья Третьякова Карен
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 01:18

      Карен, спасибо за интересный вопрос!

      Безусловно, применение процессов и инструментов управления данными в промышленном секторе имеет свои особенности. Среди них мне бы хотелось отметить глубокую связь непосредственно операционных процессов и описывающих их данных в рамках всей цепочки создания стоимости (ЦСС). В частности, в рамках проекта для такой диверсифицированной компании, как Газпромнефть, доменная модель и ответственность за данные формируется именно исходя из ЦСС, Смежные домены являются потребителями данных предыдущего звена цепочки. Таким образом, последовательный производственный цикл формирования конечного продукта имеет прямое отражение в принятии решений на основе данных на каждом из этапов условного «конвейера»

  • Николай Симонов
    Рейтинг: 5
    ООО Атаккама
    Руководитель Департамента работы с данными
    06.01.2021 18:01

    Добрый день!

    Масштаб проекта впечатляет. Однако, насколько я понимаю, это не первый проект подобного масштаба в "Газпром нефти". Скажите, пожалуйста, насколько сотрудники компании оказались готовы к внедрению современных подходов в организации бизнес-глоссария и мониторинга качества данных? Интересно, например, насколько тяжело владельцы процессов усвоили понятие "цифровой двойник" и научились с ним работать? Было ли в проекте выделено в отдельный стрим управление изменениями? Какие основные трудности вы встретили в вовлечении участников, доведении методик, обучении инструментам, обеспечении принятия? Какие ключевые факторы успеха могли бы назвать? Спасибо.

    • Наталья Третьякова Николай
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 23:39

      Николай, добрый вечер!
      На самом деле, развитие компетенций в области цифровизации, управления данными в бизнес подразделениях растёт настолько быстрыми темпами, что формируется огромный и осознанный спрос на подобные инструменты. Стратегия компании официально включает в себя фокус на цифровизацию. Мы представляем компанию, управляемую на основе данных и цифровых двойников, поэтому указанные термины уже в обиходе большинства сотрудников. Управление изменениями безусловно присутствует. Мы действуем по широко известной методике ADKAR. Формируем осознанность, обучаем для формирования знаний, формируем способности работать с инструментами и безусловно подкрепляем позитивной мотивацией - признанием лучших кейсов использования

    • Дмитрий Куртов Николай
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 23:40

      Трудности безусловно присутствуют, так как внедрение новых процессов и инструментов требует последовательных изменений, а скорость трансформации достаточно высокая. В качестве трудностей можно отметить недостаточное понимание целей и возможностей инструментов, функциональные барьеры между подразделениями, ограничивающие обмен данными. Успех такого крупного проекта невозможен без поддержки на уровне топ- менеджмента компании, так как постановка стратегических приоритетов определяет дальнейшую реализацию

  • Леонид Коковин
    Рейтинг: 15
    ООО Цифромед
    Коммерческий директор
    06.01.2021 20:04

    Расскажите, пожалуйста, как решали вопрос определения и назначения владельцев данных? И как это коррелирует с доменами ответственности?

  • Сергей Костров
    Рейтинг: 5
    ФГБУ Российская национальная библиотека
    Руководитель отдела управления инфраструктурой цента обработки данных
    06.01.2021 22:31

    Добрый вечер!
    Пара вопросов:
    1. В вашем проекте много внимания уделяется сервисной составляющей. Каким образом планируете оранизовывать сервис по поддержке пользователей системы, какие направления сервиса организовывать и как они будут взаимосвязаны между собой?
    2. Поясните, пожалуйста, касаемо аппаратной части, используемой для ИТ-инфраструктуры вашего проекта. HW, OS, обеспечение высокой доступности (HA), решения аварийного восстановления (DR). Планируется ли для отдельных компонент этой инфраструктуры импортозамещение? На что?
    Спасибо.

    • Наталья Третьякова Сергей
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 23:53

      Добрый вечер, Сергей!

      2) Программные продукты RHD развернуты на платформе, предоставляющей PaaS. В сервис входит также развертывание и сопровождение такого ПО, как продукты экосистемы Hadoop, кластер Greenplum, инсталляции СУБД Postgres, MS SQL Server, интеграционные инструменты IPC, NiFi, Kafka.
      Что позволяет команде Управления Данными сосредоточиться исключительно на задачах DG

  • Мария Гарамова
    Рейтинг: 5
    ПАО Сбербанк
    Аналитик
    07.01.2021 11:57

    Добрый день!

    Несколько вопросов:
    1. Система контроля качества данных взаимодействует только с КХД или также предусмотрена работа напрямую с системами-источниками?
    2. Существует ли в компании система по управлению справочными данными? И предусмотрена ли интеграция DQ, DG с MDM-системой?
    3. Организован ли автоматизированный сбор метаданных с ETL-средств, BI-инструментов и пр. для целей Lineage и контроля частоты использования отдельных блоков информации?
    4. Внедрены ли изменения организационной структуры компании для целей организации процессов по управлению данными? (в связке с методологией)

    Спасибо

  • Иван Никулин
    Рейтинг: 38
    ООО Газпромнефть НТЦ
    Руководитель направления по вычислительным системам
    07.01.2021 19:58

    Добрый вечер!

    Внедрение проекта на корпоративном уровне всегда предполагает его дальнейшее применение в дочерних обществах. Как предполагается организовать внедрение инструментов в операционной деятельности ДО? Какие видите основные задачи в рамках этого направления развития проекта?

    • Наталья Третьякова Иван
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 17:20

      Иван, добрый день. Для организации работы в части управления данными, в том числе и для целей внедрения платформы в дочерних обществах предполагается введение отдельной роли - Руководитель направления по управлению данными. В его обязанности помимо проведения обучения применения инструментария будут входить такие задачи, как: общая координация деятельности, связанной с организацией ответственности за данные, определение спроса на данные и т.д.

      • Иван Никулин Наталья
        Рейтинг: 38
        ООО Газпромнефть НТЦ
        Руководитель направления по вычислительным системам
        08.01.2021 18:04

        Наталья, ответ понятен, благодарю за информацию. А когда планируется реализовать указанные организационные изменения , что на это влияет? Для нас критично важно понимать, когда такой функционал появится везде, где это необходимо.

        • Наталья Третьякова Иван
          Рейтинг: 595
          ПАО «Газпром нефть»
          Начальник управления организации работы с данными
          08.01.2021 22:20

          Иван, указанные изменения уже реализуются. Процесс идёт постепенно, в части бизнес-единиц такие сотрудники уже исполняют свои функциональные обязанности. Очень важно для нас было в рамках орг. изменений не нарастить численность, а показать эффективность, поэтому в большинстве бизнес-единиц, в которых эти изменения случились, активная позиция ЗГД по ЭиФ в поиске потенциала привела к позитивному результату

  • Антон Денисов
    Рейтинг: 15
    IBS
    Директор по работе с ключевыми заказчиками
    07.01.2021 21:25

    Добрый день!

    Очень интересный и амбициозный проект! Удачи в его реализации!
    Интересует,
    - как решается вопрос ограничения доступа к данным и их структурам в зависимости от должностных полномочий пользователя системы?
    - а также, какая организационная структура предполагается в рамках запуска этого сервиса (RHD) в контуре компании?

    Спасибо!

    • Наталья Третьякова Антон
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 23:18

      Антон, благодарю за вопросы.
      Реализуется ролевая модели управления доступом на основе доменной модели данных.
      Данная модель доступа предполагает принцип разграничения, базируясь на присвоении данным тэгов ИБ (чувствительные данные КТ и ПДн, внутренние данные домена, общедоступные данные). Доступ к тэгам ИБ предоставляется бизнес-ролям домена. Формирование бизнес-ролей домена выполняется с учетом предметных областей домена, отнесению данных к конфиденциальной информации или персональным данным, принадлежностью к организационному периметру, а не уровнем должности в организации

    • Дмитрий Куртов Антон
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 23:25

      Антон, в части организационной структуры предполагается формирование выделенной команды поддержки платформы управления данными, предоставляющий сервис, организованный функционально по основным направлениям (архитектура данных, качество данных, BI), а матрично по доменам данных.

      Таким образом, с одной стороны, формируются необходимые компетенции по отдельным продуктам, с другой стороны полностью обеспечивается контакт с конкретным бизнес-заказчиком

  • Сергей Немечкин
    Рейтинг: 5
    ООО КБ Ренессанс Кредит
    Главный бизнес-аналитик
    07.01.2021 21:39

    Добрый день!
    Поясните пожалуйста, КЭД - это совершенно отдельный тип объекта или отметка на объекте о том, что он критичный? Если отметка, то какие виды объектов могут быть так отмечены? Если отдельный объект, не создает ли этот подход по вашему мнению избыточный тип объектов?

    • Наталья Третьякова Сергей
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 00:41

      Добрый вечер, Сергей!

      Критичный Элемент Данных (КЭД) - это отдельный тип объекта. По примеру некоторых проектов, использующих Alteryx Connect, мы могли ограничиться добавлением в карточке термина дополнительным полем, позволяющим отметить отдельные термины, как наиболее критичные с точки зрения бизнеса. Но решили выделить КЭД именно, как отдельный объект, т.к. это позволяет использовать его, как связующий центральный компонент в построении связей между терминами, бизнес-требованиями/бизнес-правилами/тех проверками Качества Данных, карточками отчетов и техническими метаданными систем-источников и потребителей данных.

      Таким образом КЭД играет ключевую роль в формировании той части DataLineage, что отражает связи между объектами корпоративного бизнес-глоссария

    • Дмитрий Куртов Сергей
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 05:40

      Для задач архитектуры данных использование КЭД, как связующего центрального компонента в построении связей, дает дополнительный плюс тем, что позволяет получить новому объекту транзитивную связь со всеми уже описанными ранее объектами в Alteryx Connect (терминами, отчетами, ККД, тех. метаданными), как только для нового объекта будет сформирована прямая связь с соответствующим КЭД.

      Это качество будет широко использовано в рамках следующего этапа проекта, когда в Alteryx Connect будут представлены объекты моделей данных. Концептуальной, логических и физических моделей. В отношении всех объектов моделей будут сформированы связи в первую очередь именно с КЭД, что даст тот самый эффект

  • Дмитрий Куртов
    Рейтинг: 243
    ПАО «Газпром нефть»
    Руководитель направления архитектуры данных Управление по организации работы с данными
    08.01.2021 11:45

    Еще один важный плюс для архитектуры данных в использовании КЭД в качестве отельного типа объектов - дополнительная гибкость при формировании связей между терминами и показателями и объектами КМД и ЛМД. Например, в глоссарии мы можем иметь ряд отдельных зарегистрированных терминов, представленных в свою очередь в логической модели данных в качестве отдельных экземпляров одной сущности. Использование КЭД дает возможность в таких случаях обеспечить объекты моделей данных транзитивной связью с терминами и показателями, выполнив на стороне КЭД промежуточную нормализацию

  • Дмитрий Анисимов
    Рейтинг: 10
    ПАО Сбербанк
    Владелец продукта
    08.01.2021 12:06

    Проектом внедрен бизнес-глоссарий, BI, Data Market. Был упомянут портал Управления Данными. Каждый из этих инструментов/продуктов, представляет конечным пользователям возможность работы с данными и метаданные. Что именно в таком случае считать "единым источником информации", "единой точкой доступа", как это сказано в разделе ЦЕЛИ?

    • Дмитрий Куртов Дмитрий
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 22:56

      Дмитрий, добрый вечер.
      С точки зрения хранения единого источника данных о данных такую роль безусловно играет Бизнес-Глоссарий (Alteryx Connect). Портальное решение необходимо в том числе для реализации механизма заказа data-сервисов, а также обеспечения доступа к методологической информации. Целевое видение системы-это многовариантность сценариев использования для пользователей с единым консолидированным репозиторием метаданных в основе.
      Мы рассматриваем весь комплекс, как единую систему, не ограничивая набор этих сценариев. Наоборот, наша задача увеличить их возможное число, включая поиск по данным, отчетам, заказ дата-сетов, формирование гибкой аналитической отчётности на основе каталога и т.д.

  • Петр Макшаков
    Рейтинг: 16
    ООО Казминералз
    Координатор по ИТ
    08.01.2021 14:43

    Добрый день, подскажите как организован мониторинг наполнения Бизнес глоссария? Как организован процесс контроля качества его объектов, того, что они связаны и др.?

    • Наталья Третьякова Петр
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 01:34

      Добрый вечер, Пётр!

      В 2020 в бэклог задач добавлена разработка дэшбордов мониторинга полноты и консистентности данных, включая проверки наличия связей между объектами. Реализация состоится в текущем году.

      В ответе выше на вопрос Евгения Мелехова даются разъяснения о том, что в рамках БД Alteryx Connect (MS SQL Server) уже подготовлен интеграционный слой для выгрузки метаданных для различных задач. Среди этих задач обеспечение контроля качества объектов Бизнес-глоссария.
      Все необходимые дя этого метаданные будут выгружены в отдельную БД Postgres Pro, в рамках которой и будут представлены витрины для дэшбордов. Там же будут рассчитываться КПЭ оценки эффективности процессов УпД, реализованы и другие способы эффективного контроля и нотификации о нарушениях и аномалиях.

  • Илья Савенков
    Рейтинг: 20
    ПАО "Сбербанк"
    Директор проектов
    08.01.2021 17:11

    Добрый день!

    Несколько вопросов:

    1. Расскажите, пожалуйста, чуть подробнее о системной/аппаратной части решения. Например, HW, ОС, использование контейнеров и т.д. (не увидел в презентации и комментариях). На чем построено ваше решение Private Cloud? На обработку каких объемов данных рассчитана RHD платформа?

    2. Учитывая наличие проприетарного ПО как минимум в Middleware слое решения, планируете ли вы полностью переходить на FOSS / отечественное ПО и как управляете санкционными рисками в данный момент?

    3. На что опиралась архитектура/архитекторы при выборе инструментов реализации бизнес-задачи/требований данного решения? Например, исторически сложившийся набор средств реализации подобных решений, перечень принятых в компании архитектурных стандартов/ стандартный технологический стек, референсные архитектуры и т.д.?

    Спасибо!

    • Наталья Третьякова Илья
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 03:24

      Здравствуйте, Илья!

      1. Программные продукты RHD развернуты на PaaS платформе. Нашему проекту предоставлен сервис, включающий развертывание и сопровождение платформенного ПО, в который входят продукты экосистемы Hadoop, кластер Greenplum, инсталляции РСУБД Postgres, MS SQL Server, интеграционные инструменты IPC/BDM, NiFi, Kafka. Что позволяет команде Управления Данными сосредоточиться исключительно на задачах Data Governance. Есть конечно случаи, когда требуется вовлекаться в технические вопросы, но их число должно со временем уменьшаться.

      Касаемо аппаратной части, исходя из предоставленной коллегами информации, задействованы: серверы Lenovo (ThinkSystem SR650), блейд система Huawei (E9000) и сервера CH121 V5, СХД (OceanStor 5500 v5 и 6800 v5), Nvidia Tesla v100.

      2. Развернутый ответ по данному вопросу предоставлен ниже Дмитрием.

      3. Архитектура решения разработана по концепции best-of-breed, подразумевающая использование лучших в классе компонент для каждого из функциональных блоков.

      Система состоит из модулей, которые интегрированы в единое решение. Каждый из выбранных модулей является «лучшим-в-классе» и наилучшим образом подходит под особенности требований процессов УпД ГПН. Чему было получено подтверждение в рамках предварительной апробации.

      В отличие от коробочного решения, такой подход позволяет расширять систему новыми модулями без привязки к вендору. Это также благоприятствует минимальному негативному влиянию на работу пользователей при замене продуктов/решений, используемых в отдельном модуле. Например, в ходе того же импортозамещения

  • Виктор Житенев
    Рейтинг: 5
    ООО ОФИСМАГ
    Заместитель директора департамента по бизнес-процессам
    08.01.2021 18:04

    Здравствуйте!
    Как определяется бизнес-ценность данных?

    • Дмитрий Куртов Виктор
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      08.01.2021 18:47

      Определение ценности данных напрямую зависит от цели использования. В действительности определить конечную ценность данных могут только конечные пользователи. Для конкретной задачи, конкретных целей. Мы можем этому только поспособствовать.

      Например, провести исследование источников, предположительно включающих необходимые данные, предоставить развернутую информацию об участии этих систем или отдельных блоков данных в интеграциях, предоставить информацию о степени переиспользования через статистику обращений к этим данным в отчетах информационных система или продуктах BI, указать охват аудитории пользователей и т.д.

      Выявленные в результате совместной работы с бизнесом ценные данные отражаются в виде КЭД, полученная информация в ходе анализа этих данных в отчетах и первичных системах используется для описания в Каталоге Данных с одной стороны родословной, с другой стороны использования этих данных в отчетах

  • Петр Макшаков
    Рейтинг: 16
    ООО Казминералз
    Координатор по ИТ
    08.01.2021 18:20

    Ещё один вопрос:
    Расскажите, как реализован процесс получения с помощью EDC метаданных от систем на платформе 1С?
    Спасибо

    • Наталья Третьякова Петр
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      08.01.2021 21:56

      Использование Informatica Data Catalog предоставляет техническую возможность посредством отдельных коннекторов получить метаданные о структуре данных информационных систем различных классов.

      При выборе решения проектной командой был выполнен анализ текущего ИТ-ландшафта компании. С учетом тех возможностей, что предоставляет продукт. Помимо классических реляционных СУБД (Postgre, MS SQL, Oracle) для нас критична возможность интеграции с системами на платформах SAP и 1C в силу достаточно широкого их применения в компании. Для снятия технических рисков в части интеграции с SAP BW была успешно проведена апробация непосредственно в КСПД ГПН. С системами на платформе 1С реализация интеграции будет выполнена в текущем году.. Предварительные работы уже были начаты в прошлом

  • Виктор Житенев
    Рейтинг: 5
    ООО ОФИСМАГ
    Заместитель директора департамента по бизнес-процессам
    08.01.2021 18:24

    Поясните, как широко используется SAP PowerDesigner. Расскажите подробнее о разработке моделей данных

    • Дмитрий Куртов Виктор
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      09.01.2021 00:15

      В SAP PD разрабатываются концептуальные, логические и физические модели данных.

      КМД. Концептуальные модели бизнес-блоков, доменов данных, общекорпоративная концептуальная модель данных.
      ЛМД. Логические модели проектов, отдельных ИТ-решений (систем-источников), бизнес-блоков, доменов данных, общекорпоративные логические модели данных DDS, отдельно DM хранилища данных.
      ФМД разрабатываются только в рамках проектов. Посредством детализации ЛМД (для DDS/DM) или в результате реверс-инжиниринга (для ODS) в зависимости от задачи.

      В SAP PD выполняется формирование единого репозитория технических кодов для сущностей и атрибутов, на основании которых выполняется объединение моделей в блоковые и общекорпоративные. Присвоение технических кодов объектам ЛМД и КМД является обязательным условием при согласовании модели.

    • Дмитрий Куртов Виктор
      Рейтинг: 243
      ПАО «Газпром нефть»
      Руководитель направления архитектуры данных Управление по организации работы с данными
      09.01.2021 00:33

      Группой старших архитекторов данных функции Управления Данными было принято решение использовать при проектировании ЛМД в качестве основы референсную модель PPDM (Professional Petroleum Data Management). Т.к. PPDM представляет предметные области только UPSTREAM, архитекторами УД референсная модель будет расширена описанием MIDDLESTREAM и DOWNSTREAM, сохраняя архитектурные принципы.

      Т.к. ЛМД детализирует КМД, концептуальная модель проектируется, также исходя из PPDM.
      ФМД конечно же проектируется, ориентируясь на СУБД реализации структур данных.

  • Виктор Житенев
    Рейтинг: 5
    ООО ОФИСМАГ
    Заместитель директора департамента по бизнес-процессам
    08.01.2021 18:51

    И еще. Какие в целом дальнейшие планы по развитию решения на 2021 год?

    • Наталья Третьякова Виктор
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 02:10

      Виктор, спасибо за вопрос. Т.к. он – прекрасный кандидат для завершения череды комментариев и пояснений о нашем проекте, ответ на него размещен ниже самым последним.

  • Петр Макшаков
    Рейтинг: 16
    ООО Казминералз
    Координатор по ИТ
    08.01.2021 22:28

    Среди используемого ПО указаны Java, Spring, Angular для in-house разработки. Это объясняется тем, что остальные перечисленные программные продукты не закрывают полностью потребности проекта?

  • Константин Карнаухов
    Рейтинг: 52
    ПАО Магнит
    Руководитель управления аналитической отчетности
    08.01.2021 22:54

    Расскажите, пожалуйста, подробнее о формировании единой методологической базы. Как в целом проходил процесс по разработке методических документов? На сколько детально были проработаны методики и регламенты?
    Вы писали, что отдельно разработаны методические указания для терминов. Какое участие в этом принимал бизнес?

    • Наталья Третьякова Константин
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 02:23

      Разработка методологической базы проходила поэтапно. В 2019 г. были подготовлены ОСК и отдельно Краткие Руководства по каждому из направлений:
      - организация управления данными;
      - управление структурными элементами данных;
      - управление жизненным циклом данных;
      - управление контентом;
      - управление качеством данных;
      - внедрение и поддержка бизнес- и продвинутой аналитики.

      КР управления структурными элементами данных (СтЭД) включают разделы:
      - домены данных;
      - бизнес-глоссарий;
      - модели данных;
      - каталог технических метаданных;
      - НСИ.

      В 2020 году выполнены последовательно работы по разработке в Visio сквозного процесса проектной деятельности, разработке отдельно по каждому разделу направлений СтЭД и Качества Данных моделей процессов в Visio (BPMN), затем в ARIS (EPC), разработке методических указаний, понятийного аппарата, регламентов и СК

  • Константин Карнаухов
    Рейтинг: 52
    ПАО Магнит
    Руководитель управления аналитической отчетности
    08.01.2021 22:55

    Нередко методики после первого опыта применения требуют существенную доработку, т.к. только при использовании в рабочих задачах становятся очевидными недостаточное описание или избыточность. Как вы оцениваете зрелость разработанных в вашем проекте методических документов? Какими видятся планы их доработки?

    • Наталья Третьякова Константин
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 02:25

      Константин, мы считаем, что любые процессы в компании не являются догмой, они должны постоянно пересматриваться на предмет оптимизации, повышения эффективности, тем более это касается новых процессов, по которым компания набирает опыт. Мы планируем проводить регулярное ревью методических документов по результатам новых внедрений доменов данных

  • Дмитрий Капинос
    Рейтинг: 291
    МГУ, Экономический факультет
    Предприниматель, консультант в области управления и ИТ, к.э.н., преподаватель МГУ
    08.01.2021 23:49

    Здравствуйте!

    Отличный проект. Мне кажется, во многом похож на другой проект вашей же компании в этой же категории.

    https://globalcio.ru/live/projects/11126/

    Предполагаю, что цель взять 1-е и 2-е места. )

    А ваши обстоятельные ответы просто приятно читать! Тот случай, когда качество персонала компании понятно и без больших данных с нейросетями.

    Извините, что пришёл с вопросом под занавес, но не могу не спросить. Учитывая полученную доступность данных и «Цифровое представление бизнес-процессов за счет внедрения моделей данных» среди целей — скажите, используются ли в компании какие-то технологии/инструменты process mining?

    С уважением,
    Дмитрий

    • Наталья Третьякова Дмитрий
      Рейтинг: 595
      ПАО «Газпром нефть»
      Начальник управления организации работы с данными
      09.01.2021 00:39

      Уважаемый Дмитрий, добрый день. Мы благодарим Вас за высокую оценку проекта и профессионализма команды Газпром нефти. В части ответа на ваш вопрос- инструменты process mining действительно рассматриваются в рамках развития платформы.

      • Дмитрий Капинос Наталья
        Рейтинг: 291
        МГУ, Экономический факультет
        Предприниматель, консультант в области управления и ИТ, к.э.н., преподаватель МГУ
        09.01.2021 19:56

        Наталья, спасибо за ответ!

        Тогда будем внимательно следить за вашими публикациями. Оч. интересно было бы узнать, в какую сторону вы смотрите, в плане process mining, и к чему в итоге прийдëте на практике.

  • Дмитрий Куртов
    Рейтинг: 243
    ПАО «Газпром нефть»
    Руководитель направления архитектуры данных Управление по организации работы с данными
    08.01.2021 23:58

    Касаемо темы импортозамещения.



    В соответствии со стратегией импортозамещения наш проект не стоит особняком. Команде проекта в рамках комплексной стратегии импортозамещения группы компаний ПАО Газпром нефть поставлены поручения в 21-22 годах оценить и применить возможности замещения основных компонент бизнес-решения.

    В настоящее время мы видим активизацию российских производителей BI решений, при этом командой проекта проводится работа по подготовке short-list решений, максимально обеспечивающих все наши пользовательские потребности.

    Если рассматривать другие компоненты решения (такие как Бизнес-Глоссарий, Каталог-Данных, инструментарий контроля качества данных), то заложенная в основу бизнес-решения модульная интеграционная архитектура предоставляет возможность выполнить отбор соответствующего целям проекта. Конкретика выбора возможной замены компонент будет определяться наличием на рынке соответствующих продуктов российского производства и результатами апробации подтверждающих обеспечение целей и задач бизнес-решения при задействовании альтернатив.

  • Наталья Третьякова
    Рейтинг: 595
    ПАО «Газпром нефть»
    Начальник управления организации работы с данными
    09.01.2021 00:59

    Подытожим ответом на вопрос о дальнейших планах по развитию решения на 2021 год.

    Все без исключения составные элементы нашего решения будут последовательно развиваться в 2021 и последующих годах.
    Основными драйверами развития решения видятся:
    - Портал Управления Данными. Будет выполнена реализация механизмов доступа к данным и заказа данных (дата - сервисы);
    - Контроль Качества Данных (ККД). Получит развитие общекорпоративный журнал качества данных, будут выполнены интеграции с различными уже использующимися в компании инструментами мониторинга качества данных, помимо IDQ;
    - Инструменты и методики проектирования моделей данных и последующего их использования. Проектные и доменные модели данных используются в качестве основы построения общекорпоративной модели данных. Формирующийся в рамках глоссария семантический слой будет являться базой для внедрения онтологий, как базиса для новых пользовательских сценариев работы с данными.

    Бэклог задач развития платформы действительно обширный и при этом регулярно пополняется.

    Дополнительно к ответу выше хотелось бы отметить, что будет продолжаться работа по оценке развития российских продуктов с целью импортозамещения. Рассматривается сценарий in-house разработки в качестве альтернативы, т.к. есть положителный опыт выполнения собственной разработки специалистами команды Управления Данными в рамках смежных проектов

  • Станислав Логинов
    Рейтинг: 1091
    Департамент информатизации Тюменской области
    Заместитель директора
    10.01.2021 17:27

    Масштабный проект! Всегда Ваш опыт на слуху, интересно было вникнуть в детали. Раньше тоже занимался BI, в 2014 году первый опыт внедрения Qlik в гос.учреждении, сейчас очень многое поменялось, в том числе и зрелость пользователей и программных продуктов!
    Спасибо, что делитесь деталями! Успехов!

  • Виктор Сухов
    Рейтинг: 5
    ПАО «ГМК «Норильский никель»
    Эксперт Лаборатория Данных
    14.01.2021 13:55

    Очень интересный проект! Пример, которому хочется следовать.
    Мы тоже стараемся двигаться в аналогичном направлении. Тот факт, что это у вас это получилось - для нас очень важно, т.к. вселяет уверенность в возможность успеха.
    Приятно видеть не просто внедрение ради внедрения, а то что за этим стоит точное понимание целей, преимуществ и конкретных выгод для компании, особенно при внедрении сложных проектов с применением средств машинного обучения и Искусственного интеллекта.
    Очень ценно, что делитесь опытом, полученными уроками - это необходимо для тех, кто на том же пути развития.
    Спасибо!

Год
Предметная область
Отрасль
Управление