Создание единой технологической платформы (ЦХД)

- Объединение федеральных ХД организацией информационного-аналитического пространства на базе единой отказоустойчивой масштабируемой платформы (ЦХД), как единого источника достоверной, интерпретируемой, качественной, актуальной информации по оптимальной стоимости

- Исполнение директивы Правительства по импортозамещению смещением баланса в сторону отечественного ПО, собственных разработок и opensource

- Сокращение ТСО/TCC систем отчетности и аналитики

- Реализация в рамках ЦХД функции управления данными, методик консолидированной подготовки данных, ККД, бизнес-глоссария, интерпретации в бизнес-термины исходных данных, интеграция с MDM/RDM системами, предоставление data lineage, возможность impact анализа в границах полного жизненного цикла атрибутов

- Развитие культуры бизнес-аналитики, использования инструментов исследования данных (Predictive Analytics, ML, Text Mining), повышение монетизации данных, демократизации.

- Уменьшение T2M практиками прототипирования, self-service BI/ETL

Store and Compute, DBMS: Hadoop (HDP), Hive, PostgreSQL, Oracle DB, Arenadata DB

Интеграционные инструменты: NiFi, Kafka, IBM DataStage, IBM CDC, in-house разработка ККД и ELT модулей с оркестрацией отдельных задач на Airflow

CI/CD: Jenkins

Analytics: Spark

Бизнес-глоссарий, Data Governance: in-house разработка

MDM/RDM: CDI система HFLabs «Единый клиент», собственная разработка ОРПОН (мастер-система на объектам недвижимости и адресам), собственная разработка по работе со справочной информацией УНСИ

In-house разработка: Java, Python, Django, October CMS

Общее количество ИС компании превышает несколько сотен. Ключевые СИ для ХД, даже относящиеся к одному классу систем, представлены разными вендорами.

На начало проекта существовал целый ряд разрозненных ХД и систем отчетности федерального и регионального уровней развиваемых и сопровождаемых хаотичным образом отдельными внутренними и внешними командами. ХД отличаются стеком технологий, подходами работы с СИ, нет согласованной методологии расчета показателей, единого глоссария. Некоторые ХД при этом представляют сложные программные комплексы, работая с большим количество источников (> 100).

Были задействованы многочисленные инсталляции всех имеющихся на рынке BI продуктов.

Ресурсы инфраструктуры ХД были исчерпаны, лицензии ряда продуктов требовали обновления и дозакупки.

В 2019 г. взяты обязательства исполнения директивы по импортозамещению. Это потребовало оперативного изменения планов исполнения проекта, ресурсного плана, пересмотра связанных рисков, открытия дополнительных активностей

В 2017 г. компанией принята обновленная стратегия развития 2018-2022, в которой помимо гос проектов учтены индустриальные тренды (экосистемы, платформенные бизнес модели), потребительское поведение (персонализация, визуальная коммуникация, приоритет мобильных устройств, геймификация), технологические тренды (IoT, AI, эра данных). Обозначен вектор развития компании – масштабная трансформация из телеком оператора в цифрового партнера населения, бизнеса и государства. Среди ключевых приоритетов: развитие экосистем продуктов, услуг и клиентского сервиса; модернизация технологической платформы; повышение эффективности.

В реализации обновленной стратегии компании ИТ блоку отведена одна из ключевых ролей. Среди фокусных задач блока обозначено развитие контура управления данными / Business Intelligence, следствием чего стало открытие проекта «Создание единой технологической платформы (ЦХД)». Цель проекта: организация того информационного-аналитического пространства, которое должно выполнить роль одного из главных плацдармов для осуществления полномасштабной трансформации компании.

В рамках имеющихся систем отчетности по результатам аудита была обозначена проблематика:

- отсутствие единой системы работы с НСИ, интеграции ХД с мастер-данными, «золотого» клиента

- высокое TCO/TCC процесса развития отчетности, повышенный T2M

- несогласованность в методологии расчета показателей в системах отчетности; несоответствие качества и актуальности предоставляемой информации требованиям бизнеса

- отсутствие ККД в первичных системах и в системах отчетности

В ходе проекта внедрены RDM и MDM системы, обеспечена интеграция с ЦХД, создан единый Глоссарий, составлен реестр отчетов, карта данных, разработан DG инструментарий, обеспечена демократизация данных. Определен целевой стек технологий, проведена закупка ПО, модернизация оборудования.

Новое оборудование позволило кратно увеличить возможности платформы (24 узла GP, 65 HDP, 7.5 ПБ диск пространства). Платформа подготовлена к росту объема данных, числа пользователей BI, витрин, песочниц. Развернуты дополнительно несколько контуров (DEV/TEST), что с внедрением релизного процесса, практик CI/CD позволяет повысить качество конечных продуктов.

Переход на opensource, собственную разработку сократили требуемый объем закупки лицензий проприетарных продуктов в несколько раз, что уменьшило бюджет проекта на миллионы долларов, позволило нивелировать корпоративные и санкционные риски.

Командам других подразделений предоставлен сервис self-service BI/ETL в качестве отдельной площадки для самостоятельной разработки и демонстрации прототипов («серый» контур). ЦХД обеспечивает инфраструктурой и поддержкой прикладного ПО, сторонние команды сосредоточены на процессах анализа и разработки. Согласованные заказчиком прототипы, претерпевая рефакторинг, переносятся далее на целевой контур, что существенно снижает T2M.

В 2019 ЦХД официально введено в промышленную эксплуатацию.