Создание единой технологической платформы (ЦХД)

Заказчик
ПАО Ростелеком
Руководитель проекта со стороны заказчика
ИТ-поставщик
ПАО Ростелеком
Сроки выполнения проекта
Апрель, 2018 - Ноябрь, 2019
Масштаб проекта
115000 человеко-часов
3000 автоматизированных рабочих мест
500 абонентов
Цели

- Объединение федеральных ХД организацией информационного-аналитического пространства на базе единой отказоустойчивой масштабируемой платформы (ЦХД), как единого источника достоверной, интерпретируемой, качественной, актуальной информации по оптимальной стоимости

- Исполнение директивы Правительства по импортозамещению смещением баланса в сторону отечественного ПО, собственных разработок и opensource

- Сокращение ТСО/TCC систем отчетности и аналитики

- Реализация в рамках ЦХД функции управления данными, методик консолидированной подготовки данных, ККД, бизнес-глоссария, интерпретации в бизнес-термины исходных данных, интеграция с MDM/RDM системами, предоставление data lineage, возможность impact анализа в границах полного жизненного цикла атрибутов

- Развитие культуры бизнес-аналитики, использования инструментов исследования данных (Predictive Analytics, ML, Text Mining), повышение монетизации данных, демократизации.

- Уменьшение T2M практиками прототипирования, self-service BI/ETL

Уникальность проекта

Каждая из заявленных целей в рамках такой крупной компании, как Ростелеком, уже претендует на статус полномасштабного отдельного проекта. Объединение этих целей в один проект со сжатыми сроками делает задачу поистине амбициозной и трудновыполнимой

Силами проектной команды и выстраивается целевая платформа, и поддерживается развитие существующих ХД без снижения их результативности. Выбранный сценарий позволяет достичь конечного результата без срыва их работы и перерывов в предоставлении результатов бизнесу

Клиентами являются представители всех блоков компании. На платформе представлены данные из более, чем 200 СИ. Общий объем данных достигает 2ПБ, количество объектов исчисляется сотнями тысяч

MDM, BigData, MPP и существенная часть интеграционных продуктов представлены либо opensource, либо российским ПО или собственной разработкой. Полноценно переход на отечественное ПО не прошла ни одна компания, сопоставимая с Ростелекомом по ИТ-ландшафту и историей развития аналитического контура
Проект решает задачи импортозамещения
Нет
Использованное ПО

Store and Compute, DBMS: Hadoop (HDP), Hive, PostgreSQL, Oracle DB, Arenadata DB

Интеграционные инструменты: NiFi, Kafka, IBM DataStage, IBM CDC, in-house разработка ККД и ELT модулей с оркестрацией отдельных задач на Airflow

CI/CD: Jenkins

Analytics: Spark

Бизнес-глоссарий, Data Governance: in-house разработка

MDM/RDM: CDI система HFLabs «Единый клиент», собственная разработка ОРПОН (мастер-система на объектам недвижимости и адресам), собственная разработка по работе со справочной информацией УНСИ

In-house разработка: Java, Python, Django, October CMS

Сложность реализации

Общее количество ИС компании превышает несколько сотен. Ключевые СИ для ХД, даже относящиеся к одному классу систем, представлены разными вендорами.

На начало проекта существовал целый ряд разрозненных ХД и систем отчетности федерального и регионального уровней развиваемых и сопровождаемых хаотичным образом отдельными внутренними и внешними командами. ХД отличаются стеком технологий, подходами работы с СИ, нет согласованной методологии расчета показателей, единого глоссария. Некоторые ХД при этом представляют сложные программные комплексы, работая с большим количество источников (> 100).

Были задействованы многочисленные инсталляции всех имеющихся на рынке BI продуктов.

Ресурсы инфраструктуры ХД были исчерпаны, лицензии ряда продуктов требовали обновления и дозакупки.

В 2019 г. взяты обязательства исполнения директивы по импортозамещению. Это потребовало оперативного изменения планов исполнения проекта, ресурсного плана, пересмотра связанных рисков, открытия дополнительных активностей

Описание проекта

В 2017 г. компанией принята обновленная стратегия развития 2018-2022, в которой помимо гос проектов учтены индустриальные тренды (экосистемы, платформенные бизнес модели), потребительское поведение (персонализация, визуальная коммуникация, приоритет мобильных устройств, геймификация), технологические тренды (IoT, AI, эра данных). Обозначен вектор развития компании – масштабная трансформация из телеком оператора в цифрового партнера населения, бизнеса и государства. Среди ключевых приоритетов: развитие экосистем продуктов, услуг и клиентского сервиса; модернизация технологической платформы; повышение эффективности.

В реализации обновленной стратегии компании ИТ блоку отведена одна из ключевых ролей. Среди фокусных задач блока обозначено развитие контура управления данными / Business Intelligence, следствием чего стало открытие проекта «Создание единой технологической платформы (ЦХД)». Цель проекта: организация того информационного-аналитического пространства, которое должно выполнить роль одного из главных плацдармов для осуществления полномасштабной трансформации компании.

В рамках имеющихся систем отчетности по результатам аудита была обозначена проблематика:

- отсутствие единой системы работы с НСИ, интеграции ХД с мастер-данными, «золотого» клиента

- высокое TCO/TCC процесса развития отчетности, повышенный T2M

- несогласованность в методологии расчета показателей в системах отчетности; несоответствие качества и актуальности предоставляемой информации требованиям бизнеса

- отсутствие ККД в первичных системах и в системах отчетности

В ходе проекта внедрены RDM и MDM системы, обеспечена интеграция с ЦХД, создан единый Глоссарий, составлен реестр отчетов, карта данных, разработан DG инструментарий, обеспечена демократизация данных. Определен целевой стек технологий, проведена закупка ПО, модернизация оборудования.

Новое оборудование позволило кратно увеличить возможности платформы (24 узла GP, 65 HDP, 7.5 ПБ диск пространства). Платформа подготовлена к росту объема данных, числа пользователей BI, витрин, песочниц. Развернуты дополнительно несколько контуров (DEV/TEST), что с внедрением релизного процесса, практик CI/CD позволяет повысить качество конечных продуктов.

Переход на opensource, собственную разработку сократили требуемый объем закупки лицензий проприетарных продуктов в несколько раз, что уменьшило бюджет проекта на миллионы долларов, позволило нивелировать корпоративные и санкционные риски.

Командам других подразделений предоставлен сервис self-service BI/ETL в качестве отдельной площадки для самостоятельной разработки и демонстрации прототипов («серый» контур). ЦХД обеспечивает инфраструктурой и поддержкой прикладного ПО, сторонние команды сосредоточены на процессах анализа и разработки. Согласованные заказчиком прототипы, претерпевая рефакторинг, переносятся далее на целевой контур, что существенно снижает T2M.

В 2019 ЦХД официально введено в промышленную эксплуатацию.

В настоящий момент мы перешли на следующий этап развития платформы.
География проекта
Единая технологическая платформа используется сотрудниками без исключения во всех регионах Российской Федерации.
Коментарии: 26

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • 03.11.2019 13:26

    Дмитрий, большое спасибо за интересный рассказ про реализованный проект. Он даёт ответы на многие вопросы, а так же наводит размышления по поводу ещё больше числа дополнительных вопросов:

    Как вы применяете CI/CD практики для хранилища данных?
    Удалось ли вам развернуть полноценное Unit тестирование для объектов хранилища? Это довольно нетривиальная задача, и готового инструментария в общем не особо много существует.

    Очень интересна так-же реализация self-service BI/ETL. Есть ли какие-то соглашения о форме разработок, которые можно признать достаточно зрелыми для перевода в продуктивный контур? Есть ли стандарты на то, каким образом и на каком инструментарии должны быть разработаны такие функциональные блоки?

    Есть ли у вас так называемые "Адвокаты" или даже "Евангелисты" в бизнес подразделениях, для продвижения идей и возможностей, которые могут получать представители бизнеса от этой новой и гибкой платформы?

    Ну и конечно интересен опыт использования ArenadataDB - вижу всё больше успешных применений Greenplum как платформы для хранилища, что не может не радовать.

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      05.11.2019 18:02

      В отношении самостоятельной разработки пользователями отчетности в инструментах Business Intelligence действует отдельная политика, которая описывает собственно сам сервис, предоставляемые в его рамках возможности и ограничения, зона ответственности команды ЦК BI. Отдельно в политике отражены критерии «зрелости» и требования для переноса на целевой контур. В частности, переводимые отчеты должны быть реализованы в обязательном порядке на целевых BI продуктах. Их состав был определен в Ростелекоме в 2018 г. командой Управления Данными.

      Также в отношении функционала предъявляются требования к соблюдению стандартов. Не буду скрывать, данные документы находятся еще в статусе разработки. В них необходимо достичь компромисса между строгостью стандартов для BI команды и свободами, необходимыми для сторонних неспециализированных команд в бизнес-подразделениях.

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      05.11.2019 18:05

      Помимо self-service BI предоставляется при необходимости self-service ETL и инстанс/схема СУБД для выполнения полного цикла работ по разработке и пилотированию прототипов. Схема-песочница может быть развернута непосредственно на ПРОД контуре Greenplum (ADB) с целью предоставления read-only доступа к актуальным данным. На таковые схемы и связанные с ними активности накладываются дополнительные ограничения по выделению серверных ресурсов.

      Дополнительно отмечу, что предоставляемые в рамках песочниц продукты ETL и СУБД могут и не входить в целевой стек ЦХД, если того требует оперативность работ и предоставление DRAFT результатов менеджменту. Но это однозначно потребует рефакторинг функционала в случае перевода на целевой контур. Таким образом пользователям платформы предоставлен максимально широкий набор сценариев работы на выбор.

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      05.11.2019 18:06

      С целью улучшения эффективности коммуникации с заказчиками и повышения степени их удовлетворенности для каждого из бизнес-сегментов/направлений сформированы кросс-функциональные команды под управлением выделенного ИТ лидера (account manager), в круг их обязанностей входит разъяснение целей создания платформы, открываемых перспектив и подходов работы с нею.

      Что касается песочниц, то благодаря предоставляемым возможностям число их пользователей постоянно растет. Многие из них таким образом сами же и являются эффективными евангелистами на местах.

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:25

      «…Ну и конечно интересен опыт использования ArenadataDB - вижу всё больше успешных применений Greenplum как платформы для хранилища, что не может не радовать»

      Действительно проект Greenplum вызывает все больший интерес на российском рынке, растет его популярность, количество внедрений в крупнейших компаниях.
      Безусловно этому поспособствовало решение выхода СУБД в open source и, как следствие, появление на его базе российского продукта.

      В результате компаниям, использующим Greenplum в своих задачах, это предоставляет при разработке среднесрочной стратегии развития аналитической платформы комфортную возможность выбора. Причем, сделанный однажды выбор не ограничивает в возможности «мягкой» смены вендора сборки в долгосрочной перспективе. В том числе касаемо перехода на собственную сборку и перспективой состояться полноценным контрибьютором в проект.

      С учетом российских реалий наряду с прочими достоинствами это делает Greenplum поистине одной из наиболее привлекательных аналитических СУБД enterprise-уровня.

      Кстати, подобный переход наша команда уже выполнила в рамках проекта ЦХД. Ссылка на habr статью о самой миграции https://habr.com/ru/company/rostelecom/blog/439876/

  • Дмитрий Куртов
    Рейтинг: 395
    Цифрум
    Архитектор управления корпоративных данных
    05.11.2019 18:00

    Добрый вечер!

    Выполнить с использованием Jenkins автоматизацию сборки и раскатки артефактов, включая unit-тесты, нам удалось еще в прошлом году. В части модели метаданных сущностей ХД. Подробно об этом рассказано в статье https://habr.com/ru/company/rostelecom/blog/428101/

    На текущем этапе мы расширяем внедрение практик CI/CD с целью максимального уменьшения показателя T2M, как одной из ключевых целей проекта. Это, как известно, протяженный процесс, т.к. требует не только подготовки инструментария, но и корневых изменений в организации работы всех команд разработки и архитектуры самих продуктов.

  • 08.11.2019 23:09

    Дмитрий, очень интересный проект, как по масштабу, так и по задачам.

    Но после прочтения остались определенные вопросы.

    На данный момент у вас получилась достаточно разнородная архитектура. Состоящая из нескольких различных классических РСУБД, MPP РСУБД и Hadoop кластера, а также нескольких ETL-средств.

    Это окончательная структура или есть некая "TO BE" модель, которая будет реализована в будущих этапах проекта, или в новых проектах?

    Как вы управляете расположением данных.

    Вы используете различные ETL- сервисы, как вы оркеструете их?

    Как у вас устроен мониторинг состояния ЦХД, не физического состояния серверов, а именно данных и процессов работающий на нем?

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:26

      «Это окончательная структура или есть некая "TO BE" модель?»
      В части RDBMS мы выполним полный перевод продуктов/инструментов с Oracle DB на PostgreSQL. Уже выполнен подобный перевод для DG.

      Сокращение использования иностранных ETL продуктов, а далее полный переход на отечественное ПО, мы планируем выполнить благодаря расширению компетенций в части open source интеграционных продуктов.
      Взяться за эту задачу в полной мере нам еще только предстоит. Сейчас мы, как говорится, пока еще «наращиваем мышцы». Пользуясь случаем, хотел бы пригласить на наш митап, посвященный Apache Nifi.
      https://habr.com/ru/company/rostelecom/blog/475860/#habracut

      Вследствие импортозамещения нам предстоит завершить анализ широкого набора отечественных и open source продуктов, их пилотирование, выполнить выбор целевых решений, провести ряд миграций. В итоге на следующем этапе мы ожидаем скорее расширение стека. В первую очередь в классе BI решений. И только на финальной стадии по завершении миграций мы получим оптимизацию ландшафта платформы.

    • Дмитрий Куртов
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:27

      «Как вы управляете расположением данных? Вы используете различные ETL- сервисы, как вы оркестрируете их?»

      На портале в разделе DataOffice представлена «Карта данных».
      Для управления всей цепочкой доставки, обработки данных и исполнения процедур ККД задействован управляющий механизм (УМ): система планирования заданий и контроля их исполнения. Механизм является in-house разработкой.

      УМ решает проблемы, специфичные именно для нашего сценария загрузок, а также позволяет абстрагироваться, насколько это возможно, от уровня технологических платформ. В будущем мы рассчитываем, что подобный подход позволит нам легко заменить каждое технологическое звено другим, более подходящим продуктом, что потребуется выполнить в рамках импортозамещения и в целом оптимизации toolkit платформы.
      Вся цепочка полностью автоматизирована, а за ее корректной работой следит команда сопровождения платформы.

  • Максим Феопентов
    Рейтинг: 92
    Евраз
    Директор по развитию цифровых технологий
    11.11.2019 14:10

    Добрый день, Дмитрий!

    Все-таки очень интересен опыт выбора технологического стека opensource ПО в части вышеописанных self-service ETL/BI инструментов. Расскажите, пожалуйста, подробнее, удалось ли найти подходящий отечественный коробочный инструмент для такого рода self-service BI/ETL/DS? В opensource пока с этим не очень богато, мы слышали про что-то похожее в Kedro (делает дочка McKinsey), но без тестирования неясно, насколько богат и production-ready функционал в открытой версии (и есть ли неоткрытая). Также нет многообразия в плане self-service BI opensource инструментов - тот же Tableau в opensource только в базовой версии, насколько известно. Если не opensource, то из отечественных есть Полиматика, Форсайт, Alpha BI. Было бы интересно посмотреть на сравнение, если оно проводилось. Спасибо!

    • Дмитрий Куртов Максим
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:28

      Набор self-service BI инструментов представлен в настоящий момент проприетарным ПО.

      Как уже сообщалось в ответах выше, вследствие импортозамещения в следующем году будет завершен анализ широкого набора отечественных и open source продуктов, определены целевые решения. В том числе на роль целевых self-service BI.

      В качестве self-service ETL используются Knime и Talend. На текущем этапе они в полной мере удовлетворяют запросы наших внутренних клиентов.

    • Дмитрий Куртов Максим
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:28

      «Если не opensource, то из отечественных есть Полиматика, Форсайт, Alpha BI»

      Short list российских BI, выбранных для подробного анализа и пилотирования включает 8 продуктов. Список составлен в результате анализа единого реестра и первичного ознакомления с функциональными возможностями продуктов. В этот перечень также входят перечисленные вами ПО. Но предоставление полного списка по понятным причинам мы считаем преждевременным.

      О самих пилотах и их результатах, выводах мы обязательно расскажем по завершении в отдельной статье на habr.

  • Илья Савенков
    Рейтинг: 20
    ПАО "Сбербанк"
    Директор проектов
    13.11.2019 17:09

    Добрый день, Дмитрий!

    Интересный проект!
    Расскажите, пожалуйста, чуть подробнее относительно аппаратной части, использованной для ИТ-инфраструктуры проекта. Какие HW платформы, OS, кол-во ЦОД, HA/DR и т.д. Планируется ли импортозамещение определенных компонент этой инфраструктуры и на что? Возможно, вы уже продвинулись в этом направлении?
    Также интересен ваш опыт использования (плюсы/минусы/нюансы) и поддержки open-source ПО под критические задачи в промышленном контуре и в проекте такого масштаба. Введено ли open-source ПО в технологический стек, под какой класс задач, критичность и т.д.

    Спасибо!

    • Дмитрий Куртов Илья
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:28

      Используется исключительно платформа x86.
      Системы виртуализации: VMWare, KVM.
      OS: преимущественно RedHat 7.x, в существенно меньшей степени Windows 2012-2016.
      Георезервирование не планировалось, т.к. аналитические платформы относятся к классу Business operational.
      HA решения применяются только в отношении BI продуктов. Для GP планируется развертывание DR контура.

    • Дмитрий Куртов Илья
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:29

      Для целей модернизации PROD контура платформы было закуплено следующее оборудование:
      - GP: 24 node (2x20 core, 512GB RAM, 21.5 TB), 2 master (2x12 core, 128GB RAM, 960GB)
      - HDP: 65 node (2x10 core, 256GB RAM, 96 TB), 2 name node (2x10 core, 128GB RAM, 300GB)
      - BI: 3 x (2x16 core, 1536GB RAM, 1.9 TB), 4 x (2x12 core, 756GB RAM, 2.7 TB), 3 x (2x12 core, 512GB RAM, 2.7 TB)
      - Виртуальная ферма: 24 х (2x22 core, 768GB RAM, 300GB), СХД 176 TB
      Такой же конфигурации, но в меньшем объеме закуплено оборудование для DR/UAT сред GP и BI. Прочие среды (SDEV/FDEV/TEST) развернуты на legacy оборудовании и VM.

    • Дмитрий Куртов Илья
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:29

      В ходе формирования заказов на закупку оборудования совместно с корп. тех. архитекторами конфигурация была максимально приведена к типовой. Это дает нам в последующем в течении продолжительного периода возможность с минимальными затратами выполнять upgrade, формировать в достаточном объеме ЗИП. Последнее гарантирует оперативное с минимальным downtime устранение тех неполадок в работе оборудования, которые требуют замены комплектующих.

    • Дмитрий Куртов Илья
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:29

      «Также интересен ваш опыт использования (плюсы/минусы/нюансы) и поддержки open-source ПО под критические задачи в промышленном контуре и в проекте такого масштаба. Введено ли open-source ПО в технологический стек, под какой класс задач, критичность и т.д.»

      Open-source продукты широко задействованы в классах BigData, MPP и в части интеграционных решений. Их PROD инсталляции в рамках единой технологической платформы в сентябре 2019 г. официально введены в промышленную эксплуатацию. Только в отношении продукта Arenadata DB закуплена техническая поддержка. Сопровождение других продуктов выполняется полностью силами команды УД.

    • Дмитрий Куртов Илья
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:29

      «Планируется ли импортозамещение определенных компонент этой инфраструктуры и на что? Возможно, вы уже продвинулись в этом направлении?»

      За импортозамещение инфраструктурных в РТК отвечают другие подразделения. Нам известно, что коллегами проводятся пилоты оборудования отечественного производителя и OS, внесенных в единый реестр российского ПО. Но проект ЦХД импортозамещение в части инфраструктуры и OS пока не затрагивает.

  • Георгий Головчинер
    Рейтинг: 33
    КБ Долинск
    Зам. председателя Правления, Главный архитектор
    18.11.2019 22:21

    Дмитрий, здравствуйте!

    Большое спасибо за рассказ. Масштабы и скорость исполнения проекта впечатляют.
    Вместе с тем возникли несколько вопросов:
    1) В описании проекта указано, что было использовано только opensource или российское ПО. К российскому ПО отнесены продукты IBM и Oracle?
    2) Какая функциональность реализована в мастер-справочнике объектов недвижимости и используется ли справочник ФИАС, реализованный HFLabs?
    3) Можете более подробно описать для каких целей использованы каждый из инструментов DBMS?
    4) Есть ли какие-то измеренные показатели изменений в части time2market, и TCO?
    5) Не ставилась ли задача обезличивания данных для контура разработки? Если ставилась, какими инструментами предполагается ее решать?

    Заранее благодарен!

    • Дмитрий Куртов Георгий
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:30

      Добрый день, Георгий! Благодарю вас за интерес и вопросы.
      Предоставляю ответы по пунктам:

      1) Исполнение директивы Правительства по импортозамещению не требует незамедлительного исключения из стека иностранного ПО. Целью является поэтапное смещение баланса в сторону отечественного ПО, собственных разработок.
      В описании проекта мною было указано, что «MDM, BigData, MPP и существенная часть интеграционных продуктов представлены либо opensource, либо российским ПО или собственной разработкой».
      Среди продуктов IBM в проекте мы используем интеграционные инструменты.
      Из продуктов Oracle нами задействованы RDBMS и BI продукты. Они не упоминаются в перечне классов продуктов выше.

    • Дмитрий Куртов Георгий
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:31

      2) Проект ОРПОН содержит в себе объединенные справочники ФИАС и внутренние справочники РТК. В результате в эталонном хранилище мастер-справочника данных адресов больше, чем в БД ФИАС. Аналогично по объектам недвижимости - сформированный эталонный справочник содержит объединенную информацию из разных источников.
      Подробно с ОРПОН можно ознакомиться на странице проекта https://www.globalcio.ru/live/projects/3166. Он также принимает участие в конкурсе.

      Решение HFL базируется на использовании ФИАС, но в проектах УД HFL используется, как сервисная платформа, работающая с готовым эталонным адресным справочником.

    • Дмитрий Куртов Георгий
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:32

      3) В кластер Hadoop загружаются из СИ данные, к которым не предъявляются высокие требования к оперативности загрузки, подготовки и предоставления конечным пользователям платформы. Задействованием Hive проводится первичная обработка данных ряда источников.
      Кроме того, Hadoop используется, как площадка обеспечения хранения данных с максимальной глубиной. На GP глубина хранения ограничена.

      На кластере Greenplum представлены слои реплик СИ, DDS, ADS, DM.
      Oracle DB используется в качестве репозитория большей части ETL/MDM инструментов. Пользовательские данные в Oracle DB представлены исключительно в контуре ПД. Подробнее о контуре ниже в ответе на вопрос 5.

      На базе кластеров Hadoop и GP формируется озеро данных.

    • Дмитрий Куртов Георгий
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:32

      4) Оценка показателей проводится на регулярной основе. Оптимизация расходов на upgrade оборудования и закупку лицензий SW существенно снизили общий TCO Хранилищ Данных уже в 2018 г.
      На последующих этапах мы ожидаем увеличение эффекта в результате полного завершения перевода ХД на единую технологическую платформу.

      В отношении показателя T2M, признаюсь, существенных улучшений к настоящему моменты мы не получили, но ожидаем сокращение в ближайшие периоды. Для этого предпринимаются следующие меры:
      - кардинальные улучшения в подходах работы с заказчиком (в отношении чего регулярно проводятся опросы, проходит анализ итогов);
      - предоставление self-service BI/ETL, «песочниц» для прототипирования;
      - расширение внедрения практик CI/CD;
      - предварительная загрузка (в Hadoop) более расширенного атрибутного состава данных из СИ.

    • Дмитрий Куртов Георгий
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      22.11.2019 14:32

      5) Чувствительные данные, требующие обезличивания, НЕ загружаются в ХД.
      Для этих целей развернут отдельный «контур ПД». В нем представлен свой отдельный набор сред (DEV/TEST, PROD) на отдельных инсталляциях DBMS, ETL, BI продуктов, развернутых в рамках выделенного VLAN.
      Доступ к ресурсам контура ПД имеет ограниченный круг сотрудников. Предоставление доступа регулируется/согласовывается в обязательном порядке владельцами данных и ИБ.
      В силу перечисленных мер данные на неPROD средах контура ПД обезличивание не претерпевают.

  • Виктор Житенев
    Рейтинг: 5
    ООО ОФИСМАГ
    Заместитель директора департамента по бизнес-процессам
    23.11.2019 21:38

    Здравствуйте, Дмитрий!
    Действительно интересный проект, заслуживающий внимания. Расскажите пожалуйста подробнее о целях, которые цели ставились в части импортозамещения в 2019 году, какие цели отнесены на последующие периоды? С какими в большей степени трудностями, препятствиями вы встретились на пути к этим целям?
    Если сейчас нет возможности перечислить названия продуктов-фаворитов, скажите в каком классе предложен наибольший выбор конкурентных продуктов в настоящий момент на российском рынке по вашему мнению?
    Спасибо!

    • Дмитрий Куртов Виктор
      Рейтинг: 395
      Цифрум
      Архитектор управления корпоративных данных
      27.11.2019 18:19

      Добрый вечер!

      Тема импортозамещения весьма обширна. О тех целях, которые были поставлены на 2019-2020 гг., работах, которые удалось выполнить, трудностях и успехах, подведенных итогах и планах на последующие периоды рассказать подробно в два-три абзаца не представляется возможным.

      Поэтому с учетом того, что все же хотелось бы в полноценном общении обязательно и поделиться состоявшимся опытом, и получить советы/рекомендации, я готовлю с коллегами отдельную статью, посвященную импортозамещению в УД, которая будет в скором времени опубликована на habr.com в блоге Ростелекома https://habr.com/ru/company/rostelecom/blog/

      Приглашаю к активному обсуждению на площадке habr.com

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.