Импортозамещение озера данных на платформу Arenadata Hadoop

Заказчик

Банк ВТБ (ПАО)

Руководитель проекта со стороны заказчика

Дмитрий Алексеев

Заместитель руководителя Департамента Технологического Развития Общебанковских Систем

ИТ-поставщик

Компания «Дататех» ГК «Иннотех», IBS, ФилИТ.

Год завершения проекта

2023

Сроки выполнения проекта

Ноябрь, 2020 - Май, 2023

Масштаб проекта

338400 человеко-часов

Цели

Достигнуть полный технологический суверенитет озера данных;
Сократить T2M ИТ-сервисов для бизнеса за счет унификации и стандартизации процессов разработки и внедрения единых DevOps практик;
Обеспечить технологическое развитие аналитической платформы Банка без ограничений, связанных с legacy платформой Oracle BDA (Cloudera Hadoop) и другими иностранными компонентами;
Увеличить вычислительные мощности пользовательского кластера более чем в два раза;
Снизить общую стоимость владения.

Результаты

Полностью достигнут технологический суверенитет озера данных;
Сокращено T2M ИТ-сервисов для бизнеса за счет унификации и стандартизации процессов разработки и внедрения единых DevOps практик;
Обеспечено технологическое развитие аналитической платформы Банка без ограничений, связанных с legacy платформой Oracle BDA (Cloudera Hadoop) и другими иностранными компонентами;
Увеличены вычислительные мощности пользовательского кластера более чем в два раза;
Снижена общая стоимость владения;

Уникальность проекта

Один из первых и крупнейших проектов в РФ по миграции с санкционного Oracle BDA (Cloudera Hadoop) на отечественную импортозамещенную платформу Arenadata Hadoop;
Миграция озера данных объемом более 6 Петабайт данных;
Физическая миграция оборудования весом несколько тонн между ЦОД для обеспечения надежности и отказоустойчивости;
Полное построение на импортозамещенных технологиях с использованием стека открытого программного обеспечения;
Распределенная географически команда проекта по всей России состоящая из более, чем 130 производственных команд;
При отказе от сотрудничества одного из вендоров в кратчайшие сроки была разработано альтернативное решение – Платформа репликации данных Hadoop Sync. По функциональности на 100% соответствует потребностям Банка;
Количество потоков, количество объектов, количество транзакций;
Загрузка данных из новых источников данных, реализованных в рамках цифровой трансформации Банка;
Миграция и параллельное развитие legacy-решения.

Проект решает задачи импортозамещения

Да

Использованное ПО

Программное обеспечение: Arenadata Hadoop, Spark, HiveZeppelin, Airflow, RabbitMQ, PostgreSQL, FluentD, Grafana, Kibana, Elastic search, ETL framework DDF (собственная разработка), Платформа репликации Hadoop Sync (собственная разработка), OpenShift, DBeaver, RStudio, Juputer Hub.

Оборудование: ПАК Скала-ср/АДХ, Частное облако ВТБ

Сложность реализации

C учетом значительного объема решаемых задач и большого количества участников на первый план вышли задачи управления.

Именно координация, информирование и контроль потребовали значительных усилий управленческой команды. Проект был декомпозирован на ряд направлений (по сути - проектов меньшего масштаба) и представлял собой проектную программу.

Так же усложнили задачу отличия целевого технологического стека от legacy, что потребовало от производственных команд ускоренного погружения в относительно новую технологическую реализацию и породило немало трудностей, для решения которых применялись весьма нестандартные подходы.
Большое количество взаимосвязей задач загрузки данных и функционала витрин данных так же потребовали непростых компромиссов и технических решений.
Внесла свой негативный вклад пандемия COVID-19, снижавшая производительность команд непредсказуемым образом. В некоторых командах одномоментные потери сотрудников превышали 30-40%.
Ход проекта продемонстрировал важность вопросов управления данными и архитектуры данных. Так, «точечные» изменения типов данных или их структуры порождали существенный объем изменений на стороне витрин данных и их потребителей. Без должного контроля, такого рода изменения могут привести к значимому негативному влиянию на график работ и на объем бюджета.
Кроме того, проект миграции осуществлялся в условиях происходящей в Банке глобальной трансформации, что повышало риски влияния на график работ со стороны других проектов и активностей.

Описание проекта

В рамках проекта было реализовано:

Развертывание программно-аппаратного комплекса Data Analysing Processing Platform (DAPP) на базе Arenadata Hadoop, включающего в себя основной кластер регламентных загрузок и расчетов, DR кластер, ИФТ и DEV среды;
Перенос функционала ETL потоков загрузок и подключено к DAPP более 100 информационных систем-источников данных, как внутрибанковских, так и внешних;
Миграция аналитического функционала, включая более 300 витрин данных для различных направлений;
Миграция аналитического функционала искусственного интеллекта и необходимых для этого данных;
Миграция пользовательского функционала, включая более 30 пользовательских песочниц, 8 прикладных BI и аналитических систем
Переобучение пользователей работе с новыми импортозамещенными компонентами;
Санкционное ПО WanDisco для репликации данных замещено на отечественное ПО HadoopSync собственной разработки.

География проекта

Система спроектирована для доступна из всех 66 региональных операционных офисах Банка ВТБ

В настоящий момент с системой работают сотрудники из разных городов России.

Над проектом работала сводная команда из более 130 производственных команд, обеспечив более 250 поставок, а общее количество участников с различным уровнем вовлечения в проекте превысило 1 700 человек.

Дополнительные презентации:

Озеро Данных.pdf