Импортозамещение витрин данных для ответов на запросы Федеральных Органов Исполнительной Власти (ФОИВ)

1. Развитие конвейера предоставления ответов в федеральные органы исполнительной власти (ФОИВ), развитие слоя источника данных для предоставления ответов на запросы ФОИВ. 

2. Осуществление перехода на целевую архитектуру в рамках цифровой трансформации банка;

3. Улучшение регламента формирования витрин и повышение надежности системы предоставления выписок

4. Увеличение вычислительных мощностей обработки запросов на кластере Arenadata DB (ADB) Витрин ФОИВ более чем в 6 раз

5. Минимизация дополнительной нагрузки на системы источников данных

6. В рамках проекта необходимо было внедрить объекты на разных уровнях источников, озер данных, корпоративных хранилищ, а также создать сервис для обработки точечных запросов к витринам данным

7. Обеспечение хранения данных для предоставления выписок государственным органам с 2017 года

1. Миграция аналитического функционала, включая 22 витрины данных для различных бизнес-направлений;

2. В эти витрины были загружены данные, начиная с 2017 года по более чем 1300 атрибутам, что делает их одним из крупнейших источников данных в Банке.

3. Более 400 млрд записей в 67 витринных сущностях, а также более 70 ТБ хранимых данных, ежедневное обновление до 11 ТБ

Кластер Arenadata DB, Arenadata Hadoop, Kafka, Airflow, Spark, HIVE, adb_spark_connector.

Отдельно стоит выделить обработчик запросов для формирования выписки по клиенту (Spark Structured Streaming), который был создан с нуля командой проекта.

1. Одновременная смена технологической платформы СУБД, смена модели детального слоя хранилища и частичная смена источников данных;

2. Перенос данных на целевую платформу Arenadata DB;

3. Разработка собственного решения по обработке поступающих запросов к витринам данных от конвейера обработки запросов, поступающих в банк.

4. Реинжиниринг решения на импортозамещенных технологиях с использованием стека открытого программного обеспечения;

5. Распределенная географически команда проекта по всей России и распределенная команда проекта по стримам: разработка витрин, разработка ядра, качество данных, ролевой доступ к данным, аналитически справочники и поддержка.

6. Миграция и параллельное развитие legacy-решения

7. Совместная проектная деятельность множества команд развития платформы данных, а также привлечение к проекту десятков подразделений хранилищ данных и АБС

1. Развертывание программно-аппаратного комплекса на базе Arenadata DB, включающего в себя основной кластер регламентных загрузок и расчетов, DR кластер, ИФТ и DEV среды;

2. Кардинально переработаны и внедрены витрины данных на отечественной платформе Arenadata DB, позволяющие формировать в ежедневном режиме слой витрин для последующего формирования выписок на них.

3. В модель новых витрин загружаются данные из новых источников данных, реализованных в рамках цифровой трансформации банка;

4. По результатам внедрения практически заново разработаны витрины данных на импортозамещенной платформе ArenadataDB, а также обработчик запросов, удалось повысить качество данных и скорость предоставления ответов на запросы, что положительно сказывается на всех бизнес-процессах по предоставлению ответов на запросы ФОИВов.

5. Для реализации проекта были созданы хранилища данных, так называемые «витрины данных», содержащие информацию об операционной деятельности, клиентских взаимодействиях ФЛ и ЮЛ клиентов банка.

6. Улучшение качества данных, поступаемых в витрины ФОИВ, за счет обогащения банковскими архивами, а также данными из оперативных слоев ODS

7. Миграция импортозамещенной СУБД Arenadata DB с нецелевой ОС RedHat на целевую импортозамещенную ОС Astra Linux

Проект покрывает все клиентские операции банка ВТБ и присоединенных к нему банков.

Система спроектирована для использования всех центров обработки запросов от ФОИВ на территории РФ.

В настоящий момент с системой работают сотрудники из разных городов России.