Внедрение одной из крупнейших в России Платформ Данных

1. Внедрить Платформу Данных на полностью импортозамещенных технологиях

2. Реализовать отказоустойчивую, масштабируемую и геораспределенную архитектуру повышенной надежности

3. Реализовать ролевую модель доступа в соответствии с требованиями информационной безопасности без необходимости настройки доступов на уровне хранения данных

4. Внедрить корпоративные стандарты аналитической Платформы Данных, обеспечивающие унифицированные интерфейсы и правила обмена данными

5. Снизить общую стоимость владения

В рамках цифровой трансформации Банка создана новая Платформа Данных на основе которой разработаны новые продукты, услуги и сервисы и Платформа Данных помогает:

1. Запускать реферальные продажи и привлекать клиентов

2. Прозрачно мотивировать сотрудников продаж

3. Быстрее и надёжнее взаимодействовать с государственными органами

4. Управлять рисками и точно считать капитал (IRB/ПВР)

5. Управлять активами и пассивами (ALM)

6. Формировать обязательную и управленческую отчётность

7. Точнее скорить клиентов

8. Эффективнее взаимодействовать с Бюро кредитных историй

9. Быстро выдавать клиентские справки и выписки

10. Предотвращать мошенничество и соблюдать AML

11. Делать CRM-кампании безопаснее

12. Поставлять данные в модели Искусственного Интеллекта

Кластер Arenadata DB, PostgreSQL, Kafka, Prometheus, Grafana, nginx, Airflow, JupyterHub, Elasticsearch, ПАК «Сила СХД», Dremio, ETL Framework (собственная разработка), Arenadata Hadoop, Spark, Hive, Zeppelin, RabbitMQ, PostgreSQL, FluentD, Grafana, Kibana, Elastic search, Платформа репликации Hadoop Sync (собственная разработка), OpenShift, RStudio, DBeaver.

В рамках программы было создано более 30 новых информационных систем. Три ключевых системы настолько большие:

1. Хранилище Данных

2. Озеро Данных

3. Оперативный склад данных

что состоят из более 300 подсистем.

Все новые системы и подсистемы Платформы Данных созданы на 100% импортозамещенном технологическом стеке.

В разработке и внедрении которого приняли участие более 2700 специалистов из разных городов России, работавших в составе 250 команд.

Объем данных, обрабатываемых на платформе, превышает 10 Петабайт.

В создание Платформы Данных инвестировано более 1 200 000 чел. часов.

Техническая сложность заключалась в реализации огромного объема бизнес-логики:

1. 46 млн строк кода

2. оптимизации алгоритмов обработки больших данных и построении огромного количества моделей ИИ

3. Ключевым вызовом стала миграция с зарубежных решений на отечественный стек технологий без остановки бизнес-процессов.

1. Проект представлял собой масштабную программу по созданию и внедрению централизованной Платформы Данных, призванной заменить унаследованные системы. Технологическим ядром стали три компонента: Централизованное хранилище (Arenadata DB) для сложных аналитических расчетов, Озеро данных (Arenadata Hadoop) для хранения и обработки больших данных и Оперативное хранилище как единая точка входа для данных.

2. Проект является одним из крупнейших в России по полноте решения и объемам данных (более 10 ПБ). Реализована первая в стране платформа такого масштаба, обеспечивающая 100% технологический суверенитет на базе отечественных решений. На ее основе построено более 30 бизнес-приложений и огромное количество моделей искусственного интеллекта.

3. Внедрение потребовало консолидации данных из более чем 200 источников, создания сотен интеграционных потоков и написания свыше 46 миллионов строк кода. Проект управлялся по гибридной методологии с горизонтом планирования более 3 лет, использованием ежеквартальных суперспринтов и двухнедельных спринтов. Для обеспечения качества было подготовлено и успешно пройдено более 2,1 миллиона тест-кейсов.

Данная инициатива реализована в масштабах национального проекта, что подтверждается как географией ее исполнения — более 2700 специалистов из разных городов России, работавших в составе 250 команд, — так и объемом вложенных ресурсов, превысившим 1 200 000 человеко-часов.