Управление финансами на основе трансфертного ценообразования
- Заказчик:
- ПАО ВТБ
- Руководитель проекта со стороны заказчика
- Поставщик
- ГК «Иннотех»
- Год завершения проекта
- 2024
- Сроки выполнения проекта
- январь, 2023 — октябрь, 2024
- Масштаб проекта
- 64500 человеко-часов
- Цели
-
Сформировать на импортозамещенном стеке технологий витрины данных по расчету внутреннего аналитического финансового результата (далее ТР), трансфертные доходы и расходы, компоненты финансового результата казначейства, по всем операциям банка.
-
Сформировать на импортозамещенном стеке витрину, консолидирующую данные витрин расчета внутреннего аналитического финансового результата
-
Улучшить time to market по доступности данных внутреннего аналитического Финансового результата.
-
Обеспечить проведения детального анализа в целях управления доходностью банковским продуктам.
-
- Результаты
-
Созданный комплекс витрин улучшил time to market по доступности данных на 2 рабочих дня (18%).
-
Комплекс витрин позволяет обеспечивает потребности бизнеса в части анализа и управления доходностью продуктов банка.
-
Уникальность проекта
В рамках проекта на импортозамещенном стеке технологий создан уникальный комплекс витрин данных на универсальной аналитической платформе.
Комплекс витрин данных содержит:
-
Витрина данных расчета ТР по клиентам - физическим лицам.
-
Витрина данных расчета ТР по клиентам – юридическим лицам и ИП.
-
Консолидирующая витрина данных, объединяющая полный массив данных ТР, в том числе и не промышленных источников.
В рамках проекта срок разработки комплекса витрин максимально сокращен за счет:
-
Параллельной разработке витрин.
-
Параллельной разработке базового функционала витрин и изменений в связи с модернизацией методологии расчета ТР.
Для комплекса витрины данных спроектирована и реализована ролевая модель доступа к данным, включающая в себя следующие режимы:
-
Динамического маскирования (Dynamic Masking)
-
Безопасность на уровне строк (Row Level Security)
-
Управление доступом на основе ролей (Role-based access control, RBAC)
- Проект решает задачи импортозамещения
- Да
- Использованное ПО
Кластер Arenadata DB, PostgreSQL, Kafka, Prometheus, Grafana, Nginx, Airflow, Elastic search, ПАК «Сила СХД», Dremio. ETL Framework
Кластер Arenadata Hadoop, Spark, Hive, Zeppelin, Airflow, RabbitMQ, PostgreSQL, FluentD, Grafana, Kibana, Elastic search, ETL framework DDF (собственная разработка), Платформарепликации Hadoop Sync (собственнаяразработка), OpenShift, DBeaver, RStudio, Juputer Hub.
- Сложность реализации
-
Одна из первых витрин данных (витрина расчета ТР по клиентам – физическим лицам) на единой платформе аналитического хранилища данных ArenadataDB;
-
Замена практически всех компонент комплекса витрин данных на импортозамещенный стек технологий ArenadataDB и Arenadata Hadoop;
-
Распределенная команда проекта;
-
Изменение ИТ-ландашфта Банка параллельно с построением витрины данных
-
Большие объемы данных;
-
Доработки и развитие функционала существующих legacy-хранилищ параллельно с проектированием и реализацией витрины данных;
-
Одновременная смена используемых технологий хранений, обработки и доступа к данным, модели данных ядра хранилища потребовало дополнительного обучения и адаптации бизнес-пользователей
-
- Описание проекта
В рамках проекта созданы и модернизированы:
-
мигрированы витрины данных Корпоративного Хранилища Данных (КХД) с платформы Teradata на импортозамещенный стек технологий Arenadata DB инструмент расчета ТР по клиентам – физическим лицам и модернизирован в соответствии с изменениями методологии расчета ТР относительно legacy решения.
-
инструмент расчета ТР по клиентам – юридическим лицам и ИП модернизирован в соответствии с изменениями методологии расчета ТР относительно legacy решения.
-
на импортозамещенном стеке технологий Arenadata Hadoop создана витрина, консолидирующую данные ТР.
Комплекс витрин данных содержит данные по средним остаткам, ставкам начисления ТР, сумму начисления ТР в разрезе точек продаж, клиентов, сделок, продуктов, типов начисления ТР.
Новая ролевая модель доступа на ArenadataDB к данным позволяет осуществлять более тонкую и детальную настройку прав доступа к данным витрины.
-
- География проекта
Над реализацией проекта работала распределенная команда аналитиков и разработчиков из Калининграда, Москвы, Санкт-Петербурга, Твери, Казани, Томска, Хабаровска и многих других городов по всей России.