Развитие возможностей Витрины Данных «Эквайринг» и миграция на ArenadataDB
- Заказчик:
- Банк ВТБ (ПАО)
- Руководитель проекта со стороны заказчика
- Поставщик
- Компания «Дататех» ГК «Иннотех»
- Год завершения проекта
- 2023
- Сроки выполнения проекта
- Июнь, 2022 - Сентябрь, 2023
- Масштаб проекта
- 38960 человеко-часов
- Цели
- Обеспечить бизнес-подразделения всеми необходимыми данными и инструментом формирования отчетности и анализа продукта «Эквайринг»;
- Реализовать полное покрытие показателей продукта: операционные доходы/расходы, административно-управленческие расходы и т.д.
- Улучшить регламент формирования витрин и повысить надежность решения относительно текущего решения;
- Осуществить переход на целевую архитектуру в рамках цифровой трансформации Банка;
- Минимизировать дополнительную нагрузку на системы источники данных;
- Поддержать полный технологический суверенитет;
- Снизить общую стоимость владения.
- Результаты
- Бизнес-подразделения обеспечены всеми необходимыми данными и инструментом формирования отчетности и анализа продукта «Эквайринг»;
- Реализовано полное покрытие показателей продукта: операционные доходы/расходы, административно-управленческие расходы и т.д.
- Улучшен регламент формирования витрин и повышена надежность решения;
- Осуществлен переход на целевую архитектуру в рамках цифровой трансформации Банка;
- Минимизирована дополнительная нагрузка на системы источники данных;
- Поддержан полный технологический суверенитет;
- Снижена общая стоимость владения.
Уникальность проекта
- В рамках проекта необходимо было внедрить объекты на разных уровнях хранилища
- Работа множества команд
- Новое хранилище на новом технологическом стеке (отсутствие источников, отсутствие процессов, новая методология)
- Более 5 млрд. записей и 2,5 Терабайта данных;
- Необходимость выполнения задач по развитию решения параллельно с основной задачей по миграции аналитической платформы.
- Проект решает задачи импортозамещения
- Да
- Использованное ПО
- Кластер Arenadata DB, PostgreSQL, Kafka, Prometheus, Grafana, Nginx, Airflow, Elastic search, ПАК «Сила СХД», Dremio, Форсайт. Отдельно стоит выделить ETL Framework, который был создан с нуля командой проекта.
- Сложность реализации
- Одновременная смена технологической платформы СУБД, смена модели детального слоя хранилища и частичная смена источников данных;
- Перенос больших объемов данных на целевую платформу ArenadataDB;
- Необходимость улучшить регламент готовности данных для бизнеса с Т+4 до Т+1 одновременно со сменой платформы;
- Реинжиниринг решения на импортозамещенных технологиях с использованием стека открытого программного обеспечения;
- Распределенная географически команда проекта по всей России и распределенная команда проекта по стримам: разработка витрин, разработка ядра, качество данных, ролевой доступ к данным, аналитически справочники и поддержка.
- Описание проекта
- Кардинально переработаны и внедрены витрины данных на отечественной платформе ArenadataDB, позволяющие формировать отчетность по продукту «Эквайринг», содержащая финансовый результат в детализации до терминала в регламенте и актуальностью данных за предыдущий день
- Расчетные алгоритмы витрин данных работают на ядре нового хранилища данных на платформе ArenadataDB;
- В ядро нового хранилища данных загружаются данные из новых источников данных, реализованных в рамках цифровой трансформации Банка;
- Таким образом новая витрина работает на новой импортозамещенной платформе ArenadataDB, формируется на ядре нового хранилища данных и поступают данные из новых источников.
- Витрина переключена на новый отечественный BI-инструмент Форсайт с возможностью смотреть отчетность и анализировать данные в различных измерениях и детализации.
- Бизнес-пользователи дополнительно получили возможность получать отчетность и анализировать данные в импортозамещенных инструментах «Мой Офис».
- По результатам внедрения практически заново разработанных витрин данных на импортозамещенной платформе ArenadataDB удалось повысить качество данных, что положительно сказывается практически на всех бизнес процессах по развитию эквайринговой сети.
- Витрина данных содержит более 5 млрд. записей суммарным объеме данных более 2,5 Терабайт данных.
- Использование только импортозамещенных технологий и открытого программного обеспечения.
- В проекте с разной степенью вовлечения приняло более 90 человек из 15 профильных команд.
- География проекта
Проект покрывает все операции по эквайрингу на территории России.
Система спроектирована для доступна из всех 66 региональных операционных офисах Банка ВТБ.
В настоящий момент с системой работают сотрудники из разных городов России.- Дополнительные презентации:
- Эквайринг.pdf