Новое корпоративное хранилище данных (КХД) ОТП Банка

Заказчик
ОТП Банк
Руководитель проекта со стороны заказчика
ИТ-поставщик
Arenadata
Год завершения проекта
2023
Сроки выполнения проекта
Ноябрь, 2022 - Ноябрь, 2023
Масштаб проекта
20400 человеко-часов
Цели
  • миграция хранилища данных с Oracle Exadata;
  • построение нового корпоративного хранилища на решении российского вендора;
  • уменьшение негативного влияния на системы-источники в процессе формирования инкремента загружаемых данных;
  • выведение нецелевого функционала из хранилища данных;
  • снижение затрат на инфраструктуру за счёт использования разнотемпературного хранилища.

Результаты

Разработка хранилища осуществляется по принципам DataMesh. В результате продуктовые команды бизнес-подразделений самостоятельно ведут полноценную разработку в рамках своей предметной области. Команда внедрения обеспечивает разработку стандартов разработки, фреймворка, code-review, а также поддержку общего архитектурного подхода Data-платформы.

Первая очередь проекта — разработка ядра DWH и подключение основных банковских систем к хранилищу — завершится 25.12.2023. На текущий момент реализована асинхронная загрузка данных из источников, логика расчёта инкремента вынесена из систем-источников во внешний инструмент. Уменьшено отставание данных в реляционном хранилище от систем-источников — с 1 дня до 2 часов.

Реализована возможность хранить и обрабатывать любые виды данных, в том числе неструктурированные, а также увеличена глубина хранения данных — до бессрочного для ряда источников.

Разработан фреймворк для упрощённой разработки ETL-потоков специалистами бизнес-подразделений.

Значительно снижена стоимость хранения данных.

Уникальность проекта

ОТП Банк разработал концепцию новой мультикомпонентной Data Platform, состоящей из озера данных, реляционного хранилища на базе MPP-архитектуры, ETL-платформы и BI-инструментов. Организация поставила перед собой задачу создать новую аналитическую платформу на базе вендор-независимых решений (Open Source) или российского ПО.

Проект решает задачи импортозамещения
Да
Использованное ПО
Arenadata DB (ADB) — аналитическая, распределённая СУБД, построенная на MPP-системе с открытым исходным кодом Greenplum.
Сложность реализации
Миграцию бизнес-процессов специалисты ОТП Банка проводят собственными ресурсами. Одной из ключевых сложностей в проекте было отсутствие экспертизы в выбранном стеке технологий. Но благодаря огромному желанию специалистов банка получать новые знания, применять их на практике и поддержке представителей Arenadata, которые оказывали быстрые и качественные консультации, команде ОТП Банка удалось успешно провести пилот и остановиться на продукте Arenadata DB. Для получения новых инсайдов и закрепления полученных ранее знаний специалисты организации прошли обучение на вендорских курсах Arenadata.
Описание проекта

Проект по построению корпоративного хранилища данных стартовал в ОТП Банке в 2022 году, когда было принято решение мигрировать с Oracle Exadata. Кроме того, на тот момент специалисты организации отметили неоптимальное использование аналитической платформы при работе с разными видами данных.

За 15 лет использования существовавшего хранилища, объём которого насчитывал порядка 100 Тб, у организации накопился большой архитектурный долг. Требовалось уменьшить негативное влияние на системы-источники в процессе формирования инкремента загружаемых данных; вынести нецелевой функционал из хранилища данных; снизить затраты на инфраструктуру за счёт использования разнотемпературного хранилища.

Столкнувшись с этими сложностями, ОТП Банк разработал концепцию новой мультикомпонентной Data Platform, состоящей из озера данных, реляционного хранилища на базе MPP-архитектуры, ETL-платформы и BI-инструментов. Организация поставила перед собой задачу создать новую аналитическую платформу на базе вендор-независимых решений (Open Source) или российского ПО.

В середине 2023 года ОТП Банк произвёл перенос первых доменов данных для миграции первых бизнес-процессов. В рамках подготовительного этапа реализации новой платформы был проведён пилот с использованием Arenadata DB. При выборе СУБД специалисты ОТП Банка учитывали стоимость платформы, функциональные возможности, условия сопровождения. Arenadata DB сравнивали с другими представленными на российском рынке продуктами и «ванильным» Greenplum. С точки зрения зрелости решения, включённых сервисов (расширенный мониторинг, механизмы обеспечения катастрофоустойчивости, Arenadata Cluster Manager, наличие поддержки) выбор был сделан в сторону Arenadata DB.

В среднесрочных планах команды ОТП Банка — запуск совершенно новой инициативы по созданию озера данных, пилотирование загрузок в режиме реального времени, внедрение технологий для построения базовых витрин данных.

География проекта
РФ
Коментарии: 3

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Гудов
    Рейтинг: 49
    АО ОКБ
    Head of Data & Analytics Platform
    16.11.2023 10:29

    Отличный высокотехнологичный проект\платформа! Есть куда расти и развиваться. Успехов!

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2024 11:27

    Добрый день, в рамках реализации этого проекта что было наиболее сложным и оценивалась ли удовлетворенность основных заинтересованных сторон после реализации проекта? На сколько она увеличилась, если такая оценка производилась?

  • Дмитрий Турчановский
    Рейтинг: 2527
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    09.01.2024 00:01

    Хороший проект с использование Российской платформы. Интересный эффекты, которые вам удалось достичь, в особенности замочки чего снизилась стоимость хранения данных?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.