Первый этап по созданию единого централизованного хранилища данных

1. Создать единое хранилище данных с единой корпоративной моделью данных.
2. В рамках этого этапа мигрировать хранилище розничного, малого и среднего бизнеса из отдельного хранилища в единое хранилище данных. Далее мигрировать все локальные хранилища в единое КХД.
3. Отказаться от проприетарного зарубежного ПО.
4. Уменьшить стоимость поддержки всех хранилищ.

• Airflow
• Внутреннее ПО
• Arenadata DB (ADB) — российская аналитическая распределённая массивно-параллельная СУБД, построенная на базе проекта с открытым исходным кодом Greenplum. Оптимально подходит для аналитической работы с неограниченным объёмом данных, построения больших, надёжных и масштабируемых хранилищ. Замещает программные продукты западных вендоров Teradata, Oracle, Vertica, SAP, IBM и др.
• Arenadata Hadoop (ADH) — готовый к использованию российский дистрибутив комплекса сервисов с открытым исходным кодом экосистемы Apache Hadoop с предустановленным оркестратором ИТ-ландшафта. Предназначен для работы с любыми типами и форматами данных и включает в себя все необходимые для работы компоненты: управление, доступ, анализ, интеграция, безопасность и администрирование. Оптимален для работы с неструктурированными или слабоструктурированными данными. Замещает программные продукты западных вендоров Cloudera&Hortonworks, Oracle, MapR, MongoDB и др.

1. Необходимо было собрать «сырые данные» более чем из 50 источников в одном месте и обеспечить их ежедневное обновление.
2. Для того чтобы успеть в жёсткие сроки, что-то приходилось делать с техническим долгом, который будет погашен при последующих доработках.
3. Необходимость параллельной разработки на старом и новом хранилищах во время миграции (мы выбрали вариант, когда это делают одни и те же люди).
4. В процессе миграции неожиданно всплыли «серые» потребители. Официально на старте проекта они никак не обозначились, разработку в пользу хранилища напрямую не вели, но витрины переиспользовали. Это породило дополнительные работы для включения «серых» потребителей в периметр миграции.
5. Не предвидели «взрыв» активности на едином КХД. В 2021 году начинали одной-двумя командами, а в середине 2022-го пришло с десяток команд-разработчиков. Это потребовало выработать единые стандарты и процессы разработки, а также сервисы поддержки для множества различных команд в Банке.

В рамках первого этапа по созданию единого КХД были выполнены работы:

— Осуществлён выбор систем и технологий для создания единого хранилища данных на базе сравнения имеющихся систем аналитической MPP-обработки данных.

— Развёрнута инфраструктура под новое хранилище.

— Подключено более 50 систем-источников и обеспечено ежедневное обновление данных.

— Организован мониторинг обновления данных и доступности хранилища в режиме 24/7.

— Выработаны единые стандарты и процессы разработки. Это дало возможность существенно расширить количество команд разработки, переиспользовать данные и имеющийся функционал.

— Реализована автоматизация CI\CD-поставок нового функционала на едином хранилище.

— Организованы следующие потоки данных в рамках единой корпоративной модели данных:

• STG — слой «сырых» внешних таблиц. Таблицы подключаются из Hadoop.
• ODS — слой для накопления истории из слоя STG по нужным атрибутам.
• DDS — слой с детальными данными по основным сущностям.
• EM — витрины с агрегированными показателями базовых сущностей: клиентский портфель, портфель HR, кредитные и депозитные портфели и др.
• DM — витрины с рассчитанными агрегатами, сложными расчётами атрибутов (содержит витрины для формирования отчётов всех департаментов).
• DICT — слой справочников.

— Проведена миграция отдельного розничного хранилища данных в единое КХД для подтверждения возможности его реализации на выбранном решении.

Розничное хранилище данных — внутренняя разработка, хранилище розничного, малого и среднего бизнеса, созданное 3 года назад. В нём была реализована функциональность ежедневных расчётов мотивации для более 2000 сотрудников региональной сети Банка (десятки ролей, различные управленческие уровни и сегменты Бизнеса), управленческая бизнес-отчётность (продажи, портфели, аналитика).

Перенос всей функциональности занял около года: уложили «сырые» данные, реализовали расчётные показатели, построили витрины, визуализировали отчёты и отключили старое хранилище.

— Подтверждены выбранные технологии, процессы и модели для реализации единого хранилища и единой корпоративной модели данных.

— Введено в промышленную эксплуатацию единое КХД.

— Осуществлён переход на ПО отечественного производителя на базе Open Source.

— Подготовлен план и начаты работы по дальнейшим миграциям локальных хранилищ на единое хранилище данных.

Итоги.

Созданы единое централизованное хранилище данных и единая корпоративная модель данных. 

Проведена миграция первого локального хранилища. Бизнес- заказчики не заметили момент технического перехода. 

Сотрудники банка обрели новые компетенции и технические навыки. 

Создание единого КХД должно заметно сократить издержки Банка на аналитику, а выбранные технологии доказали свою жизнеспособность. 

2008 сотрудников Банка были охвачены данным изменением.