Как достичь максимального выигрыша от внедрения механизма CDC

Общая цель: Внедрение механизма CDC для перехода от режима T-1 к близкому к реальному времени при отсутствии нагрузки на системы-источники.

Ключевые задачи:

1. Обеспечить загрузку актуальных данных в хранилище DWH из более чем 200 источников, включая ключевые АБС банка, работать с таблицами объемом в несколько млрд записей.

2. Перейти от режима T-1 к обработке данных, близкому к реальному времени, для аналитики, коммуникаций, отчетности и антифрод-сценариев. 

3. Не создавать дополнительную нагрузку на системы-источники. Обеспечить надежность, транзакционную целостность и, в перспективе, работу с озером-хранилищем.

2026

Общий результат: Достигнут режим предоставления данных, близкий к реальному времени. Время отставания таблиц в DWH от АБС теперь не превышает 5 минут. Удалось сократить время загрузки и расчета инкремента с более чем 3 часов до 15 минут. Нагрузка на системы-источники не превышает 1,4%.

Бизнес-эффект:

1. Бизнес-подразделения получили операционные дашборды, работающие фактически в реальном времени. Мировая практика показывает, что near real-time аналитика может обеспечить двузначный процентный прирост привлечения клиентов и депозитных счетов, а в кредитных сценариях – многократное увеличение конверсии и ощутимый дополнительный объем выдач кредитов.

2. Антифрод-аналитики работают на актуальных данных. Это позволяет улучшить качество работы и снизить возможные риски и потери.

3. Бухгалтерия получила возможность значительно быстрее составлять пруденциальную отчетность.

Датафлот Репликация в связке со стандартными механизмами Oracle для формирования online ODS в хранилище на Oracle Exadata и новом Lakehouse-хранилище российской сборки.

В проекте не используются решения из каталога Global CIO

Основная сложность проекта заключалась в многолетней подготовке к его осуществлению – из-за отсутствия реально работающих в ИТ-ландшафте банка альтернатив дорогому, а затем и вовсе ушедшему с российского рынка Oracle GoldenGate - вплоть до момента появления на рынке решения Датафлот Репликация.

Банк Уралсиб рассматривал рыночные решения для внедрения CDС-механизма, так как имеющиеся собственные наработки не могли обеспечить переход к получению данных в режиме, близком к реальному времени.

Было необходимо найти решение, имеющее понятную и ресурсоэффективную архитектуру, требуемый функционал и полноценную поддержку, что сразу исключило пласт open source.

Хранилище Банка Уралсиб – это свыше 200 систем-источников, более 300 Тб данных и более 10 тыс. потоков трансформации данных в день.

Пилотные испытания Датафлот Репликация, с учетом доработок, показали, что данное решение полностью подходит под поставленные задачи: оно обеспечивает поддержку нативных режимов Oracle (Far Sync, резервные базы данных StandBy), а также гарантированную доставку данных в хранилище. В решении Датафлот Репликация, в частности, была реализована технология многопоточного чтения данных из Oracle ASM, что позволило повысить его производительность. 

В результате проведенных работ:

1. Снизились временные затраты на обслуживание репликации, обеспечение аналитики в режиме времени, близком к реальному. 

2. Существенно ускорены регламентные процессы и сборка витрин данных. 

3. Бизнес получил более оперативную отчетность и актуальные данные для коммуникаций, моделей лучших предложений и антифрод-аналитики.

Пользователями реплицированных данных в хранилище являются все подразделения Банка Уралсиб, включая сотрудников 156 точек продаж во всех федеральных округах России.