Развитие Data-функции

Заказчик:

Банк «Открытие»

Руководитель проекта со стороны заказчика

Дмитрий Первухин

Вице-президент, директор департамента развития учетных и аналитических систем

Год завершения проекта

2022

Сроки выполнения проекта

Январь, 2020 - Июнь, 2022

Масштаб проекта

990000 человеко-часов

Цели

1. Автоматизация обязательной и налоговой отчётности

Критерии достижения:

• реализованы 49 отчетных форм (части форм) бухгалтерской и налоговой отчетности
• созданы витрины с данными налогового учета в целях обмена с ФНС

2. Обеспечить бизнес и функциональные подразделения контролируемыми данными

Критерии достижения:

• Разработана система контроля качества данных
• Реализована процедура ежедневной оценки качества данных и их очистки

3. Развитие единой платформы монетизации клиентскими данными (DMP) на базе Hadoop

Критерии достижения:

• на платформу перенесены все процессы канальной, продуктовой, клиентской аналитики, ML моделирования
• на платформе осуществляется разработка и верификация моделей розничных рисков

4. Развитие экосистемы хранилища данных

Критерии достижения:

• собран полный продуктовый профиль клиента для задач проведения маркетинговых кампаний

Уникальность проекта

Это завершающий проект титанической работы по консолидации данных в едином хранилище с переводом всех аналитических процессов на хранилище. Изначально было 13 разрозненных хранилищ. Больше двух лет понадобилось именно на сам перевод процессов в ЕХД с одновременным их развитием.

Особое внимание уделялось построению процесса Data Governance, с учетом совершенно разных требований к качеству, доступности и регламенту поставки одних и тех же данных для различных потребителей.

Процесс DG не ограничен только Хранилищем, это сквозной процесс от исходных систем до витрин Хранилища. Сам процесс имеет четкую практическую направленность и оценку ценности обеспечения качества данных, с учетом стоимости всех работ по каждой проверке на каждом этапе в каждой системе.

Использованное ПО

1. СУБД:

Oracle Exadata
Oracle BigData Appliance (Cloudera Hadoop)

2. ETL:

Oracle CDC
Informatica PC

3. BI:

MS OLAP
Tableu
Open BI Portal (разработка Банка)
Flextera BI (Диасофт)

4. Data Governance:

Informatica Aхon
СККД (разработка Банка)

Сложность реализации

В процессе реализации проекта пришлось решить сложные вопросы:

технические, связанные с необходимостью получения данных из систем Банка в режиме «он-лайн» 24х7 и совмещение этого процесса с построением общих витрин с разными регламентами. В хранилище грузятся данные более 40 систем, в день запускается около 70 000 потоков
организационные, связанные с построением сквозного процесса обеспечения качества данных от ЕХД к каждой системе-источнику, с учетом предельно ограниченного ресурса у исполнителей
построения команд проекта (их 13), общим количеством 196 человек, из сотрудников Банка разных подразделений (ИТ, Финансы, Розница, МСБ, КИБ, Риски)
координации команд смежных проектов и линейных сотрудников, участвующих в операционных процессах Банка

Описание проекта

Основные усилия были сосредоточены на переводе в ЕХД:

управленческой отчетности и расчета по системе мотивации труда
отчетности по МСФО
отчетности по РСБУ
аналитической бизнес-отчетности и риск-отчетности
процессов формирования кампаний по рознице и МСБ
аналитических риск-процессов
сложных аналитических запросов, которые серьезно нагружают системы, обслуживающие клиентов

В Хранилище более 150 000 таблиц, данные более чем 40 систем, история хранится за 5 последних лет (часть в ЕХД и все Hadoop).

Реализованы аналитические песочницы для более чем 200 бизнес-пользователей.

Реализованы личные кабинеты, куда доставляются отчеты и развитая система кубов с интерфейсом в Tableu для аналитиков

География проекта

РФ