Развитие Data-функции
- Заказчик
- Банк «Открытие»
- Руководитель проекта со стороны заказчика
- Год завершения проекта
- 2022
- Сроки выполнения проекта
- Январь, 2020 - Июнь, 2022
- Масштаб проекта
- 990000 человеко-часов
- Цели
-
1. Автоматизация обязательной и налоговой отчётности
Критерии достижения:
• реализованы 49 отчетных форм (части форм) бухгалтерской и налоговой отчетности
• созданы витрины с данными налогового учета в целях обмена с ФНС2. Обеспечить бизнес и функциональные подразделения контролируемыми данными
Критерии достижения:
• Разработана система контроля качества данных
• Реализована процедура ежедневной оценки качества данных и их очистки3. Развитие единой платформы монетизации клиентскими данными (DMP) на базе Hadoop
Критерии достижения:
• на платформу перенесены все процессы канальной, продуктовой, клиентской аналитики, ML моделирования
• на платформе осуществляется разработка и верификация моделей розничных рисков
4. Развитие экосистемы хранилища данныхКритерии достижения:
• собран полный продуктовый профиль клиента для задач проведения маркетинговых кампаний
Уникальность проекта
Это завершающий проект титанической работы по консолидации данных в едином хранилище с переводом всех аналитических процессов на хранилище. Изначально было 13 разрозненных хранилищ. Больше двух лет понадобилось именно на сам перевод процессов в ЕХД с одновременным их развитием.Особое внимание уделялось построению процесса Data Governance, с учетом совершенно разных требований к качеству, доступности и регламенту поставки одних и тех же данных для различных потребителей.
Процесс DG не ограничен только Хранилищем, это сквозной процесс от исходных систем до витрин Хранилища. Сам процесс имеет четкую практическую направленность и оценку ценности обеспечения качества данных, с учетом стоимости всех работ по каждой проверке на каждом этапе в каждой системе.
- Проект решает задачи импортозамещения
- Нет
- Использованное ПО
-
1. СУБД:
- Oracle Exadata
- Oracle BigData Appliance (Cloudera Hadoop)
2. ETL:
- Oracle CDC
- Informatica PC
3. BI:
- MS OLAP
- Tableu
- Open BI Portal (разработка Банка)
- Flextera BI (Диасофт)
4. Data Governance:
- Informatica Aхon
- СККД (разработка Банка)
- Сложность реализации
-
В процессе реализации проекта пришлось решить сложные вопросы:
-
технические, связанные с необходимостью получения данных из систем Банка в режиме «он-лайн» 24х7 и совмещение этого процесса с построением общих витрин с разными регламентами. В хранилище грузятся данные более 40 систем, в день запускается около 70 000 потоков
-
организационные, связанные с построением сквозного процесса обеспечения качества данных от ЕХД к каждой системе-источнику, с учетом предельно ограниченного ресурса у исполнителей
-
построения команд проекта (их 13), общим количеством 196 человек, из сотрудников Банка разных подразделений (ИТ, Финансы, Розница, МСБ, КИБ, Риски)
-
координации команд смежных проектов и линейных сотрудников, участвующих в операционных процессах Банка
-
- Описание проекта
-
Основные усилия были сосредоточены на переводе в ЕХД:
-
управленческой отчетности и расчета по системе мотивации труда
-
отчетности по МСФО
-
отчетности по РСБУ
-
аналитической бизнес-отчетности и риск-отчетности
-
процессов формирования кампаний по рознице и МСБ
-
аналитических риск-процессов
-
сложных аналитических запросов, которые серьезно нагружают системы, обслуживающие клиентов
В Хранилище более 150 000 таблиц, данные более чем 40 систем, история хранится за 5 последних лет (часть в ЕХД и все Hadoop).
Реализованы аналитические песочницы для более чем 200 бизнес-пользователей.
Реализованы личные кабинеты, куда доставляются отчеты и развитая система кубов с интерфейсом в Tableu для аналитиков
-
- География проекта
- РФ