Разработка и внедрение ODS

Заказчик:: АО Жилстройсбербанк
Руководитель проекта со стороны заказчика: Елнар Кыдыр

Начальник Управления
Поставщик: ООО АйТи Про
Год завершения проекта: 2020
Сроки выполнения проекта: Февраль, 2019 - Июнь, 2020
Масштаб проекта: 15500 человеко-часов
Цели: Первоначальной целью проекта была оптимизация времени отклика on-line каналов. Из-за обращения за данными непосредственно в АБС Колвир из Интернет-банка и мобильного банка время отклика для конечного пользователя составляло несколько десятков секунд. За счет непрерывной репликации данных из систем-источников, и целевой оптимизации времени отклика ODS по запросам on-line каналов нужно было уменьшим время отклика до нескольких секунд. В ходе проекта состав задач заметно расширился - на ODS было решено реализовать push-уведомления, оперативные аналитические дашборды, расширить состав систем-потребителей.
В итоге, целью проекта стало обеспечение оперативного доступа к данным всех систем банка как с точки зрения получения единичных значений по интересующим объектам, так и возможность построения оперативной аналитики "на лету".

Уникальность проекта

Уникальным проект делают 2 аспекта:
1. Достаточно узкое распространение систем оперативной обработки данных (ODS) на территории СНГ и республики Казахстан в частности. В настоящий момент в РФ можно говорить о примерно десятке подобных проектов в достаточно узком сегменте - крупнейших финансовых организаций. В РК в настоящий момент известно о 2х подобных проектах.
2. Гетерогенный состав источников и потребителей, работающих на СУБД Oracle, MS SQL, PostgreSQL, MySQL. Кроме того, потребление данных ODS также было реализовано через web-сервисы.

Использованное ПО: - СУБД Microsoft SQL Server Enterprise 2017 с компонентами Integration Services, Master Data Services, Reporting Services, Analysis Services

- PowerBI Report Server

- Attunity Replicate
Сложность реализации: В ходе проекта потребовалось не просто реализовать репликацию из источников, а и перенести частично логику работы источников в ODS, оптимизировав при этом производительность
Необходимо было встроить ODS в уже существующий ИТ ландшафт так, чтобы, он негативно не влиял на уже работающие системы. В том числе, выбрать оптимальный способ репликации для минимизации нагрузки на учетные системы, при этом не потеряв в скорости репликации.
Для контроля корректности логики работы ODS был реализован обширный набор методов и процедур (более 100), обеспечивающий автоматизированную сверку ODS и учетных систем
Технологически при разработке и наполнении модели данных ODS данные объединялись из разных источников, создавались новые атрибуты по условиям, формировались сводные представления, делался промежуточный расчет результатов некоторых сложных функций и делалась материализация, проводилась дедубликация.
Описание проекта: В ходе проекта была организована репликация данных из 10 систем источников на разных СУБД, всего более 400 таблиц. На ODS были разработаны, перенесены и оптимизированы сотни хранимых процедур и десятки представлений (views), более сотни web-сервисов. Реализовано более 6 OLAP-кубов и 11 визуальных дашбордов. В течение рабочего для с отставанием не более 10 секунд реплицируются десятки миллионов записей. Обеспечено отправление push-уведомлений по 9 разным событиям.
Для операционной деятельности ЖССБ достигнуты следующие результаты:

- в Интернет-банке скорость получения информации при авторизации: ранее было до 40 секунд, сейчас 5-8 секунд;

- Дашбордами с оперативной информацией пользуются более 1000 сотрудников, они видят оперативную информацию по депозитам, притокам, в том числе по агентской сети;

- Учетные системы банка, такие, как CRM и портал недвижимости получают информацию из ODS, это дает более высокую оперативность, и позволяет излишне не нагружать АБС.

- На собственной инфраструктуре ЖССБ реализована отправка как оперативных, по событию, так и плановых, по расписанию, push-уведомлений.

С точки зрения оперативной аналитики реализованы инструменты визуального управления для:

- Мониторинга времени ожидания и обслуживания клиентов и мониторинга простоев терминалов;

- Мониторинга работы сети консультантов и мониторинга оценок обслуживания отделений;

- Мониторинга звонков колл-центра, оценок работы операторов, мониторинга работы операторов видеобанкинга.

Бизнес пользователи, как основные, отмечают следующие плюсы от внедрения ODS:

- Повышение качества и оперативности управленческих решений

- Существенное снижение времени отклика on-line каналов

- Геймификация процесса работы консультантов: соревновательные аспекты

С точки зрения ИТ и архитектуры нужно отметить, что:

- Появились новые возможности за счет оперативного доступа к информации

- Архитектура созданного ODS - целиком открытая и масштабируемая, и позволяет добавлять источники, потребителей, новые объекты в модель данных, дашборды и т.п.

Поэтому мы считаем цель, поставленную в начале проекта, по обеспечению оперативного удобного доступа ко всей интересующей информации, полностью достигнутой.
География проекта: Проект используется всеми структурными подразделениями ЖССБ, представленными во всех регионах Республики Казахстан. Оперативная аналитика по эффективности работы используется несколькими тысячами консультантов и их руководителей.