Разработка и внедрение ODS

Заказчик
АО Жилстройсбербанк
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО АйТи Про
Год завершения проекта
2020
Сроки выполнения проекта
Февраль, 2019 - Июнь, 2020
Масштаб проекта
15500 человеко-часов
Цели
Первоначальной целью проекта была оптимизация времени отклика on-line каналов. Из-за обращения за данными непосредственно в АБС Колвир из Интернет-банка и мобильного банка время отклика для конечного пользователя составляло несколько десятков секунд. За счет непрерывной репликации данных из систем-источников, и целевой оптимизации времени отклика ODS по запросам on-line каналов нужно было уменьшим время отклика до нескольких секунд. В ходе проекта состав задач заметно расширился - на ODS было решено реализовать push-уведомления, оперативные аналитические дашборды, расширить состав систем-потребителей.
В итоге, целью проекта стало обеспечение оперативного доступа к данным всех систем банка как с точки зрения получения единичных значений по интересующим объектам, так и возможность построения оперативной аналитики "на лету".

Уникальность проекта

Уникальным проект делают 2 аспекта:
1. Достаточно узкое распространение систем оперативной обработки данных (ODS) на территории СНГ и республики Казахстан в частности. В настоящий момент в РФ можно говорить о примерно десятке подобных проектов в достаточно узком сегменте - крупнейших финансовых организаций. В РК в настоящий момент известно о 2х подобных проектах.
2. Гетерогенный состав источников и потребителей, работающих на СУБД Oracle, MS SQL, PostgreSQL, MySQL. Кроме того, потребление данных ODS также было реализовано через web-сервисы.
Использованное ПО
- СУБД Microsoft SQL Server Enterprise 2017 с компонентами Integration Services, Master Data Services, Reporting Services, Analysis Services
- PowerBI Report Server
- Attunity Replicate

Сложность реализации
В ходе проекта потребовалось не просто реализовать репликацию из источников, а и перенести частично логику работы источников в ODS, оптимизировав при этом производительность
Необходимо было встроить ODS в уже существующий ИТ ландшафт так, чтобы, он негативно не влиял на уже работающие системы. В том числе, выбрать оптимальный способ репликации для минимизации нагрузки на учетные системы, при этом не потеряв в скорости репликации.
Для контроля корректности логики работы ODS был реализован обширный набор методов и процедур (более 100), обеспечивающий автоматизированную сверку ODS и учетных систем
Технологически при разработке и наполнении модели данных ODS данные объединялись из разных источников, создавались новые атрибуты по условиям, формировались сводные представления, делался промежуточный расчет результатов некоторых сложных функций и делалась материализация, проводилась дедубликация.

Описание проекта
В ходе проекта была организована репликация данных из 10 систем источников на разных СУБД, всего более 400 таблиц. На ODS были разработаны, перенесены и оптимизированы сотни хранимых процедур и десятки представлений (views), более сотни web-сервисов. Реализовано более 6 OLAP-кубов и 11 визуальных дашбордов. В течение рабочего для с отставанием не более 10 секунд реплицируются десятки миллионов записей. Обеспечено отправление push-уведомлений по 9 разным событиям.
Для операционной деятельности ЖССБ достигнуты следующие результаты:
- в Интернет-банке скорость получения информации при авторизации: ранее было до 40 секунд, сейчас 5-8 секунд;
- Дашбордами с оперативной информацией пользуются более 1000 сотрудников, они видят оперативную информацию по депозитам, притокам, в том числе по агентской сети;
- Учетные системы банка, такие, как CRM и портал недвижимости получают информацию из ODS, это дает более высокую оперативность, и позволяет излишне не нагружать АБС.
- На собственной инфраструктуре ЖССБ реализована отправка как оперативных, по событию, так и плановых, по расписанию, push-уведомлений.
С точки зрения оперативной аналитики реализованы инструменты визуального управления для:
- Мониторинга времени ожидания и обслуживания клиентов и мониторинга простоев терминалов;
- Мониторинга работы сети консультантов и мониторинга оценок обслуживания отделений;
- Мониторинга звонков колл-центра, оценок работы операторов, мониторинга работы операторов видеобанкинга.
Бизнес пользователи, как основные, отмечают следующие плюсы от внедрения ODS:
- Повышение качества и оперативности управленческих решений
- Существенное снижение времени отклика on-line каналов
- Геймификация процесса работы консультантов: соревновательные аспекты
С точки зрения ИТ и архитектуры нужно отметить, что:
- Появились новые возможности за счет оперативного доступа к информации
- Архитектура созданного ODS - целиком открытая и масштабируемая, и позволяет добавлять источники, потребителей, новые объекты в модель данных, дашборды и т.п.

Поэтому мы считаем цель, поставленную в начале проекта, по обеспечению оперативного удобного доступа ко всей интересующей информации, полностью достигнутой.









География проекта
Проект используется всеми структурными подразделениями ЖССБ, представленными во всех регионах Республики Казахстан. Оперативная аналитика по эффективности работы используется несколькими тысячами консультантов и их руководителей.
Коментарии: 2
  • Ерлан Абдыкаев
    Рейтинг: 20
    АО Жилстройсбербанк
    Директор проектного департамента
    30.11.2020 15:11

    Проект очень интересный, особенно когда множество источников данных

  • Максим Часовиков
    Рейтинг: 1020
    МГУ имени М.В.Ломоносова, Центр цифровой экономики
    Заместитель руководителя службы управления проектами
    06.01.2021 18:48

    Судя по описанию, это проект не по управлению знаниями. Новые знания в рамках предложенного решения не появляются. Происходит только обработка данных с конечных устройств и, возможно, их агригация. Если таки новые знания в рамках этого решения появляются, то хочется узнать а каие именно и знания о чем?

Год
Предметная область
Отрасль
Управление