Аналитическое хранилище для департамента Транзакционного бизнеса «Гаусс»

Заказчик:: ПАО Банк ВТБ
Руководитель проекта со стороны заказчика: Максим Крючков

Заместитель руководителя Департамента информационных технологий – Вице-Президент
Поставщик: ООО «Люксофт Профешнл»
Год завершения проекта: 2018
Сроки выполнения проекта: Октябрь, 2017 — Октябрь, 2018
Масштаб проекта: 67 400 человеко-часов
70 автоматизированных рабочих мест
Цели: Цели:
· достижение экономического эффекта за счет снижения операционных рисков,
· уменьшение времени создания отчетов,
· повышение качества принимаемых решений для бизнеса за счет многофакторного анализа большего среза разнородных данных из всех необходимых систем, существенное расширение детализации данных.

Уникальность проекта

•    Эффективность для бизнеса
В процессе разработки системы были учтены не только требования аналитиков, но и представителей sales-блока. Это позволяет им работать в разных модулях и сравнивать плановые и фактические показатели. Как следствие – повышение управляемости и эффективности принимаемых решений
•    Стоимость владения
Использование технологий Open Source позволило снизить стоимость поддержки и владения
•    Скорость поставки
Плавное поэтапное развитие обеспечило быструю поставку результата для заказчика. Система была введена в опытно-промышленную эксплуатацию через 6 месяцев после начала разработки
•    Гибкость
Архитектура системы сочетает решения в области big data и приложения на микросервисной архитектуре, что позволяет быстро адаптироваться к изменениям, происходящим в источниках данных. Подключенные инструменты BI позволяют строить отчеты в произвольных разрезах по всему объему информации хранилища

Использованное ПО: · HDFS и Hive Metastore для построения хранилища данных
· Spark для осуществления расчетов и трансформаций
· Hive и Hive Interactive для обеспечения возможности работы с данными на SQL-подобном языке
· Ambari, Ansible для мониторинга и администрирования системы
· YARN, Oozie для управление ресурсами и процессами
· Ranger для распределения доступа
· PostgreSQL для оперативного предоставления агрегированных данных для web-приложений
Описание проекта: Разработка и внедрение платформы для: • Единого хранилища финансовой и статистической информации по продуктам транзакционного бизнеса; • Контроля и мониторинга продаж продуктов транзакционного бизнеса и формирования внутренней управленческой отчетности; • Апробирования опыта построения подобной системы итерационным способом. Реализация проекта осуществлялась в рамках следующих этапов: Этап 1. Разработка платформы сбора данных, построенная на open-source решениях в области BigData и отказ от ручной подготовки информации для отчетов.  Анализ структур данных источников (хранилище данных, Excel), разработка требований  Разработка прототипа приложения и архитектуры решения  Создание и настройка сред разработки, тестирования и промышленной эксплуатации  Формирование массивов данных по продуктам Транзакционного бизнеса  Включение промышленного кластера в инфраструктуру банка и подключение его к Active Directory Этап 2. Формирование модели данных, разработка продуктовых модулей для мониторинга и управления сделками по продуктам Транзакционного бизнеса.  Доработка слоя представления данных (Data Mart)  Разработка слоев хранения данных ODS и DDS  Разработка модулей для мониторинга и управления сделками по продуктам Транзакционного бизнеса Этап 3. Финальные доработки системы и передача в опытно-промышленную эксплуатацию.  Разработка интерфейса пользователя для представления массивов данных  Обогащение данных из дополнительных систем источников  Сравнение полученных отчетов с отчетами эталонами  Разработка прототипа для конструктора отчетов  Ввод системы в промышленную эксплуатацию Этап 4. Повышение качества данных.  Выверка и классификация систематических ошибок в данных с помощью средств автоматизации  Построение процесса взаимодействия с системами источниками для повышения сходимости данных с эталонами  Мониторинг качества данных по внесенным изменениям
География проекта: Москва, Россия