Аналитическое хранилище для департамента Транзакционного бизнеса «Гаусс»

Заказчик
ПАО Банк ВТБ
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО «Люксофт Профешнл»
Год завершения проекта
2018
Сроки выполнения проекта
Октябрь, 2017 — Октябрь, 2018
Масштаб проекта
67 400 человеко-часов
70 автоматизированных рабочих мест
Цели
Цели:
· достижение экономического эффекта за счет снижения операционных рисков,
· уменьшение времени создания отчетов,
· повышение качества принимаемых решений для бизнеса за счет многофакторного анализа большего среза разнородных данных из всех необходимых систем, существенное расширение детализации данных.

Уникальность проекта

•    Эффективность для бизнеса
В процессе разработки системы были учтены не только требования аналитиков, но и представителей sales-блока. Это позволяет им работать в разных модулях и сравнивать плановые и фактические показатели. Как следствие – повышение управляемости и эффективности принимаемых решений
•    Стоимость владения
Использование технологий Open Source позволило снизить стоимость поддержки и владения
•    Скорость поставки
Плавное поэтапное развитие обеспечило быструю поставку результата для заказчика. Система была введена в опытно-промышленную эксплуатацию через 6 месяцев после начала разработки
•    Гибкость
Архитектура системы сочетает решения в области big data и приложения на микросервисной архитектуре, что позволяет быстро адаптироваться к изменениям, происходящим в источниках данных. Подключенные инструменты BI позволяют строить отчеты в произвольных разрезах по всему объему информации хранилища
Использованное ПО
· HDFS и Hive Metastore для построения хранилища данных
· Spark для осуществления расчетов и трансформаций
· Hive и Hive Interactive для обеспечения возможности работы с данными на SQL-подобном языке
· Ambari, Ansible для мониторинга и администрирования системы
· YARN, Oozie для управление ресурсами и процессами
· Ranger для распределения доступа
· PostgreSQL для оперативного предоставления агрегированных данных для web-приложений
Описание проекта
Разработка и внедрение платформы для: • Единого хранилища финансовой и статистической информации по продуктам транзакционного бизнеса; • Контроля и мониторинга продаж продуктов транзакционного бизнеса и формирования внутренней управленческой отчетности; • Апробирования опыта построения подобной системы итерационным способом. Реализация проекта осуществлялась в рамках следующих этапов: Этап 1. Разработка платформы сбора данных, построенная на open-source решениях в области BigData и отказ от ручной подготовки информации для отчетов.  Анализ структур данных источников (хранилище данных, Excel), разработка требований  Разработка прототипа приложения и архитектуры решения  Создание и настройка сред разработки, тестирования и промышленной эксплуатации  Формирование массивов данных по продуктам Транзакционного бизнеса  Включение промышленного кластера в инфраструктуру банка и подключение его к Active Directory Этап 2. Формирование модели данных, разработка продуктовых модулей для мониторинга и управления сделками по продуктам Транзакционного бизнеса.  Доработка слоя представления данных (Data Mart)  Разработка слоев хранения данных ODS и DDS  Разработка модулей для мониторинга и управления сделками по продуктам Транзакционного бизнеса Этап 3. Финальные доработки системы и передача в опытно-промышленную эксплуатацию.  Разработка интерфейса пользователя для представления массивов данных  Обогащение данных из дополнительных систем источников  Сравнение полученных отчетов с отчетами эталонами  Разработка прототипа для конструктора отчетов  Ввод системы в промышленную эксплуатацию Этап 4. Повышение качества данных.  Выверка и классификация систематических ошибок в данных с помощью средств автоматизации  Построение процесса взаимодействия с системами источниками для повышения сходимости данных с эталонами  Мониторинг качества данных по внесенным изменениям
География проекта
Москва, Россия
Коментарии: 4

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Борис Фролов
    Рейтинг: 103
    Независимый эксперт
    11.12.2018 17:08

    Добрый вечер,
    В отчете говориться о низкой стоимости владения внедренной системой. Вы поддерживаете ее своими силами или силами внешнего подрядчика? Вопрос в том, насколько много специалистов не по MS и Qlick на рынке и насколько они дешевле/дороже более трендовых решений.
    Заранее спасибо за ответ.

  • Александр Артюхов
    Рейтинг: 94
    АО "Организация "Агат"
    Начальник Службы эксплуатации ИТ
    14.12.2018 13:03

    Добрый день!
    Проект действительно уникален и интересен. Судя по срокам все этапы вместе длились около года. Этап 4, судя по всему, и есть этап ОПЭ, длившийся последние полгода. А как по времени длились первые 3 этапа?

  • Роман Кузнецов
    Рейтинг: 380
    Холдинг PVG
    CIO
    20.12.2018 18:05

    Добрый день!
    Трудозатраты, указанные в проекте, относятся только к трудозатратам поставщика или включают работу сотрудников банка?
    Автоматизация в банках находится на высоком уровне. Сейчас банковский бизнес является технологическим бизнесом. Насколько много источников данных осталось в формате Excel? Планируете ли полностью избавляться от такого ненадежного формата загрузки информации?

  • Александр Балабанов
    Рейтинг: 310
    Айсберри
    CDO
    24.12.2018 13:31

    Максим приветствую! Проект реализовывался в этом году - уверен, что данное решение в вашей компании уже было. Вопрос: это действительно новое решение для Банка, или вы переходили с какого-то устаревшего? Кто и в каком составе развивает данное решение? Достигли ли вы обозначенных целей:
    · достижение экономического эффекта за счет снижения операционных рисков,
    · уменьшение времени создания отчетов,
    · повышение качества принимаемых решений
    Каким образом была реализована автоматическая проверка качества данных? Что являлось Эталоном при приемки системы?

Предметная область
Отрасль
Управление