Автоматизация построения обязательной отчетности с помощью Neoflex Reporting Big Data Edition

Заказчик:
Национальный Клиринговый Центр
Руководитель проекта со стороны заказчика
Поставщик
Неофлекс
Год завершения проекта
2018
Сроки выполнения проекта
Декабрь, 2017 — Апрель, 2018
Масштаб проекта
36000 человеко-часов
20 автоматизированных рабочих мест
Цели
  • Автоматизация обязательной отчетности
  • Автоматизация налоговой отчетности и налоговый мониторинг
  • Автоматизация ПОД/ФТ и отправки сообщений в Росфинмониторинг
  • Повышение прозрачности процесса подготовки отчетности
  • Сокращение временных затрат на подготовку отчетности
  • Создание единого хранилища данных в концепции Data Lake для дальнейшего использования в аналитических целях.

Уникальность проекта

  • 80+ форм обязательной и налоговой отчетности
  • 30+ млн операций в день
  • 25 минут от начала загрузки данных в систему до готовых отчетов.
Использованное ПО

Neoflex Reporting Big Data Edition.

Описание проекта

Небанковская кредитная организация — центральный контрагент Национальный Клиринговый Центр (НКЦ, входит в Группу «Московская Биржа») в сотрудничестве с компанией «Неофлекс» реализовала проект по автоматизации обязательной и налоговой отчетности. Благодаря использованию технологий Big Data НКЦ существенно ускорил процесс подготовки отчетности и, кроме того, получил готовое хранилище для аналитики больших данных (Data Lake) с финансовой информацией, которое может быть использовано для задач по развитию аналитики.

Ключевая цель проекта связана с необходимостью ускорить процесс подготовки обязательной и налоговой отчетности НКЦ, которому в соответствии со статусом квалифицированного центрального контрагента на рынках Московской биржи предъявляются повышенные регуляторные требования. Одновременно преследовалась цель сделать этот процесс более гибким и прозрачным. Базирующаяся на технологиях Hadoop, система Neoflex Reporting Big Data Edition полностью отвечает этим требованиям и может легко и без особых финансовых затрат масштабироваться при дальнейшем развитии компании. Разработанный функционал также планируется использовать и для развития аналитики, необходимой для принятия управленческих решений. При этом использование opensource-технологий позволило получить существенную выгоду за счет экономии на лицензиях платных СУБД и ETL—средствах от мировых разработчиков программного обеспечения.

Высокая скорость работы автоматизированной системы подготовки отчетности обеспечивается использованием принципиально новых для данного класса задач технологий и инструментов: для хранения данных используется HDFS (Hadoop), а для обработки — платформа Spark, поддерживающая распределенные in-memory вычисления. Возможности Hadoop и Spark по параллельной обработке данных обеспечивают высокую надежность и отказоустойчивость системы, при этом позволяют снизить затраты на серверное оборудование и программное обеспечение.

НКЦ выполняет функции клиринговой организации и центрального контрагента на рынках Московской биржи. Основная задача НКЦ — поддержка стабильности на обслуживаемых сегментах финансового рынка за счет высокоэффективной и отвечающей международным стандартам системы управления рисками.

География проекта
Москва
Коментарии: 8

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Владимир Лосев
    Рейтинг: 10
    САНТЭЛ-ТЕЛЕКОМ Москва
    CIO
    04.12.2018 17:32

    Интересно, на что можно было потратить более 18+ чел./лет в этом проекте?
    80 форм обязательной, строго регламентированной фискальной отчетности, которая, как правило, меняется раз в несколько лет, на 18+ чел./лет явно не "тянет".
    25 минут "от начала загрузки данных в систему до готовых отчетов" - тоже разговор ни о чем.
    Какова "ширина" каналов связи перекачки и его надежность?
    Какой комплекс HARD & SOFT используется для "закачки" данных в "систему обработки"?
    Почему не реализован вариант гораздо более логичной обработки заранее известных OLTP-потоков данных для формирования заранее известных отчетов в режиме On Line? Тем более, что OLTP-потоки данных клирингово центра, насколько я знаком с этим вопросом, уже содержат "скользящие средние" и накопленные суммы" по объектам контроля и пр. нужные для фискальной отчетности данные. Не проще ли было воспользоваться этой информацией без перекачки данных в свое хранилище, избежав мороки с последующей "выверкой" данных, синхронизацией, связанной с изменениями курсов и пр. заморочками?

    • Наталья Киселева Владимир
      Рейтинг: 220
      ФГБУ Россельхозземмониторинг
      Заместитель директора
      06.12.2018 15:50


      • Наталья Киселева Наталья
        Рейтинг: 220
        ФГБУ Россельхозземмониторинг
        Заместитель директора
        06.12.2018 16:05

        добрый день. К сожалению первый комментарий при размещении в системе оказался пустым. Приходится перенабивать ещё раз.
        реализованный проект существенно масштабнее, чем подготовка фискальной отчетности только по клиринговым операциям. К сожалению фискальная нагрузка на кредитные организации в России настолько сильная, что её никак нельзя сравнить с остальными типами организаций. Ваш тезис о редком изменении к корне не верен (для банков). Банковская отчетность меняется ежемесячно, даже иногда по несколько раз в квартал одна и та же форма! Регуляторная отчетность Банка требует агрегации различной информации из нескольких систем-источников, по всем видам операций (потокам обработки) и расчета тысяч взаимосвязанных показателей. Проект такого масштаба затрагивает не только ИТ, но и многие бизнес отдела, а так же методологов и Службы отчетности и фин. мониторинга. В том числе и этими факторами обусловлены выбранная архитектура и трудоемкость проекта.
        По поводу Hard&Soft: в в целях оптимизации затрат выбран Hadoop кластер на промышленных серверах MIDL класса P DL 360 для NameNode и HP DL380 для DataNode. Ширина каналов 20Гб.
        Быстродействие 125 мин. для расчета сложных взаимосвязанных форм на объёмах около 60 млн. проводок в день на техника среднего класса - это коротко. Предложенный Вами алгоритм предобработки заранее известных потоков у нас существовал ранее. Для нашего бизнеса он оказался более дорогостоящим и медленным.

  • 19.12.2018 17:19

    Проект осложнён ещё и инфраструктурной частью, потребовавшей существенных усилий и трудозатрат. И если на проекте работало 40+ человек, то оценка в ч/ч - верная. Неофлекс молодцы, и проект в тренде: DataLake... как много в этом звуке :).

  • Максим Часовиков
    Рейтинг: 4767
    РАНХиГС
    Директор Проектов проектного офиса ректора
    21.12.2018 00:21

    Доброго времени суток.

    А в чем была "Автоматизация ПОД/ФТ "? и какие свойства BigData существенно использовались с этом проекте?

    • Наталья Киселева Максим
      Рейтинг: 220
      ФГБУ Россельхозземмониторинг
      Заместитель директора
      25.12.2018 17:06

      В рамках ПОД/ФТ решается задача сбора данных по клиентам из нескольких источников и формирование регламентированных форм, и их обновление на постоянной основе. Свойства инструментов BIG DATA, а также данные анкеты ПОД/ФТ, нам нужны в смежной задаче – формировании и отправке сообщений в Росфинмониторинг. В рамках нее мы уже раскрываем весь потенциал BIG DATA поскольку нам необходимо в рамках очень небольшого технологического окна проанализировать все операции за день и сформировать сообщения в случае обнаружения подозрительных.

  • Александр Балабанов
    Рейтинг: 858
    MT global
    Директор по развитию бизнеса
    22.12.2018 10:36

    Наталья! Вы сказали:
    1. Сокращение временных затрат на подготовку отчетности
    Вопрос: каков показатель сокращения времени - в % отношении.
    2. Создание единого хранилища данных в концепции Data Lake для дальнейшего использования в аналитических целях
    Вопрос: прошло полгода с запуска проекта. Каким образом в настоящее время используется DataLake помимо обозначенных задач в проекте?

    Мой стандартный вопрос: какова Команда проекта со стороны Заказчика? Кто выступил Архитектором решения? У вас создан Центр компетенций по данным технологиям / решениям?

    • Наталья Киселева Александр
      Рейтинг: 220
      ФГБУ Россельхозземмониторинг
      Заместитель директора
      24.12.2018 11:47

      Добрый день.

      1. Сокращение времени - для некоторых отчетов в 2 раза.
      2. В настоящее время в Data Lake предоставляются некоторые данные для материнской компании с целью создания единого DWH по операциям на всех рынках МБ.
      3. Со стороны Заказчика в проекте участвовало 20 человек. Архитектор системы - Неофлекс, но - Архитектурный комитет, который постоянно действует в Группе компаний МБ, согласовывал и утверждал как саму предложенную архитектуру Neoflex Reporting, так и её включение в ИТ ландшафт НКЦ. Центр компетенций создается. Говорить об уже созданном центре, я считаю пока рано, т.к. прошло мало времени и по данным технологиям в пром. эксплуатации пока только один наш Data Lake.

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.