Витрины данных для отчётности по МСФО

АСПД МСФО — «Автоматизированная система подготовки данных МСФО». Система обеспечивает первичную обработку данных (сбор, контроль качества, дообогащение) и последующее формирование витрин для подготовки отчётности Банка согласно МСФО: от Отчёта о финансовом положении и Отчёта о совокупном доходе до портфелей кредитов, депозитов, векселей, ценных бумаг и производных инструментов. Всего 17 витрин.

Перенести функционал витрин АСПД МСФО с платформы Oracle Exadata на целевой стек PostgreSQL и оптимизировать общий регламент подготовки отчетности за счет автоматизации ручных шагов.

Ключевые задачи проекта:

1.     Полная миграция контура МСФО — перенести не отдельные отчёты, а все 17 витрин, обеспечивающих подготовку отчётности Банка по МСФО

2.     Повышение качества данных и скорости расчётов — миграция сопровождается не только переносом функциональности, но и повышением качества данных: подтверждена сходимость значений (сверка проведена по 2869 атрибутам) сопоставимых показателей.

Количественные результаты (КПЭ):

Заявлено 18 КПЭ — все 18 достигнуты (100%).

17 из 18 — с превышением заданных показателей (94,4%).

8 из 18 — с кратным превышением эффективности.

Один показатель улучшен в 32 раза.

Повышение скорости расчётов. По результатам оптимизации деградация времени расчёта витрин удержана в пределах 5% (целевое значение) против допустимых 30% по итогам миграции.

Качественные результаты:

1.     Завершена миграция процедур расчёта витрин с Oracle Exadata на PostgreSQL.

2.     Реализован UI для запуска процедур расчёта витрин АСПД МСФО и контроля их исполнения.

3.     Завершена оптимизация скорости выполнения процедур расчёта витрин на PostgreSQL.

4.     Завершена миграция витрин АСПД МСФО на PostgreSQL.

5.     Легаси-система АСПД МСФО выведена из промышленной эксплуатации.

6.     Для модифицированной системы соблюдены паттерны надёжности в соответствии с утверждённым уровнем критичности, проведены DR-учения.

Экономия: проект выполнен с экономией бюджета.

Целевая платформа:

·       PostgreSQL

Замещаемая платформа:

·       Oracle Exadata

Озеро Данных:

·       Озеро Данных на Arenadata Hadoop для "охлаждения данных"

Подрядчики решения:

1.     Иннотех

2.     Философия ИТ

1. Два крупных подрядчика и синхронизация работ. В проекте участвовали два ключевых подрядчика — Иннотех и Философия ИТ.

2. Риск деградации производительности. Переход на новую СУБД требовал обязательной оптимизации запросов; без выделенного этапа невозможно гарантировать приемлемую производительность.

3. Требования банка к паттернам надёжности. За время реализации выросли в 5 раз. Потребовалось несколько итераций усовершенствования архитектуры системы для обеспечения требуемых уровней зрелости паттернов надежности, актуализация роадмапа.

4. Минорные трудности. Помимо ключевых сложностей, которые проект успешно преодолел, Банк также столкнулся с рядом минорных трудностей:

· необходимость укрепления компетенций новых команд в новых сферах;

· дефицит собственных ресурсов Банка;

· риск недостижения заданных параметров производительности по результатам миграции витрин более 30%;

·  уточнение требований в процессе реализации;

·  уточнение стандартов ИТ-архитектуры;

АСПД МСФО формирует витрины для подготовки отчётности Банка по МСФО — от Отчёта о финансовом положении и Отчёта о совокупном доходе до портфелей кредитов, депозитов, векселей, ценных бумаг и производных инструментов. Всего 17 витрин.

Проект обеспечивает импортозамещение контура подготовки данных МСФО: витрины АСПД МСФО перенесены с Oracle Exadata на PostgreSQL, легаси-система выведена из промышленной эксплуатации.

Ключевые этапы:

1.     Подготовительная часть. Преданализ задач проекта, предварительная проработка системной и продуктовой аналитики до старта — для точной оценки сроков, объёма работ, специалистов, архитектуры и логики системы.

2.     Итеративная миграция по группам витрин. Витрины были сгруппированы по функциональному признаку с учетом внутренней взаимной привязки данных. Последовательный перенос витрин с оптимизацией и контролем результатов на каждом этапе — обеспечил соблюдение сроков.

3.     Оптимизация производительности. Риск деградации при смене СУБД был идентифицирован на старте; выделенный этап оптимизации позволил уложиться в допустимые лимиты, а по некоторым витринам существенно превзойти целевые показатели, определенные легаси-системой.

4.     Закупка и конфигурация сред. Оборудование для DEV, ИФТ, ПРЕПРОД и ПРОД закуплено и сконфигурировано; отдельно — среда ПРОД в части «охлаждения данных» в Озере Данных.

5.     Миграция и ПСИ. Процедуры расчёта витрин групп 1–4, процедуры контроля качества и вспомогательные процедуры мигрированы в полном объёме; проведены ПСИ по мигрированным и оптимизированным процедурам, по UI, pre-sql/post-sql и логированию.

6.     Реализация UI для запуска процедур расчёта витрин АСПД МСФО и контроля их исполнения.

7.     Вывод из эксплуатации нецелевой системы АСПД МСФО.

Управление и коммуникации: регулярные синхронизации, статус-митинги и оперативные чаты обеспечили прозрачность и быстрое решение вопросов между всеми участниками.

Проект затронул изменение пяти информационных систем.

·       Распределённая команда по всей России; 12 команд из 4 стримов, работавших в разных регионах страны.

·       Центральная команда Банка и команды подрядчиков.