Внедрение гибкой платформы управления данными, создание новых моделей взаимодействия с бизнес-подразделениями и трансформация восприятия ценности в ПАО «АК БАРС» БАНК

Заказчик
ПАО «АК БАРС» БАНК
Руководитель проекта со стороны заказчика
ИТ-поставщик
Arenadata
Год завершения проекта
2021
Сроки выполнения проекта
Октябрь, 2020 - Ноябрь, 2021
Масштаб проекта
23000 человеко-часов
Цели
1. Снизить затраты на TCO платформы данных.
2. Минимизировать валютные риски и зависимость от иностранных поставщиков.
3. Обеспечить требуемые свойства системы (надежность, безопасность, доступность, и. т. д.) в соответствии с запланированным увеличением объема и количества источников данных. Например, в части основного корпоративного хранилища достигнуть показателя резервирования в 2N с отдельным кластером холодного резерва.
4. Увеличить скорость обработки данных и получить возможность для реализации дополнительных сценариев в направлении бизнес-аналитики.

На данный момент корпоративное хранилище функционирует в режиме t-1. Процессы требующие загрузки менее чем t-1 реализованы в отдельном слое на RDBMS. В рамках отдельных процессов после завершения внедрения будут реализованы процессы класса near-realtime, использованы сценарии ML\AI-on-DataWarehouse.

5. Сократить время на подключение новых источников данных.

6. Упростить и демократизировать возможность работы с данными в организации.

Уникальность проекта

Сложный, масштабный, стратегический проект.
Модернизация архитектуры систем управления данными запланирована в соответствии со стратегическими целями Банка.

Проект включает в себя внедрение гибкой платформы управления данными, создание новых моделей взаимодействия с бизнес-подразделениями и трансформацию восприятия ценности данных в компании.
Это позволит добиться синергетического эффекта в работе команд, участвующих в разработке новых продуктов, улучшить «Time to Market».

В скоупе стратегии также предусмотрено появление значимых компонентов для работы с данными — бизнес-глоссария и каталога данных.

Ключевым проектом стратегии является миграция с закрытого ПАК MPP-СУБД на enterprise-решение с открытым кодом. Это позволяет снизить ТСО, обеспечить гибкость и масштабируемость решений, упростить архитектуру и значительно расширить стек инструментов и интеграций.

Стратегия подразумевает поэтапную реализацию нескольких проектов.
Использованное ПО
Стратегия предусматривает комплексную модернизацию одновременно в нескольких направлениях.
  1. Полная замена платформы для корпоративного хранилища данных IBM Netezza на Arenadata DB.
  2. В качестве MDM-системы было выбрано и находится в стадии внедрения решение Ataccama Master Data Management.
  3. В качестве системы обеспечения качества данных (Data Quality) используется решение Ataccama Data Quality.
  4. В качестве BI-системы в компании используется продукты Qlik Sense для аналитики на данных источников и Tableau Server для сквозной аналитики на хранилище.
  5. В Банке реализована технология Change Data Capture из ряда значимых mission-critical систем на базе технологий Precisely (Syncsort).
  6. Платформа для бизнес-глоссария на данный момент не определена. Рассматриваются варианты решений нескольких поставщиков, а также сценарии реализации на open-source платформах.
  7. В качестве инструмента реализации ELT-трансформаций рассматриваются решения на open-source компонентах, а также внутренние разработки.
  8. Следующим этапом после завершения модернизации MPP СУБД в банке будет реализовано «озеро данных», с возможностью обмена данными с основным хранилищем.

Сложность реализации
Значимыми нюансами в реализации данного проекта являются две технологические особенности:
  1. Для миграции на новую платформу частично переписывается логика исходных ETL-сценариев.
  2. Процесс миграции на новую платформу происходит бесшовно: параллельно с реализаций актуальных бизнес-задач.
Параллельно с данным проектом в Банке в различных стадиях реализации находятся следующие проекты в рамках разработанной стратегии:

● контроль качества данных;
● система управления мастер-данными;
● бизнес-глоссарий;
● реализация комплексной многокомпонентной платформы управления данными;
● реализация песочниц для работы бизнес-аналитиков и специалистов Data Science;
● реализация системы обмена данными (data market) с внешними поставщиками, с соблюдением конфиденциальности и требований законодательства;
● методологическая работа по обучению сотрудников бизнес-подразделений основам современных технологий обработки данных, с продвинутым погружением отдельных сотрудников, ответственных за Data-driven продукты.

Описание проекта
Офис управления данными существует в «АК БАРС» БАНК» с 2014 года. Это самостоятельная структура, ориентированная на решение задач разных бизнес-подразделений. Общая стратегия развития управления данными была сформирована в банке тогда же в 2014 году. Новый этап стратегии предполагает переход на следующую ступень развития офиса управления данных: внедрение гибкой платформы управления данными, новые модели взаимодействия с бизнес-подразделениями и трансформацию восприятия ценности данных в компании. Основным драйвером текущих изменений стало завершение жизненного цикла IBM Netezza. Кроме того, с развитием собственного центра обработки данных банк стал больше внимания обращать на программные решения, появилась потребность уйти от текущей монолитной закрытой архитектуры. В банке уже реализован проект по созданию собственного облака с архитектурой application-control interface, полностью программно управляемого и ориентированного на микросервисную архитектуру. Основная цель изменений — переход к технологиям самообслуживания, создание простой и понятной экосистемы, в которой все подразделения банка смогут самостоятельно извлекать ценность из данных и оперативно использовать в работе. Новая стратегия подразумевает поэтапную реализацию серии проектов сразу в нескольких направлениях:
  1. Качество данных.
  2. Управление данными.
  3. Система управления мастер-данными и нормативно-справочная информация.
  4. Создание обновленного корпоративного хранилища и BI.
  5. Безопасность данных (проекты по обезличиванию данных, по ролевым моделям доступа, а также по тематике DevSecOps).
  6. Создание корпоративной архитектуры данных и внедрение сквозных архитектурных практик.
  7. Формирование внутренней экосистемы управления данными.
Одним из первых проектов в рамках общей ИТ-стратегии стала миграции существующего корпоративного хранилища на новую платформу сбора и хранения данных. Исторически процесс управления данными в компании был построен на технологиях компании IBM. Ключевой предпосылкой для выбора новой платформы стало прекращение поддержки программно-аппаратных комплексов IBM Netezza. Возникла необходимость выбора альтернативного решения, которое будет удовлетворять нескольким блокам критериев:
1. Требования к доступности решения.
2. Требования к информационной безопасности решения.
3. Требования к конфигурируемости.
4. Требования к масштабируемости решения.
5. Требования к надежности решения.
6. Требования к переиспользуемости.
7. Требования к персоналу.
8. Требования к расширяемости.
9. Требования к ресурсному обеспечению решения.
10. Требования к удобству использования.
11. Требования к циклу разработки решений и последующему внедрению изменений.
12. Требования к эксплуатации и жизненному циклу.
13. Требования к эффективности.
В числе возможных вариантов рассматривались решения IBM, Micro Focus и Greenplum («ванильный», решение Pivotal и Arenadata DB). В течение полугода банк проводил нагрузочные тесты и тесты по миграции данных. Общий список сравнения разных систем включал более 400 позиций. В результате по совокупному набору критериев выбор был сделан в пользу Arenadata DB.

По результатам завершения текущей стадии проекта миграции на новую платформу Arenadata DB уменьшено TCO стека хранения и обработки данных на 51,9 % относительно текущих значений.


География проекта
Российская Федерация, г. Казань
Дополнительные презентации:
Год
Предметная область
Отрасль
Управление