Внедрение системы распределенного управления данными

Заказчик
ПАО Московский кредитный банк
Руководитель проекта со стороны заказчика
Год завершения проекта
2023
Сроки выполнения проекта
Август, 2022 - Август, 2023
Масштаб проекта
1200 человеко-часов
Цели

1. Повышение эффективности бизнеса за счет повышения качества данных и снижения стоимости владения данными.

2. Внедрение эффективных процессов и технологий управления данными.

Результаты
Повышение качества данных.
Повышение скорости решения инцидентов по качеству на 30%.

Уникальность проекта

Проект по внедрению системы управления данными являлся одним из наиболее комплексных проектов, включающих в себя методологический, процессный и технологический направления.

Распределенная система управления данными позволила объединить бизнес-компетенции и знания о данных, что повысило как качество данных в корпоративном хранилище данных, так и корректную интерпретацию данных.

Также были внедрены ключевые элементы управления данными, которые позволили выйти на качественно новый уровень поддержки процессов управления данными:

· платформа по контролю качества данными (Data Quality-платформа);

· каталог данных.

DQ-платформа позволила автоматизировать технические и бизнес-проверки качества данных любой сложности. Каталог данных был подключен ко всем ключевым системам банка и стал единым источником информации по всем информационным активам банка.

Единая база знаний о данных и наличие полноценного описания данных позволило в несколько раз сократить время на поиск данных, а также повысить уровень интерпретации (корректное понимание) данных у пользователей данных.

Проект решает задачи импортозамещения
Нет
Использованное ПО

Все решения были развернуты на базе Open Source в рамках трендов по импортозамещению и противодействию санкциям.

DQ-платформа: JupiterHub, GitLab, Grafana. Python, Airflow

Каталог данных: Open Metadata, Kubernetes, Airflow

Сложность реализации
Основная сложность по внедрению распределенной системы управления данными была в том, что децентрализация управления данными требует создания компетенций в управлении данных «на местах».

Для повышения уровня зрелости и качества управления процессами была проведена серия воркшопов с владельцами данных, а также внедрена «Тепловая карта», которая на основании 19 показателей оценивает, как общий уровень управления доменом данных, так и уровень управления теми или иными процессами по работе с данными.

Описание проекта

В рамках проекта были идентифицированы домены данных и определены ответственные за домены данных – владельцы данных.

Под руководством владельцев данных были созданы кросс-функциональные доменные команды, которые объединяли в себе бизнес-компетенции и компетенции по работе с данными.

Для внедрения новых процессов были организованы воркшопы с владельцами данных и доменными командами. Для поддержания процессов управления данными и контроля соблюдения стандартов как по качеству данных, так и по качеству описания данных были внедрены платформа по качеству данных и каталог данных.

Для оценки уровня управления данных и прогресса в управлении данными в том или ином домене была разработана и внедрена «Тепловая карта».

География проекта
Россия
Коментарии: 5

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Роман Кузнецов
    Рейтинг: 896
    ГК Интертехэлектро
    CDTO
    29.12.2023 08:48

    Александр, здравствуйте!
    Проект очень интересный. Задачи DG и DQ в крупном бизнесе принято решать на базе зрелых платформ. Вы же реализовали собственную информационную систему. Понятно, что линейка apache предоставляет хорошую основу, но выбора такого варианта надо иметь ресурсы высоко квалификации. Какая команда реализовывала проект? Каков был баланс разработчиков и методистов/аналитиков.
    По описанию стека плюс-минус понятна принципиальная архитектура каталога данных. А вот как была выстроена архитектура DQ на базе приведенного стека для меня загадка. Есть возможность дополнить описание архитектурной схемой.
    Не ясно из описания и как была выстроена децентрализованная схема.
    Повторюсь очень интересный проект, но описан чересчур тезисно.

  • Роман Кузнецов
    Рейтинг: 896
    ГК Интертехэлектро
    CDTO
    29.12.2023 08:49

    Про знаки вопросов забыл в комментарии выше)

  • Вячеслав Чупраков
    Рейтинг: 1175
    Прагматика Эксперт
    Заместитель ИТ директора по инфраструктуре и сервисам
    05.01.2024 01:15

    Добрый день, насколько сложно было отыскать владельцев данных? Много ли баз оказалось без владельца (в процентах)?

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2024 11:24

    Добрый день, в рамках реализации этого проекта что было наиболее сложным и оценивалась ли удовлетворенность основных заинтересованных сторон после реализации проекта? На сколько она увеличилась, если такая оценка производилась?

  • Дмитрий Турчановский
    Рейтинг: 2527
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2024 23:48

    Подобран интересный стэк технологий, на мой взгляд непрост в обслуживании, как организована поддержка полученной платформы? И почему не внедрили уже зарекомендовавшие на рынке готовое ПО, как проводили выбор?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.