SBF DM. Система управления данными (SberFactoring Data Management)

Заказчик
ООО «Сбербанк Факторинг»
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО «Сбербанк Факторинг»
Год завершения проекта
2023
Сроки выполнения проекта
Ноябрь, 2022 - Октябрь, 2023
Масштаб проекта
4278 человеко-часов
Цели
1. Упорядочить процессы по работе с данными, сделать их более прозрачными и доступными для всех сотрудников компании.
2. Снизить риски утечки чувствительных данных и нецелевого использования данных
3. Сократить время поиска данных для всех пользователей
4. Обеспечить однозначную терминологию для всех данных - определение основных объектов (бизнес-сущностей), категорий данных, их состав и взаимосвязи
5. Исключить расхождение данных в источниках и витринах
Результаты
Реализация проекта SBF DM позволила:

1) сделать более доступными, наглядными, удобными для коллег процессы управления метаданными, безопасностью, архитектурой данных и качеством данных
2) снизить риск утечки чувствительной информации и риск нецелевого использования данных
3) ускорить принятие правильных управленческих решений и решений о финансировании
4) монетизировать данные

Уникальность проекта

Любой проект - это всегда создание чего-то нового, уникального, ценного.

SBF DM (SberFactoring data management) является комплексным решением, включающим в себя не только автоматизированную систему, а еще и набор процессов по управлению данными. Конечно, SBF DM создавалась для решения внутренних задач СберФакторинг, но дополнительная ценность системы заключается в том, что она может быть тиражирована в другие компании, причем в зависимости от потребностей и специфики деятельности, конфигурация опций может меняться. Подтверждением этого является интерес нескольких компаний как внутри экосистемы Сбера, так и за ее пределами.

Проект решает задачи импортозамещения
Да
Использованное ПО

Основная разработка производилась на Python, в том числе коннекторы к различным БД, а также API для интеграций с другими АС. При реализации проекта использовано открытое ПО: PostgreSQL, Airflow, Superset, DocHub.

Сложность реализации

Создавать что-то новое – это всегда непросто. А в нынешних реалиях, когда большинство привычного, известного ПО использовать крайне рискованно или невозможно, такие проекты становятся гораздо сложнее. Но наша команда всегда воспринимает такие факторы как новые вызовы и возможности. Также необходимо отметить, что мы сумели добиться отличных результатов с минимальным отвлечением ключевых экспертов и руководителей от их непосредственных задач. А это сейчас крайне важно и свидетельствует о том, что нам удавалось и удается с хорошей точностью спланировать этапы работ и вовлечение необходимых участников. При этом мы не ставили кросс-цели смежным подразделениям, а показали пользу для коллег таким образом, что стандартное, но не для всех приятное мероприятие по каскадированию целей, стало избыточным. И мы в очередной раз убедились, насколько важно уметь правильно донести информацию.

Описание проекта

В СберФакторинг долгое время не было функции по управлению данными, которая включала бы в себя необходимый комплекс организационных и технических мероприятий. Не было четкого описания и категоризации данных и понимания, кто ими владеет. Были расхождения в терминах и сущностях, их определениях и составе. Следствием становились ошибки в отчетах, дополнительные трудозатраты сотрудников на анализ и устранение проблем. Повышались риски кибербезопасности, а это может быть критично для финансовой компании. Также у руководства компании было желание получать дополнительную пользу от уже существующих данных.

Эти предпосылки послужили катализатором создания проекта SberFactoring Data Management (SBF DM).

Учитывая существующие ограничения и риски, а также соотношение стоимости и функционала доступных на рынке продуктов, решили реализовать проект собственными ресурсам на открытых технологиях, чтобы самостоятельно развивать, масштабировать и сопровождать систему. Это потребовало определенных навыков от команды, которые, впрочем, не были заоблачными: требовался опыт программирования на Python и важное качество - «искать способы, а не причины».

Первым шагом, проведя исследование рынка и проанализировав текущую ситуацию, организовали встречи с ключевыми представителями бизнес-подразделений и ИТ, уточнили основные потребности, согласовали приоритеты, а также учли требования со стороны головной организации - «Сбера». В результате был разработан план с описанием основных этапов, сроков и необходимых ресурсов.

Вторым шагом определили и описали существующие в компании данные, витрины и отчеты, выявили владельцев и разграничили доступы.

И только третьим шагом перешли к автоматизации.

Примерно за квартал в СберФакторинг появилась своя система управления данными, которая помогает оперативно найти необходимую информацию сотрудникам бизнес-подразделений и специалистам ИТ. Как итог – сокращение времени реализации задач и увеличение производительности команды. А также оптимизация инфраструктуры и снижение рисков утечки чувствительных данных.

Безусловно, проект не останавливается на достигнутых результатах, которые, к слову, уже отмечен дипломами нескольких конкурсов. Уже сформированы требования к качеству данных, определены и реализуются необходимые проверки. Подключен мониторинг, с помощью которого мы видим отклонения от допустимого уровня качества данных и можем оперативно их устранять. Разработана ML-модель, которая умеет находить персональные данные в таблицах БД.

Новые модули (Качество данных и ML) отлично дополнили уже существующие (Бизнес-глоссарий, Логическая модель данных, Реестр/каталог данных, Реестр отчетов), улучшению которых мы тоже уделяем много внимания: в 3-м квартале сделали еще более наглядной логическую модель данных с помощью инструмента DocHub, рекомендованного Сбером. Наш проект обеспечивает как внутреннюю монетизацию данных, так и регуляторную. И мы уже начали проработку мероприятий, которые позволят нам осуществить и внешнюю монетизацию данных.

География проекта
РФ
Коментарии: 7

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Гудов
    Рейтинг: 49
    АО ОКБ
    Head of Data & Analytics Platform
    16.11.2023 09:19

    Трендовый проект! Перспективное направления, есть куда развивать продукт - автоматизированная система профилирования данных, маскирования данных и тд. Успехов.

    • Андрей Глушак Александр
      Рейтинг: 168
      ООО Сбербанк Факторинг
      Директор по информационным технологиям
      16.11.2023 10:52

      Спасибо! Если что, можем обсудить детали.

  • Вячеслав Чупраков
    Рейтинг: 1175
    Прагматика Эксперт
    Заместитель ИТ директора по инфраструктуре и сервисам
    05.01.2024 01:20

    Добрый день, насколько сложно было отыскать владельцев данных? Много ли баз оказалось без владельца или оказалось что база уже не используется (в процентах)? Как принимается решение и маркируется, что база имеет чувствительные данные?

    • Михаил Пекер Вячеслав
      Рейтинг: 42
      ООО Сбербанк Факторинг
      Директор по управлению данными
      09.01.2024 09:51

      Вячеслав, добрый день.
      Спасибо за вопрос.
      Изначально у нас не было роли владельца данных (к слову о процентах), поэтому пришлось не только искать, но и объяснять коллегам, что это за роль, и что им будет необходимо делать.
      Маркируются данные на основании 152-ФЗ, а также экспертного заключения владельцев данных и подразделения кибербезопасности.
      Сейчас мы оптимизировали процесс разметки с помощью ML-модели, которая находит ПДн в таблицах БД.
      Если интересно узнать чуть подробнее, можем обсудить.

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2024 11:24

    Добрый день, в рамках реализации этого проекта что было наиболее сложным и оценивалась ли удовлетворенность основных заинтересованных сторон после реализации проекта? На сколько она увеличилась, если такая оценка производилась?

  • Дмитрий Турчановский
    Рейтинг: 2527
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2024 23:50

    Подобраны open-source решения, на мой взгляд непрост в обслуживании, как организована поддержка полученной платформы? И почему не внедрили уже зарекомендовавшие на рынке готовое ПО, как проводили выбор?

    • Михаил Пекер Дмитрий
      Рейтинг: 42
      ООО Сбербанк Факторинг
      Директор по управлению данными
      09.01.2024 10:16

      Дмитрий, добрый день.
      Разделяю Ваше мнение, что open-source решения имеют целый ряд нюансов и ограничений.
      Поэтому основа нашей системы - это собственная разработка на python (ETL, API, коннекторы и т.д.)
      Открытые решения, которые мы используем для визуализации, например, мы можем заменить довольно легко, как только увидим что-то поинтереснее или текущий компонет начнет сдерживать развитие продукта.
      По готовым решениям - в первую очередь не устраивает их стоимость.
      Если интересно, можем обсудить чуть детальнее.
      Спасибо за вопрос.

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.