SBF DM. Система управления данными (SberFactoring Data Management)

Основная разработка производилась на Python, в том числе коннекторы к различным БД, а также API для интеграций с другими АС. При реализации проекта использовано открытое ПО: PostgreSQL, Airflow, Superset, DocHub.

Создавать что-то новое – это всегда непросто. А в нынешних реалиях, когда большинство привычного, известного ПО использовать крайне рискованно или невозможно, такие проекты становятся гораздо сложнее. Но наша команда всегда воспринимает такие факторы как новые вызовы и возможности. Также необходимо отметить, что мы сумели добиться отличных результатов с минимальным отвлечением ключевых экспертов и руководителей от их непосредственных задач. А это сейчас крайне важно и свидетельствует о том, что нам удавалось и удается с хорошей точностью спланировать этапы работ и вовлечение необходимых участников. При этом мы не ставили кросс-цели смежным подразделениям, а показали пользу для коллег таким образом, что стандартное, но не для всех приятное мероприятие по каскадированию целей, стало избыточным. И мы в очередной раз убедились, насколько важно уметь правильно донести информацию.

В СберФакторинг долгое время не было функции по управлению данными, которая включала бы в себя необходимый комплекс организационных и технических мероприятий. Не было четкого описания и категоризации данных и понимания, кто ими владеет. Были расхождения в терминах и сущностях, их определениях и составе. Следствием становились ошибки в отчетах, дополнительные трудозатраты сотрудников на анализ и устранение проблем. Повышались риски кибербезопасности, а это может быть критично для финансовой компании. Также у руководства компании было желание получать дополнительную пользу от уже существующих данных.

Эти предпосылки послужили катализатором создания проекта SberFactoring Data Management (SBF DM).

Учитывая существующие ограничения и риски, а также соотношение стоимости и функционала доступных на рынке продуктов, решили реализовать проект собственными ресурсам на открытых технологиях, чтобы самостоятельно развивать, масштабировать и сопровождать систему. Это потребовало определенных навыков от команды, которые, впрочем, не были заоблачными: требовался опыт программирования на Python и важное качество - «искать способы, а не причины».

Первым шагом, проведя исследование рынка и проанализировав текущую ситуацию, организовали встречи с ключевыми представителями бизнес-подразделений и ИТ, уточнили основные потребности, согласовали приоритеты, а также учли требования со стороны головной организации - «Сбера». В результате был разработан план с описанием основных этапов, сроков и необходимых ресурсов.

Вторым шагом определили и описали существующие в компании данные, витрины и отчеты, выявили владельцев и разграничили доступы.

И только третьим шагом перешли к автоматизации.

Примерно за квартал в СберФакторинг появилась своя система управления данными, которая помогает оперативно найти необходимую информацию сотрудникам бизнес-подразделений и специалистам ИТ. Как итог – сокращение времени реализации задач и увеличение производительности команды. А также оптимизация инфраструктуры и снижение рисков утечки чувствительных данных.

Безусловно, проект не останавливается на достигнутых результатах, которые, к слову, уже отмечен дипломами нескольких конкурсов. Уже сформированы требования к качеству данных, определены и реализуются необходимые проверки. Подключен мониторинг, с помощью которого мы видим отклонения от допустимого уровня качества данных и можем оперативно их устранять. Разработана ML-модель, которая умеет находить персональные данные в таблицах БД.

Новые модули (Качество данных и ML) отлично дополнили уже существующие (Бизнес-глоссарий, Логическая модель данных, Реестр/каталог данных, Реестр отчетов), улучшению которых мы тоже уделяем много внимания: в 3-м квартале сделали еще более наглядной логическую модель данных с помощью инструмента DocHub, рекомендованного Сбером. Наш проект обеспечивает как внутреннюю монетизацию данных, так и регуляторную. И мы уже начали проработку мероприятий, которые позволят нам осуществить и внешнюю монетизацию данных.