ВТБ: создание и импортозамещение собственного MLOps-конвейера

• Импортозамещение текущего стека технологий лаборатории продвинутой аналитики

• Переход на импортозамещенный технологический стек инструментов платформы «Сфера»

2024

В рамках проекта была реализована интеграция с платформой «Сфера» (управления задачами, управление кодом, управление тестированием и релизами), что позволило перейти на MLOps-конвейер, учитывающий специфику разработки и внедрения решений ИИ.

В результате более 700 специалистов тратят меньше времени на вывод моделей в промышленный контур. 

Да

• Scibox

• Платформа «Сфера»

В проекте не используются решения из каталога Global CIO

Сложный интеграционный проект, включающий в себя задачи по импортозамещению и разработке новых систем (Репозиторий артефактов ML, Платформа качества моделей), доработкой функционала существующих.

Команда проекта состояла из большого количества специалистов  различных направлений, которые вместе находили оптимальные решения для соединения огромного количества программных компонентов в единый конвейер.

Высокие требования защиты информации и контроля используемых дистрибутивов и библиотек накладывали существенные ограничения и требовали разработки ПО от Группы Т1 практически с нуля.

MLOps-конвейер — совокупность программно-аппаратных средств нескольких информационных систем, которые позволяют разрабатывать и внедрять в бизнеса-процессы банка ML-модели.

В рамках проекта необходимо было импортозаместить системы управления задачами, кодом, тестированием и релизами. 

• В проекте проведено импортозамещение стека технологий Лаборатории продвинутой аналитики (ЛПА), созданной банком для обработки и применения ML-моделей:

• Выполнена миграция с Oracle на Postgresql для Системы управления моделями (СУМ), Платформы исполнения моделей (ПИМ).

• Заменены компоненты Openshift на Kubernetes для всех компонентов ЛПА, что исключает зависимость от конкретного вендора.  

• Внедрено полностью импортонезависимое решение на базе продукта Scibox — ML-платформы от Группы Т1, позволяющей разрабатывать и применять в процессах банка современные ML-алгоритмы для различных данных: от таблиц данных и временных рядов до обработки изображений и видео.

В СУМ был реализован функционал, позволяющий управлять жизненным циклом моделей, формировать отчетность по моделям, по ключевым параметрам процесса создания моделей и их применения в бизнес-процессах банка. Анализировать и контролировать каждый из этапов жизненного цикла моделей от согласования заявки на разработку модели от заказчика до разработки витрин для моделирования и адаптации и применения моделей в промышленной среде.

СУМ используется для отслеживания процесса разработки моделей и хранит артефакты по моделированию.

Вместе с инструментами Сферы MLOps-конвейер позволяет вести разработку безопасно и обеспечить высокую надежность промышленных решений при обработке большого массива чувствительной информации, например, данных о банковской тайне.

Команда проекта, состоящая из высококвалифицированных специалистов, обладающих компетенциями не только в ИТ, но и в DS, MLOps смогла выстроить эффективное взаимодействие в команде и с заказчиками и пользователями системы. Результат — создание качественного решения ИИ, удовлетворяющего все потребности подразделений банка, работающих с решениями ИИ.

РФ