Облачная платформа ВТБ — VTB.Cloud

Заказчик:: ПАО ВТБ
Руководитель проекта со стороны заказчика: Дмитрий Сендюрев

Управляющий директор - Вице-президент
Год завершения проекта: 2021
Сроки выполнения проекта: Август, 2020 - Июль, 2021
Масштаб проекта: 266800 человеко-часов
Цели: Для эффективной разработки банковских приложений и сервисов необходима гибкая, доступная и легко масштабируемая вычислительная инфраструктура. До реализации проекта, получение такой инфраструктуры в Банке занимало значительное время и требовало от технических специалистов решения большого количества административных и непрофильных задач, которые тормозили развитие сервисов.
В масштабах ВТБ внедрение инструмента для упрощения получения доступа к стандартизированным вычислительным ресурсам — уникальная по масштабу задача. В результате подробного анализа специфики банковских процессов и работы информационных систем, была спроектирована облачная платформа VTB.Cloud.
Ее внедрение позволило закрыть потребность в едином инструменте для самостоятельного заказа и управления вычислительными ресурсами, тем самым, ускорив разработку банковских продуктов.

Уникальность проекта

VTB.Cloud позволила обеспечить банк рядом уникальных преимуществ. Среди них: 1) упрощенное предоставление инфраструктурных продуктов пользователям в режиме самообслуживания 24/7 2) минимальное время развертывания вычислительных ресурсов 3) исключение санкционных рисков за счет внедрения импортозамещающих технологий 4) снижение TCO (Total cost of ownership) ИТ-инфраструктуры 5) экономия средств на предоставленную инфраструктуру за счет поминутной тарификации потребленных продуктов (pay-as-you-go) 6) прогноз оптимального использования оборудования — инструментами аналитики данных и мониторинга вычислительных ресурсов 7) реализация модуля утилизации для сбора информации в различных разрезах по всей банковской инфраструктуре 8) сокращение time-to-market новых банковских продуктов 9) оптимизация получения доступа многочисленной команды разработки банка к стендам dev, test и prod

Использованное ПО

Наша экспертиза в разработке дистрибутива и использование open source-решений позволили удешевить разработку платформы: исключить закупку дорогостоящих лицензий и применить импортозамещающие решения для уменьшения влияния возможных санкционных рисков. При создании инфраструктуры VTB.Cloud использовался технологический стек, содержащий следующее ПО:

платформы виртуализации: OpenStack
платформы управления контейнерами: Kubernetes
серверы приложений: RabbitMQ Open Source Mozilla Public License (MPL), Keycloak Open Source: ASL 2.0 (Apache Software License), React Open Source: MIT License / X11 License, Rails Open Source: MIT License, Redis Open Source Software, Kong Open Source Software
СУБД: PostgreSQL, Redis

Для заказа в режиме самообслуживания пользователям доступен следующий продуктовый каталог:

ВМ с предустановленной ОС: RHEL, Windows, Astra Linux, Ubuntu
СУБД: PostgreSQL, Redis
Брокеры сообщений: RаbbitMQ, Apache Kafka
Серверы приложений: Nginx, Wildfly
Сервисы логирования данных: Elasticsearch, Fluentd
Контейнеры: OpеnShift Project
Сервисы хранения данных: S3

Сложность реализации

Разработка информационных систем в условиях банка всегда сопровождается рядом внутренних ограничений. В первую очередь, очень высокие требования предъявляются информационной безопасности. При разработке архитектуры платформы необходимо было заложить реализацию строгого контроля и четкого распределения ролей и прав, согласно принятым банковским политикам.

Перед командой нами стояла комплексная задача донести до всех пользователей платформы идею о необходимости эффективного использования вычислительных ресурсов — осознанном подходе к использованию инфраструктуры, планированию утилизации ресурсов, и, как следствие, — экономии и прозрачном распределении затрат.

Описание проекта

VTB.Cloud — это новая высоконагруженная облачная платформа для размещения внутренней инфраструктуры ВТБ. Сегодня из “облака” выдается 80% всех вычислительных мощностей банка (виртуальных и физических серверов). Единовременно работает около 2000 серверов и 1000 проектов OpenShift. К концу 2021 план потребления может составить около 4000 работающих виртуальных машин в "моменте". Полностью миграцию планируется завершить к 2024. Платформа спроектирована для получения и обслуживания тысяч серверов для банковских команд разработки и сопровождения, позволяющая быстро и удобно создавать и сопровождать элементы инфраструктуры. Создание VTB.Cloud — важная составляющая комплексной технологической трансформации, которую ВТБ проводит с 2019 года. Переход к “облаку” и cloud-native приложениям, который позволяет оптимизировать стоимость создания и поддержки инфраструктуры и использование серверных мощностей, — один из важнейших элементов создания новой корпоративной ИТ-инфраструктуры наряду с использованием микросервисов и др. В основе облачной платформы — решения, позволяющее гибко подключать различные ресурсные пулы: платформы виртуализации различных вендоров или open source-платформы, платформы контейнеризации, физические серверы. VTB.Cloud предоставляет каталог стандартных сервисов и инструментов, используемых для конфигурации всех типов используемых в банке сред: пользователь подает заявку — и получает необходимый ресурс в течение нескольких минут. Сегодня VTB.Cloud включает:

3 платформы виртуализации
10+ облачных сервисов в средах от dev до hot-fix
500+ единовременно работающих проектов OpenShift
2000+ единовременно работающих VM

Мы учли все особенности управления доступом к различным сервисам банка и сформировали ролевую модель, согласно которой пользователь может оперативно получить права для работы с облачными проектами, ресурсами и элементами организационной структуры без дополнительных согласований.
Единая точка входа для заказа облачных вычислительных ресурсов на платформе — портал самообслуживания. Вне зависимости от контура разработки и сетевого сегмента клиентский путь к порталу реализован через графический или программный интерфейсы.
Аллокацию расходов на ИТ-инфраструктуру и прогнозирование объемов необходимых вычислительных мощностей упрощает тарифная модель (с оплатой по модели pay-as-you-go). Ее основной принцип — поминутная тарификация, которая дает возможность экономить ресурсы. Это обеспечивает стандартизацию выдаваемых через облако продуктов, предоставляет необходимые инструменты для управления расходами в реальном времени и предварительно рассчитывает стоимость планируемых ресурсов.

Работа над платформой VTB.Cloud началась в 2020 году. К декабрю была запущена MVP-версия продукта, где первые пользователи имели возможность заказывать, запускать, отключать, перезагружать и удалять виртуальные ресурсы. Для создания облачной платформы разрабатывался собственный дистрибутив, реализованный на следующих уровнях:

уровень представления — портал самообслуживания, биллинг потребленных ресурсов, аналитика данных о потребляемых продуктах и сетевых сегментах
уровень оркестрации — автоматизация развертывания инфраструктурных продуктов на ресурсах под управлением портала
уровень ресурсных пулов — платформы виртуализации различных вендоров или OpenSource, платформы контейнеризации и физические серверы

К концу третьего квартала 2021 платформа VTB.Cloud прошла процедуру государственной регистрации программы для ЭВМ в Федеральной службе по интеллектуальной собственности и процедуру внесения в реестр отечественного ПО Министерства цифрового развития, связи и массовых коммуникаций РФ.
С момента запуска MVP-версии платформы расширился перечень групп продуктов, доступных для заказа в облачной инфраструктуре:

IaaS/IaaS+ — ВМ с предустановленным ПО (и стандартным техническим стеком, необходимым для разработки приложений)
PaaS – контейнеры (платформы Red Hat OpenShift, в планах запуск кластеров Kubernetes), рекомендовано для cloud-native приложений
Физические серверы — для задач с высокими требованиями к нагрузке (выделенный сервер в облачной среде с собственной копией ОС)

В июле 2021 года платформа была введена в промышленную эксплуатацию. В ближайших планах — реализовать инструмент масштабного прогнозирования на будущие периоды по закупаемому оборудованию, оптимизировать процессы закупки необходимой инфраструктуры, расширить продуктовый каталог и продолжить тиражирование платформы на новые банковские команды.
Обладая достаточной технологической зрелостью, мы закладываем направление развития VTB.Cloud для всей Группы ВТБ и ставим глобальную цель — стать единым сервисным провайдером для всех партнеров банка.

География проекта

РФ, СНГ