Импортозамещение платформы управления данными Cloudera в Сбере

1. Обеспечить технологическую независимость от иностранных вендоров Cloudera и Red Hat для сервисов мониторинга и журналирования более 1000 автоматизированных систем банка.

2. Повысить надежность и безопасность сервисов управления данными, которые используются в том числе при проверках ЦБ и в процессах кибербезопасности.

Критерии достижения:

• ПО для мониторинга и журналирования Platform V Monitor (АО «СБЕРТЕХ») доработано для совместимости с SDP Hadoop (ПАО «Сбербанк») - целевой заменой платформы Cloudera. Функционал импортозамещенного решения не уступает вендорскому и на 100% соответствует повышенным требованиям надежности и безопасности банка.

• 100% серверов с установленным ПО Cloudera HDFS и Red Hat Enterprise Linux (требуется для продуктов Cloudera) переведены на целевые решения: SDP Hadoop и Platform V SberLinux OS Server (АО «СБЕРТЕХ»).

• При миграции обеспечена 100%-ная сохранность данных.

2024

1. Обеспечены независимость банка от ИТ-решений иностранных вендоров и снижение операционных издержек.

2. Сокращены риски нарушения работоспособности систем благодаря отказоустойчивым механизмам внутреннего HDFS-решения.

3. Обеспечено выполнение повышенных требований безопасности к процессам авторизации/аутентификации, шифрования данных, использования внутреннего сервиса хранения секретов (Secman).

4. Итоговая успешная миграция показала высокий уровень профессионализма и технической зрелости команд АО «СБЕРТЕХ» и ПАО «Сбербанк», а также подтвердила способность российских компаний самостоятельно решать крупные технологические задачи.

• SDP Hadoop (https://reestr.digital.gov.ru/reestr/1334271/?sphrase_id=5445845)

• Platform V Monitor (https://reestr.digital.gov.ru/reestr/936882/?sphrase_id=7164518)

• Platform V SberLinux OS Server (https://reestr.digital.gov.ru/reestr/1765429/?sphrase_id=7164541)

В проекте не используются решения из каталога Global CIO

• Ключевой сложностью проекта являлась необходимость провести масштабную миграцию основного компонента инфраструктуры, сохранив бесперебойную работу критически важных автоматизированных систем. Потребовалось детальное проектирование архитектуры и сценария миграции, а затем - следование требованиям и исправление мельчайших недочетов разработки.

• Большое количество зависимостей в дорожной карте превращало любое отклонение от плана в масштабное перепланирование, а большинство решений принималось коллегиально, что требовало серьезного управленческого ресурса.

• Отдельным вызовом стали закупка физического оборудования и развертывание инфраструктуры с нуля в сжатые сроки.

Работа в проекте велась по нескольким стримам:

1. Разработка. Целевая платформа для управления данными SDP Hadoop – одна из крупнейших Hadoop-инфраструктур в мире (потребление – более 200 ПБ данных пользователей). Это решение активно использовалось в банке уже на старте проекта, как и прикладное ПО Platform V Monitor. Однако совместимость продуктов требовала

   доработок со стороны обеих команд. Также необходимо было следовать развивающимся требованиям безопасности и надежности. Согласование архитектуры, разработка и тестирование заняли более 6 месяцев.

2. Внедрение целевого решения потребовало около 5 месяцев. Исправления мельчайших недочетов, выявленных при тестировании, были обусловлены высокой ценой потери критичных данных. Одним из удачных решений этого этапа стала практика «гемба»: смежные команды не просто передавали друг другу важные результаты работ, но совместно проходили путь внедрения. Это позволяло экономить время на выяснении «есть ли проблема?» и сразу приступать к ее решению.

3. Тираж занял также 5 месяцев и был завершен в декабре 2024 г. Команда сопровождения сервисов журналирования и мониторинга обеспечила миграцию без влияния на бизнес-процессы своих пользователей.

4. Подготовка инфраструктуры шла параллельно и включала себя

   Закупку. Для миграции ПО требовалось подменное оборудование (физические сервера) с повышением отказоустойчивости и кратным уменьшением риска потери данных. Поставка в сроки проекта оказалась амбициозной задачей, с которой удалось справиться благодаря оперативному контролю и нестандартным решениям внутреннего управления инфраструктурой (например, переговорам с другими проектами, ожидавшими такое же оборудование).

   Развертывание кластеров hadoop «с нуля», что подразумевало выход в новые сегменты хранения данных со своими требованиями надежности и безопасности. Всего команда сопровождения SDP Hadoop развернула 40 кластеров на более, чем 1000 серверов CPU 64/ RAM 512 GB / HDD 72TB.

5. Управление проектом осуществлялось централизованно из проектного офиса Программы Импортозамещения при поддержке проектных офисов департаментов банка и АО «СБЕРТЕХ». Включало в себя:

   - Согласование и утверждение годовых и квартальных целей,

   - Разработку и актуализацию интегрального плана (дорожной карты) проекта и детальных планов стримов,

   - Организацию Рабочей группы с представителями всех команд и еженедельные встречи,

   - Создание Управляющего комитета уровня начальников департаментов и проведение встреч раз в 2 недели для обсуждения статуса, эскалаций и принятия решений.

   Еще на старте проекта стало понятно, что выстраивание коммуникаций – залог успеха такой сложной структуры. Много времени было инвестировано в модерацию обсуждений по спорным вопросам и обеспечение участия всех заинтересованных сторон. Представительство участников Рабочей группы требовало больших временных затрат, но позволяло решать многие вопросы практически онлайн.

Офисы Сбера по всей России