Внедрение объектного хранилища в рамках импортозамещения масштабной СУБД

Заказчик:

Федеральное казначейство

Руководитель проекта со стороны заказчика

Руслан Усманов

Заместитель начальника Управления информационной инфраструктурой Федерального казначейства РФ

Поставщик

ОНЛАНТА/VK Tech

Год завершения проекта

2023

Сроки выполнения проекта

Октябрь, 2022 - Ноябрь, 2023

Масштаб проекта

1528 человеко-часов

Цели

· Увеличение производительности систем за счет уменьшения объема хранимых в реляционной БД неструктурированных данных;

· Уменьшение времени отклика системы при работе с файлами и неструктурированными объектами.

· Соблюдение требований программы импортозамещения

· Обеспечение катастрофоустойчивости ГИС федерального уровня

Результаты

· Спроектирован и внедрен надежный сервис для сохранности данных заказчика.
· Время отклика базы данных сократилось на 50%, а экономия пространства достигла 30-60%. Сейчас в объектном хранилище Cloud Storage от VK – 5 млрд объектов. Добавляется 50 млн объектов еженедельно.
· Снизилась нагрузка на основную БД. Перенос неструктурированных объектов в отдельное хранилище уменьшил количество запросов к БД, в т.ч. с длительным временем отклика.
· Появилась возможность снятия бэкапов независимо от основной БД по собственным правилам и расписанию.
· Получен положительный опыт и готовая схема внедрения, которую заказчик может использовать и в других своих ГИС.

Уникальность проекта

Уникальность проекта заключается в том, что в сжатые сроки необходимо было заменить СУБД Oracle на СУБД из списка импортозамещенных и параллельно провести операции выноса документов во внешнее объектное хранилище. Так как система федерального уровня не может себе позволить длительные простои, требовалось выполнить работы максимально бесшовно для конечной системы.

Решение S3 подразумевает построение архитектуры под эти цели, но в данном проекте пришлось не только подстраиваться под типовую (классическую) архитектуру заказчика, но и соблюсти жесткие требования безопасности.

Так как архитектура инфраструктуры заказчика на момент внедрения не имела серверного оборудования с встроенными дисками, решение дополнительно было адаптировано для работы с внешними системами хранения данных, обеспечена отказоустойчивость не только на уровне инсталяции, но и на уровне сети хранния данных.

Вместе с настройкой объектного хранилища при миграции и последующем переходе в эксплуатацию был настроен инфраструктурный мониторинг, мониторинг бизнес-метрик и доступности всех объектов в хранилище.

Проект решает задачи импортозамещения: Да
Использованное ПО: Cloud Storage от VK с поддержкой S3 API, Zabbix, Grafana, оборудование заказчика
Сложность реализации: Уход иностранных вендоров с российского рынка создал жесткие ограничения при выборе подходящего варианта построения ИТ-инфраструктуры. К этому добавилась негибкая инфраструктура заказчика и необходимость следовать внутренним жестким правилам по обеспечению информационной безопасности. Учитывая все требования, стояла задача переработать решения под имеющееся на рынке оборудование и существующую архитектуру заказчика.
Описание проекта: Федеральное казначейство (Казначейство России) — федеральный исполнительный орган государственной власти РФ. Ведет учет всех доходов бюджета, санкционирует расходы, ведет надзор в сфере противодействия отмыванию доходов, полученных преступным путем, и т.д.
В Федеральном казначействе работает сложная высоконагруженная Государственная информационная система (ГИС) ГИИС «Электронный бюджет». Система хранит большое количество неструктурированных информационных объектов в геораспределенных ЦОД: файлы, документы, электронные подписи. Было необходимо обеспечить быстрый и бесперебойный доступ ко всем видам документов на территории России во всех часовых поясах. В качестве базовой технологии было выбрано объектное хранилище Cloud Storage от VK с поддержкой S3 API. Решение обладает высокой производительностью, обеспечивает хранение больших массивов данных и неограниченные возможности масштабирования.
Технические характеристики:
- Более 150 TB – текущий объем хранимых данных
- Обработка более 10 000 запросов в секунду
- 350 Gb/s - пиковый трафик (проверить)
- Еженедельный прирост данных в системе – 50 млн объектов
- Еженедельный прирост объема хранимых данных – 1 TB.
Cloud Storage от VK подходит для работы в геораспределенных ЦОД, что позволяет обеспечивать надежность и сохранность данных. Взаимодействие с объектным хранилищем осуществляется через стандартизованный API S3 интерфейс, позволяющий подключать различные информационные системы. Для федерального казначейства объектное хранилище было развернуто на собственной инфраструктуре заказчика. Архитектура решения была спроектирована командами Федерального Казначейства, VK Tech и Онланта. Онланта осуществляет круглосуточный мониторинг работы системы и всех её компонентов, контроль загрузки объектов, подготовку внутренний инфраструктуры S3 для прогрузки новых типов объектов. С учетом изменяемых требований заказчика эксперты обрабатывают задачи по сайзингу и вместе с заказчиком формируют рекомендации по адаптации его инфраструктуры к нагрузке.
География проекта: Вся Россия