Внедрение объектного хранилища в рамках импортозамещения масштабной СУБД

Заказчик
Федеральное казначейство
Руководитель проекта со стороны заказчика
ИТ-поставщик
ОНЛАНТА/VK Tech
Год завершения проекта
2023
Сроки выполнения проекта
Октябрь, 2022 - Ноябрь, 2023
Масштаб проекта
1528 человеко-часов
Цели

· Увеличение производительности систем за счет уменьшения объема хранимых в реляционной БД неструктурированных данных;

· Уменьшение времени отклика системы при работе с файлами и неструктурированными объектами.

· Соблюдение требований программы импортозамещения

· Обеспечение катастрофоустойчивости ГИС федерального уровня

Результаты
· Спроектирован и внедрен надежный сервис для сохранности данных заказчика.
· Время отклика базы данных сократилось на 50%, а экономия пространства достигла 30-60%. ​​Сейчас в объектном хранилище Cloud Storage от VK – 5 млрд объектов. Добавляется 50 млн объектов еженедельно.
· Снизилась нагрузка на основную БД. Перенос неструктурированных объектов в отдельное хранилище уменьшил количество запросов к БД, в т.ч. с длительным временем отклика.
· Появилась возможность снятия бэкапов независимо от основной БД по собственным правилам и расписанию.
· Получен положительный опыт и готовая схема внедрения, которую заказчик может использовать и в других своих ГИС.

Уникальность проекта

Уникальность проекта заключается в том, что в сжатые сроки необходимо было заменить СУБД Oracle на СУБД из списка импортозамещенных и параллельно провести операции выноса документов во внешнее объектное хранилище. Так как система федерального уровня не может себе позволить длительные простои, требовалось выполнить работы максимально бесшовно для конечной системы.

Решение S3 подразумевает построение архитектуры под эти цели, но в данном проекте пришлось не только подстраиваться под типовую (классическую) архитектуру заказчика, но и соблюсти жесткие требования безопасности.

Так как архитектура инфраструктуры заказчика на момент внедрения не имела серверного оборудования с встроенными дисками, решение дополнительно было адаптировано для работы с внешними системами хранения данных, обеспечена отказоустойчивость не только на уровне инсталяции, но и на уровне сети хранния данных.

Вместе с настройкой объектного хранилища при миграции и последующем переходе в эксплуатацию был настроен инфраструктурный мониторинг, мониторинг бизнес-метрик и доступности всех объектов в хранилище.

Проект решает задачи импортозамещения
Да
Использованное ПО

Cloud Storage от VK с поддержкой S3 API, Zabbix, Grafana, оборудование заказчика

Сложность реализации

Уход иностранных вендоров с российского рынка создал жесткие ограничения при выборе подходящего варианта построения ИТ-инфраструктуры. К этому добавилась негибкая инфраструктура заказчика и необходимость следовать внутренним жестким правилам по обеспечению информационной безопасности. Учитывая все требования, стояла задача переработать решения под имеющееся на рынке оборудование и существующую архитектуру заказчика.

Описание проекта

Федеральное казначейство (Казначейство России) — федеральный исполнительный орган государственной власти РФ. Ведет учет всех доходов бюджета, санкционирует расходы, ведет надзор в сфере противодействия отмыванию доходов, полученных преступным путем, и т.д.

В Федеральном казначействе работает сложная высоконагруженная Государственная информационная система (ГИС) ГИИС «Электронный бюджет». Система хранит большое количество неструктурированных информационных объектов в геораспределенных ЦОД: файлы, документы, электронные подписи. Было необходимо обеспечить быстрый и бесперебойный доступ ко всем видам документов на территории России во всех часовых поясах. В качестве базовой технологии было выбрано объектное хранилище Cloud Storage от VK с поддержкой S3 API. Решение обладает высокой производительностью, обеспечивает хранение больших массивов данных и неограниченные возможности масштабирования.
Технические характеристики:
- Более 150 TB – текущий объем хранимых данных
- Обработка более 10 000 запросов в секунду
- 350 Gb/s - пиковый трафик (проверить)
- Еженедельный прирост данных в системе – 50 млн объектов
- Еженедельный прирост объема хранимых данных – 1 TB.
Cloud Storage от VK подходит для работы в геораспределенных ЦОД, что позволяет обеспечивать надежность и сохранность данных. Взаимодействие с объектным хранилищем осуществляется через стандартизованный API S3 интерфейс, позволяющий подключать различные информационные системы. Для федерального казначейства объектное хранилище было развернуто на собственной инфраструктуре заказчика. Архитектура решения была спроектирована командами Федерального Казначейства, VK Tech и Онланта. Онланта осуществляет круглосуточный мониторинг работы системы и всех её компонентов, контроль загрузки объектов, подготовку внутренний инфраструктуры S3 для прогрузки новых типов объектов. С учетом изменяемых требований заказчика эксперты обрабатывают задачи по сайзингу и вместе с заказчиком формируют рекомендации по адаптации его инфраструктуры к нагрузке.

География проекта
Вся Россия
Коментарии: 4

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2024 11:26

    Добрый день, в рамках реализации этого проекта что было наиболее сложным и оценивалась ли удовлетворенность основных заинтересованных сторон после реализации проекта? На сколько она увеличилась, если такая оценка производилась?

    • Анастасия Палева Максим
      Рейтинг: 20
      ОНЛАНТА (ГК ЛАНИТ) - Аутсорсинг (ИТ-сервис, облачные услуги, информационная безопасность)
      Руководитель отдела маркетинга
      17.01.2024 16:43

      Максим, добрый день.
      Мы столкнулись с несколькими сложностями. Например, инфраструктуру строили в условиях жестких ограничений, т.к. иностранные вендоры ушли с российского рынка. Нам надо было в сжатые сроки переработать решения под то оборудование, которое есть на рынке. Пришлось подстраиваться под "негибкую" архитектуру заказчика и соблюдать внутренние жесткие требования безопасности.

  • Дмитрий Турчановский
    Рейтинг: 2527
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    08.01.2024 23:59

    Интересный проект и правильно сформулированные цели, но нет измеримых результатов, насколько удалось достичь поставленные цели?

    • Анастасия Палева Дмитрий
      Рейтинг: 20
      ОНЛАНТА (ГК ЛАНИТ) - Аутсорсинг (ИТ-сервис, облачные услуги, информационная безопасность)
      Руководитель отдела маркетинга
      17.01.2024 16:44

      Дмитрий, добрый день.
      Основную цель мы достигли — реализовали переход на импортозамещенное решение. Если говорить про измеримые результаты, то сократилось время отклика системы при работе с файлами и неструктурированными объектами на 50%, в секунду обрабатывается более 10 000 запросов, экономия пространства достигла 30-60%.

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.