Хаускипинг архивных данных активных ИТ-систем

Заказчик
Банк "Открытие"
Руководитель проекта со стороны заказчика
ИТ-поставщик
Неофлекс
Год завершения проекта
2021
Сроки выполнения проекта
Июнь, 2021 - Ноябрь, 2021
Масштаб проекта
5000 человеко-часов
Цели

· Оптимизация стоимости хранения данных (за счет снижения стоимости используемого дискового пространства, а также уменьшения объема данных – сжатия данных в hdfs)

· Повышение производительности активных ИТ-систем путем уменьшения нагрузки

· Реализация возможности построения отчетности на базе архивных данных

Уникальность проекта

Проект является уникальным в части подхода к решению задачи, так как реализована архивация данных Активных систем, с возможностью быстрого доступа к данным и построения отчетов над данными
Использованное ПО

Cloudera Core Hadoop, Tibco Jasper Report, Apache Spark, Apache Hive, Cloudera Impala


Сложность реализации

· Разнородность активных систем (различные типы СУБД)

· Высокая вариативность в требованиях к составу архивных данных и к отчетам над данными от владельцев и пользователей Систем

· Необходимость реализации шифрования данных

· Необходимость разграничения доступа к данным

· Необходимость реализации различных политик загрузки дельт данных

· Амбициозные сроки проекта

Описание проекта

В ИТ-системах за время работы накапливается массив исторических данных, который не является необходимым для функционирования системы, однако возможность отказаться от хранения этих данных отсутствует из-за требований государственных органов, внутренних политик владельцев систем, а также из-за требований бизнес-пользователей. Хранение таких данных в самой Системе со временем приводит к удорожанию поддержки, требуемой для функционирования Системы, увеличивает затраты на инфраструктуру, а также может привести к снижению производительности Системы.

Архивация «холодных» данных позволяет избежать удорожания сопровождения и возникновения проблем с производительностью, а также снизить риски уменьшения доступности Системы.

В рамках проекта было использовано решение Housekeeping, разработанное компанией «Неофлекс», которое позволяет выполнить полный спектр работ, необходимых для архивации данных активных Систем, а именно:

1. Произвести первоначальную выгрузку «холодных» данных Систем

2. Настроить политики (расписание) загрузки дельт данных

3. Предоставить пользователям инструменты для доступа к данным и построения отчетов на базе загруженных данных
География проекта

Распределенная команда Заказчика и Поставщика, находящиеся в разных городах в и часовых поясах: Москва, Саратов, Воронеж, Пенза, Новосибирск, Тюмень, и др.

Год
Предметная область
Отрасль
Управление