Создание платформы репликации данных Hadoop Sync

Заказчик
Банк ВТБ (ПАО)
Руководитель проекта со стороны заказчика
ИТ-поставщик
Компания "Дататех" ГК «Иннотех»
Год завершения проекта
2023
Сроки выполнения проекта
Июнь, 2022 - Февраль, 2023
Масштаб проекта
4360 человеко-часов
Цели
  1. Обеспечить непрерывность бизнеса Банка в условиях санкционного давления.
  2. Защитить компанию от риска включения импортных продуктов в новые санкционные пакеты.
  3. Направить операционные расходы, предназначенные на оплату лицензий Wandisco, на создание собственного ИТ-решения.
  4. Обеспечить работоспособность новой системы репликации на Arenadata Hadoop.
  5. Обеспечить полное соответствие потребностей Банка в части хранилища данных и озера данных;
Результаты
  1. Обеспечена непрерывность бизнеса Банка в условиях санкционного давления.
  2. Банк защищен от риска включения импортных продуктов в новые санкционные пакеты.
  3. Инвестиции, предназначенные на оплату лицензий Wandisco, направлены на создание собственного ИТ-решения.
  4. Обеспечена работоспособность новой системы репликации на Arenadata Hadoop.
  5. Обеспечено полное соответствие потребностей Банка в части хранилища данных и озера данных.

Уникальность проекта

  • После введенных санкций в отношении ПАО ВТБ аналоги Wandisco с сопоставимыми характеристиками стали не доступны.
  • Одновременно с заменой Wandisco требовалось обеспечить работу системы репликации на Arenadata Hadoop. Компания Arenadata аналог Wandisco не предоставляет, Wandisco с Arenadata Hadoop не совместим на момент начала проекта.
  • Появились требования по использованию в ПАО ВТБ ПО, включенного в ЕРРП.
  • Проект содержал высокие риски, т.к. разрабатываемое ПО сразу должно применяться на самом крупном хранилище данных компании.
Проект решает задачи импортозамещения
Да
Использованное ПО
Программное обеспечение: Open Source инструмент репликации данных, СУБД PostgreSQL
Оборудование: Open Shift (будет замена на k8s), Стандартные виртуальные серверы для СУБД PostgreSQL
Вспомогательные системы: Предусмотренные корпоративным ИТ-ландшафтом ВТБ системы мониторинга, сбора логов, аутентификации и авторизации

Сложность реализации
  1. От успешности реализации Hadoop Sync зависел успех программы импортозамещения всей платформы данных Банка;
  2. Сжатые сроки на поставку первой версии решения (~4 месяцев);
  3. Перед началом проекта команда отсутствовала, требовалось оперативно собрать экспертов нужной квалификации;
  4. В Банке не было опыта создания ИТ-решений подобного класса;
  5. Решение сразу должно было работать на нагруженном хранилище с большим объёмом данных и большим количеством пользователей;
  6. Одновременно с разработкой системы репликации требовалось обеспечить её работу на новом дистрибутиве Arenadata Hadoop.
  7. Параллельно в компании проводится массовое импортозамещение (инфраструктура, системы управления производством ИТ-решений и т.п.)
Описание проекта
  1. Hadoop Sync – это платформа для репликации данных между кластерами Hadoop с перспективой развития и репликации между различными платформами.
  2. После наложения санкций и запрета поставок программного обеспечения возникла срочная потребность реализовать систему репликации данных между кластерами Hadoop.
  3. Платформа репликации данных Hadoop Sync, заменила систему репликации данных Wandisco, которая применялась в сценариях Disaster Recovery и при перемещении нагрузки от пользователей (аналитиков данных, Data-инженеров, экспертов по наукам о данных (Data Scientist)) на выделенный кластер Hadoop.
  4. Создание и внедрение платформы Hadoop Sync нивелировали критичные риски:
    • Потери данных в случае чрезвычайной ситуации,
    • Остановки работы озера данных,
  5. Остановки проекта миграции озера данных на импортозамещенные технологии Arenadata Hadoop.
  6. При отказе Wandisco от сотрудничества в кратчайшие сроки была разработано альтернативное решение – Платформа репликации данных Hadoop Sync. По функциональности на 100% соответствует потребностям Банка;
  7. Для ускоренной реализации новой платформы потребовалось оперативно собрать команду с необходимой экспертизой: хранилища данных, разработчики и аналитики для Big Data, специалисты по OpenSource, эксперты Hadoop и благодаря усилиям компаний «Иннотех» и «Дататех» удалось оперативно собрать команду с требуемой экспертизой и с нуля создать новую платформу.
  8. Платформа представляет собой прекрасный сплав разработок
  9. Снижена общая стоимость владения подсистемы репликации.

География проекта
Система реплицирует данные в озере данных, которые доступны из всех 66 региональных операционных офисах Банка ВТБ в соответствии с ролевой моделью доступа.
Коментарии: 11

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    05.01.2024 11:30

    Добрый день, в рамках реализации этого проекта что было наиболее сложным и оценивалась ли удовлетворенность основных заинтересованных сторон после реализации проекта? На сколько она увеличилась, если такая оценка производилась?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:24

    Повлиял ли как-нибудь насыщенный событиями 2023 год на такой важный проект? Может, пришлось привнести что-то новое в управление ресурсами, сроки и результаты по проекту? Возникали ли трудности с командами производства и если возникали - как приходилось решать?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:24

    Использовала ли команда производства подход Agile или вернулись к водопадному методу ведения проектов? Если да, удалось ли проверить плюсы такого подхода на практике в реализованном проекте? Если можно - с примерами кейсов

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:25

    На сколько правильное предположение, что многое в решении сделано силами интеграторов под ключ, пусть и под надзором руководителя проекта? Может ли такой подход в полной мере удовлетворить все требования и тонкости бизнес-заказчика со стороны ВТБ?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:25

    В подобных масштабных проектах одну из ключевых ролей играет вовлеченность бизнес-заказчика. Сколько бизнес-заказчиков было в проекте и как команде удалось обеспечить вовлеченность бизнес-заказчика в процесс реализации проекта?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:25

    Каким образом было организовано взаимодействие команды разработки с бизнес-заказчиком? Принимал ли бизнес-заказчик или его представитель участие в приемо-сдаточный испытаниях и на чьей стороны была подготовка пользовательских сценариев?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:25

    Планируются ли дальнейшие «волны» разработки проекта и на чем будут основываться требования - обратная связь пользователей или еще не реализованные потребности заказчика? На чьей стороне сейчас лежит поддержка внедренного решения?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:26

    Какие уроки удалось извлечь в результате реализации проекта и эти уроки являются специфическими для Банка ВТБ или есть возможность ими воспользоваться другим организациям и проектам? Достаточно один-два наиболее ярких примера.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:26

    На сколько в полном объеме удалось достичь изначальных целей проекта или по ходу реализации при возникновении трудностей и срабатывании рисков приходись пересматривать и корректировать спектр достигаемых бизнес-целей? В случае изменения бизнес-целей как проходило согласование с бизнес-заказчиками

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:26

    С какими рисками пришлось столкнуться по ходу проекта и каким образом удалось их митигировать? Ведется ли реестр проектных рисков и кто ответственный за его актуализацию? Возникали ли риски которые поставили под вопрос достижение целей проекта?

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:27

    Подскажите, пожалуйста, с точки зрения успешности достижения целей проекта удалось ли достичь все 100% или какие-либо цели были достигнуты частично или может быть какие-то были вынуждены признать безуспешными?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.