Импортозамещение озера данных на платформу Arenadata Hadoop

Заказчик
Банк ВТБ (ПАО)
Руководитель проекта со стороны заказчика
ИТ-поставщик
Компания «Дататех» ГК «Иннотех», IBS, ФилИТ.
Год завершения проекта
2023
Сроки выполнения проекта
Ноябрь, 2020 - Май, 2023
Масштаб проекта
338400 человеко-часов
Цели
  1. Достигнуть полный технологический суверенитет озера данных;
  2. Сократить T2M ИТ-сервисов для бизнеса за счет унификации и стандартизации процессов разработки и внедрения единых DevOps практик;
  3. Обеспечить технологическое развитие аналитической платформы Банка без ограничений, связанных с legacy платформой Oracle BDA (Cloudera Hadoop) и другими иностранными компонентами;
  4. Увеличить вычислительные мощности пользовательского кластера более чем в два раза;
  5. Снизить общую стоимость владения.
Результаты
  1. Полностью достигнут технологический суверенитет озера данных;
  2. Сокращено T2M ИТ-сервисов для бизнеса за счет унификации и стандартизации процессов разработки и внедрения единых DevOps практик;
  3. Обеспечено технологическое развитие аналитической платформы Банка без ограничений, связанных с legacy платформой Oracle BDA (Cloudera Hadoop) и другими иностранными компонентами;
  4. Увеличены вычислительные мощности пользовательского кластера более чем в два раза;
  5. Снижена общая стоимость владения;

Уникальность проекта

  1. Один из первых и крупнейших проектов в РФ по миграции с санкционного Oracle BDA (Cloudera Hadoop) на отечественную импортозамещенную платформу Arenadata Hadoop;
  2. Миграция озера данных объемом более 6 Петабайт данных;
  3. Физическая миграция оборудования весом несколько тонн между ЦОД для обеспечения надежности и отказоустойчивости;
  4. Полное построение на импортозамещенных технологиях с использованием стека открытого программного обеспечения;
  5. Распределенная географически команда проекта по всей России состоящая из более, чем 130 производственных команд;
  6. При отказе от сотрудничества одного из вендоров в кратчайшие сроки была разработано альтернативное решение – Платформа репликации данных Hadoop Sync. По функциональности на 100% соответствует потребностям Банка;
  7. Количество потоков, количество объектов, количество транзакций;
  8. Загрузка данных из новых источников данных, реализованных в рамках цифровой трансформации Банка;
  9. Миграция и параллельное развитие legacy-решения.
Проект решает задачи импортозамещения
Да
Использованное ПО
Программное обеспечение: Arenadata Hadoop, Spark, HiveZeppelin, Airflow, RabbitMQ, PostgreSQL, FluentD, Grafana, Kibana, Elastic search, ETL framework DDF (собственная разработка), Платформа репликации Hadoop Sync (собственная разработка), OpenShift, DBeaver, RStudio, Juputer Hub.
Оборудование: ПАК Скала-ср/АДХ, Частное облако ВТБ


Сложность реализации
C учетом значительного объема решаемых задач и большого количества участников на первый план вышли задачи управления.
Именно координация, информирование и контроль потребовали значительных усилий управленческой команды. Проект был декомпозирован на ряд направлений (по сути - проектов меньшего масштаба) и представлял собой проектную программу.
Так же усложнили задачу отличия целевого технологического стека от legacy, что потребовало от производственных команд ускоренного погружения в относительно новую технологическую реализацию и породило немало трудностей, для решения которых применялись весьма нестандартные подходы.
Большое количество взаимосвязей задач загрузки данных и функционала витрин данных так же потребовали непростых компромиссов и технических решений.
Внесла свой негативный вклад пандемия COVID-19, снижавшая производительность команд непредсказуемым образом. В некоторых командах одномоментные потери сотрудников превышали 30-40%.
Ход проекта продемонстрировал важность вопросов управления данными и архитектуры данных. Так, «точечные» изменения типов данных или их структуры порождали существенный объем изменений на стороне витрин данных и их потребителей. Без должного контроля, такого рода изменения могут привести к значимому негативному влиянию на график работ и на объем бюджета.
Кроме того, проект миграции осуществлялся в условиях происходящей в Банке глобальной трансформации, что повышало риски влияния на график работ со стороны других проектов и активностей.

Описание проекта
В рамках проекта было реализовано:
  1. Развертывание программно-аппаратного комплекса Data Analysing Processing Platform (DAPP) на базе Arenadata Hadoop, включающего в себя основной кластер регламентных загрузок и расчетов, DR кластер, ИФТ и DEV среды;
  2. Перенос функционала ETL потоков загрузок и подключено к DAPP более 100 информационных систем-источников данных, как внутрибанковских, так и внешних;
  3. Миграция аналитического функционала, включая более 300 витрин данных для различных направлений;
  4. Миграция аналитического функционала искусственного интеллекта и необходимых для этого данных;
  5. Миграция пользовательского функционала, включая более 30 пользовательских песочниц, 8 прикладных BI и аналитических систем
  6. Переобучение пользователей работе с новыми импортозамещенными компонентами;
  7. Санкционное ПО WanDisco для репликации данных замещено на отечественное ПО HadoopSync собственной разработки.

География проекта

Система спроектирована для доступна из всех 66 региональных операционных офисах Банка ВТБ

В настоящий момент с системой работают сотрудники из разных городов России.

Над проектом работала сводная команда из более 130 производственных команд, обеспечив более 250 поставок, а общее количество участников с различным уровнем вовлечения в проекте превысило 1 700 человек.
Дополнительные презентации:
Озеро Данных.pdf
Коментарии: 69

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Гудов
    Рейтинг: 49
    АО ОКБ
    Head of Data & Analytics Platform
    16.11.2023 10:59

    Отличный продукт\платформа!

    • Сергей Федечкин Александр
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      08.01.2024 20:24

      Александр, добрый день.
      Спасибо за положительную обратную связь.
      Проект получил высокую оценку от Руководства Технологического Блока
      «Быстрая обработка, надежное хранение данных и широкий функционал являются одними из ключевых элементов платформы для аналитики и построения моделей искусственного интеллекта. Благодаря реализованному проекту банку удалось выполнить одну из ключевых задач в рамках обеспечения технологического суверенитета», — отметил Никита Рыбченко, руководитель департамента технологического развития общебанковских систем старший вице-президент ВТБ.
      https://www.vtb.ru/about/press/news/?id=200318

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:12

    Дмитрий, добрый день.
    Подскажите, пожалуйста, с точки зрения успешности достижения целей проекта удалось ли достичь все 100% или какие-либо цели были достигнуты частично или может быть какие-то были вынуждены признать безуспешными?

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:30

      Добрый вечер! Если рассматривать ключевые цели проекта, то да, удалось достичь на 100%. Если говорить про движение проекта, естественно в процессе реализации возникали подводные камни – от какого-то вспомогательного ПО, которое использовалось на старом Озере, пришлось отказаться полностью, для ряда бизнес-процессов пришлось делать кастомные решения.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:17

    Повлиял ли как-нибудь насыщенный событиями 2023 год на проект? Может, пришлось привнести что-то новое в управление ресурсами, сроки и результаты по проекту? Возникали ли трудности с командами производства и если возникали - как приходилось решать?

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:30

      2023 год не оставил в стороне никого, но 2022-й сделал прививку и помог более собрано реагировать на вызовы. Из основного – это стоимость оборудования и привлечение специалистов. Количество задач оказалось больше, чем ожидалось в начале года. Пришлось искать дополнительные ресурсы.

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:30

      Не могу сказать, что в управлении изобретали что-то новое. Из интересного могу поделиться тем, что отдельную сложность составляет миграция непромышленных областей в промышленном сегменте. Так называемые «песочницы», в которых бизнес-аналитики работают напрямую с данными. Пришлось взаимодействовать одновременно со всеми бизнес-пользователями. Для оптимизации времени был организован общий портал, где накапливались вопросы пользователей, и специально выделенные специалисты от производства готовили комментарии. Таким образом экспертиза шарилась между подразделениями.

      • Сергей Федечкин Станислав
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        08.01.2024 23:34

        Станислав - прав!
        Да, мы всегда адаптируемся под изменения окружения и события. С точки зрения сроков нам удалось реализовать в обозначенные сроки. С точки зрения взаимодействия, да возникали рабочие трудности особенно когда параллельно вели разработку на уровне ядра и витрин данных, но за счет формирования кросс-функциональных групп удалось синхронизировать получение результата.

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:31

      Трудности с командами производства появлялись на технологическом стыке между системами. Например, у одной системы не подразумевается среда разработки или тестирования (у неё такая специализация), а приёмо-сдаточные испытания по интеграции с Озером данных можно сдать в промышленную эксплуатацию только на предпромышленных средах. Приходилось договариваться.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:18

    Использовала ли команда производства подход Agile или вернулись к водопадному методу ведения проектов? Если да, удалось ли проверить плюсы такого подхода на практике в реализованном проекте? Если можно - с примерами кейсов

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:31

      У нас используются практики Agile, но не совсем в классическом понимании. Команды производства, разбитые по стримам, также работают в рамках спринтов. Но результатом стринтовой работы может быть не всегда отпилотированный работающий кусочек продукта, а просто часть общей задачи, которую декомпозировали и распределили по спринтам. В этом, наверное, ключевое отличие.

      • Сергей Федечкин Станислав
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        08.01.2024 23:34

        Поддержу Станислава. Производство велось в соответствии с практикой Agile модифицированной под потребности и особенности Банка. Команды производства, разбитые по стримам, также работают в рамках спринтов, но результаты работы может быть не всегда отпилотированный работающий кусочек продукта.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:18

    На сколько правильное предположение, что многое в решении сделано силами интеграторов под ключ, пусть и под надзором руководителя проекта? Может ли такой подход в полной мере удовлетворить все требования и тонкости бизнес-заказчика со стороны ВТБ?

    • Денис Селецкий Марина
      Рейтинг: 138
      ПАО ВТБ
      Руководитель кластера Управляющий механизм Платформа ЦЕХ
      08.01.2024 21:57

      День добрый!
      Ключевые решения принимаются непосредственно заказчиком, сроки этапов, планы координируются непосредственно банком, за счет постоянного «надзорного» руководства удалось выявить ключевые риски и своевременно принять соответствующие меры, в отдельных активностях, где экспертизы привлеченных интеграторов не хватало, своевременно привлекались специалисты с необходимыми ключевыми компетенциями. Задачи проекта достигнуты.

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:31

      Тут надо разделять работу по установке ПАК-ов Озера данных и проведение интеграции Систем Источников или Потребителей. В первом случае всё делалось под ключ под руководством руководителя проекта. Во втором принимало участие большое количество различных интеграторов на любое требование и тонкость бизнес-заказчика.

    • Сергей Федечкин Марина
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      08.01.2024 23:35

      Решение делала совместная команда Банка и интеграторов. При это старались ключевые экспертизы держать непосредственно в структурах Банка. Подход совместной команды позволяет максимально полно реализовать все требования бизнес-заказчиков, т.к. бизнес-заказчик в классическом понимании отсутствует, а является также неотъемлемой частью команды.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:19

    В подобных масштабных проектах одну из ключевых ролей играет вовлеченность бизнес-заказчика. Сколько бизнес-заказчиков было в проекте и как команде удалось обеспечить вовлеченность бизнес-заказчика в процесс реализации проекта?

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:32

      Когда работа бизнес-заказчика напрямую зависит от работы платформы, можно сказать, что он является заложником (в хорошем смысле). Поэтому специальных усилий по привлечению внимания не прикладывалось, все и так были заинтересованы в результате. По количеству скажу, что было не меньше 10-ти вовлечённых подразделений.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:20

    Каким образом было организовано взаимодействие команды разработки с бизнес-заказчиком? Принимал ли бизнес-заказчик или его представитель участие в приемо-сдаточный испытаниях и на чьей стороны была подготовка пользовательских сценариев?

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:32

      Пользовательские сценарии брали из жизни – описывали текущие бизнес-процессы на нецелевом Озере данных, моделировали эти кейсы на стендах разработки и тестирования целевого, далее показывали заказчикам на приёмо-сдаточных испытаниях.

      • Сергей Федечкин Станислав
        Рейтинг: 458
        ВТБ, ПАО
        Директор по управлению проектами
        08.01.2024 23:35

        Дополню Станислава. Представители бизнес-заказчиков в классическом понимании отсутствуют, а являются частью общей команды нацеленный на общий совместный результат. При таком подходе представители бизнеса принимают участие во всех этапах развития проекта. Возможно, это один из ключевых факторов успеха.

  • Сергей Федечкин
    Рейтинг: 458
    ВТБ, ПАО
    Директор по управлению проектами
    08.01.2024 20:20

    Марина, добрый день.
    Спасибо за вопрос. Проект достиг поставленных целей по миграции платформы.
    Более того, данные, необходимые для построения моделей искусственного интеллекта, анализа, отчетности и продвинутой аналитики, доступны бизнес-пользователям из более, чем 200 информационных систем-источников.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:21

    Планируются ли дальнейшие «волны» разработки проекта и на чем будут основываться требования - обратная связь пользователей или еще не реализованные потребности заказчика? На чьей стороне сейчас лежит поддержка внедренного решения?

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:32

      В настоящее время уже запущен проект по развитию Озера данных. Есть ещё много не решённых задач, которые помогут бизнесу оптимизировать процессы на платформе. Пока отрабатываем потребности заказчика, улучшайзингом будем заниматься после.

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:33

      Поддержка Озера данных на базе Arenadata Hadoop передана внутрь организации, чтобы нивелировать риски зависимости от интегратора. 2022 год научил, что не стоит делать ставку только на одну команду, т.к. это может в один момент поставить ситуацию в критическое положение.

    • Сергей Федечкин Марина
      Рейтинг: 458
      ВТБ, ПАО
      Директор по управлению проектами
      08.01.2024 23:36

      Да, конечно планируется дальнейшее развитие решения. Более того уже определены четкие планы по развитию. Очень приятно осознавать, что созданное решение востребовано бизнесом и приносит пользу Банку.
      Уже более тысячи пользователей активно используют данные в озере на ежедневной основе!

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:21

    Какие уроки удалось извлечь в результате реализации проекта и эти уроки являются специфическими для Банка ВТБ или есть возможность ими воспользоваться другим организациям и проектам? Достаточно один-два наиболее ярких примера.

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:33

      Касательно уроков выделю такие, которыми можно воспользоваться везде: 1) оценка рынка по стоимости инфраструктуры и зависимости от внешних факторов; 2) оценка наличия необходимых компетенций внутри организации. Лучше чуть-чуть перезаложиться.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:22

    На сколько в полном объеме удалось достичь изначальных целей проекта или по ходу реализации при возникновении трудностей и срабатывании рисков приходись пересматривать и корректировать спектр достигаемых бизнес-целей? В случае изменения бизнес-целей как проходило согласование с бизнес-заказчиками

    • Станислав Дмитриев Марина
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:33

      Проект является технологическим и в наших реалиях необходимым всем пользователям Озера данных для защиты от внешних факторов, а таких более 30 подразделений – это и представители розницы, и средний-малый бизнес, и подразделения отчётности.

      • Станислав Дмитриев Станислав
        Рейтинг: 367
        ПАО ВТБ
        Директор по управлению проектами
        08.01.2024 23:37

        Прошу прощения, не дописал и отправил. Цели консолидировались на старте, далее могли менять варианты решений по декомпозицонным частям главной задачи. Проблем с согласованием не было.

  • Марина Царева
    Рейтинг: 300
    Technology
    Бизнес-аналитик
    08.01.2024 20:22

    С какими рисками пришлось столкнуться по ходу проекта и каким образом удалось их митигировать? Ведется ли реестр проектных рисков и кто ответственный за его актуализацию? Возникали ли риски которые поставили под вопрос достижение целей проекта?

    • Денис Селецкий Марина
      Рейтинг: 138
      ПАО ВТБ
      Руководитель кластера Управляющий механизм Платформа ЦЕХ
      08.01.2024 22:37

      В ходе проекта была собрана большая экспертная команда с необходимым компетенциями. В неё входили представители от бизнеса, ключевые эксперты ядра системы, ведущие аналитики и разработчики производственной команды, команды модели и эксперты служб внедрения и сопровождения. Митигация рисков проводилась на ежедневной основе, за счет слаженной работы команды нацеленной на результат – результат есть, и он несомненно положительный!

  • Максим Клевицкий
    Рейтинг: 95
    ПАО СДМ-Банк
    Директор департамента банковских технологий
    08.01.2024 20:24

    Добрый день, Дмитрий! Подскажите, кто является бизнес-спонсором проекта? Каким образом один или несколько бизнес-спонсоров повлияли на ход проекта, и насколько он или они вообще вовлечены в сам процесс и на сколько довольны результатами проекта по внедрению решения?

    • Станислав Дмитриев Максим
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:38

      Добрый вечер! Как писал ранее проект является технологическим и в наших реалиях необходимым всем пользователям Озера данных для защиты от внешних факторов, а таких более 30 подразделений – это и представители розницы, и средний-малый бизнес, и подразделения отчётности.

  • Максим Клевицкий
    Рейтинг: 95
    ПАО СДМ-Банк
    Директор департамента банковских технологий
    08.01.2024 20:43

    Также может быть расскажите, пожалуйста, про инфраструктуру решения: Размещен ли проект on-premises, или в облачной инфраструктуре? Если облака вы еще не используете, то есть ли в планах пилотирование облачных решений под такие задачи?

    • Ирина Семизарова Максим
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 23:32

      Максим, добрый день.

      Решение базируется на инфраструктуре обновленного хранилища данных в ЦОД Банка, используются кластерные технологии, характерные для распределенных СУБД, к которым относится и Arenadata DB.
      В ближайшее время планируется использование облачных технологий для интеграции с BI функционалом для продвинутой аналитики.

    • Станислав Дмитриев Максим
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:38

      Добрый вечер! Arenadata Hadoop – это набор ПАК-ов, где математика посажена на железо. Задача по виртуализации не выглядит необходимой в данном случае, исходя из цены и результата. Но вот программное обеспечение, которое выстраивалось вокруг Озера данных, зачастую поднимается в Облаке. Например, платформа для проведения пользовательской аналитики на базе JupiterHub.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    08.01.2024 20:45

    Здравствуйте! Достаточно часто пользователям тяжело адаптироваться в новых инструментах и это вдвойне сложно, когда приходится погружаться в новую тему. Что Вы делаете чтобы упростить или сгладить первые шаги бизнес-пользователями при работе с новой системой?

    • Ирина Семизарова Таиса
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 23:34

      Добрый день!
      Действительно, новые технологии и инструменты требуют повышенного внимания и дополнительных усилий для их освоения.
      С целью повышения позитивного восприятия пользователями нового решения были предприняты шаги по организации обуечения, консультаций и демо-митингов, способствующих освоению функционала.

    • Станислав Дмитриев Таиса
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:39

      Добрый вечер! При миграции бизнес-процессов прорабатывали два подхода: 1) подготавливалась общая инструкция, которая покрыла бы набор базовых вопросов; 2) разбирались частные случаи (case by case). Сказать, что всё проходило гладко нельзя, т.к. технология новая, приходилось подходить творчески. Разбирали работу бизнес-процесса и всех его зависимостей на нецелевом хранилище, определяли тех. решение для целевого и далее производили миграцию.

  • Александр Данилов
    Рейтинг: 20
    ООО Философия.ИТ
    Партнер
    08.01.2024 20:54

    Добрый день! Отличный проект! Какие режимы загрузки данных предусмотрены?

    • Станислав Дмитриев Александр
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:39

      Добрый вечер! В нашем случае используется и регламентная загрузка данных из источников по времени или событию, и потоковая через сервисы Kafka, что позволяет сократить время между появлением данных на источнике и далее на Озере данных.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    08.01.2024 20:56

    Как Вы оцениваете производительность, функциональность и надежность импортозамещенных технологий в сравнении с мировыми решениями? В случае падения производительности импортозамещенных решений их дешевизна будет нивелирована.

    • Ирина Семизарова Таиса
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 23:38

      Добрый день!
      Ответ на этот вопрос неоднозначен, так как в чем-то отечественные решения показывают себя лучше зарубежных аналогов, но есть и зоны роста, к которым можно отнести пользовательский интерфейс, инструментарий мониторинга и логгирования.

    • Станислав Дмитриев Таиса
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:39

      Перед внедрением проводились испытания по нагрузке. Данная платформа позволяет решать необходимый пул задач с достаточной производительностью. При планировании увеличения процессов оценивается масштабирование инфраструктуры.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    08.01.2024 20:59

    На какой из продуктов и технологий ложится основная нагрузка по выполнению проверок качества данных: База данных или сервера ETL? При реализации проверок качества данных на ресурсах хранилища данных, как правило, необходимо балансировать распределение нагрузки между собственно ETL-процессами и выполнением проверок.

    • Станислав Дмитриев Таиса
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:39

      Мы используем подход с распределёнными проверками качества данных. В ETL-процессы вшиты проверки по контрольным суммам, в базе данных используются проверки перед построением отчётности. Это позволяет не создавать лишнюю нагрузку ни на работу потоков, ни на саму БД.

  • Таиса Дасаева
    Рейтинг: 284
    ООО КРАСНОГОРСКИЙ МПК
    ИТ директор
    08.01.2024 21:05

    В настоящий момент тема микросервисной архитектуры очень популярна, но как она помогла внедрению проекта и каким образом используется или планируется к использованию? Если можно на практических примерах вместо теоретических выкладок.

    • Станислав Дмитриев Таиса
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:39

      На примере переноса данных из реляционного хранилища в Озеро данных – использовалась система аналитики, которая построена на OpenShift-технологиях (в процессе импортозамещения). Это позволило сократить время тестирования и оптимизировать сроки выполнения работ.

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    08.01.2024 21:07

    Добрый день, подскажите, пожалуйста, на сколько в полном объеме удалось импортозаместить технологии в вашем проекте или все-таки еще остались какие-то части на зарубежном программном обеспечении или, возможно, в планах добиться 100% импортозамещения?

    • Бауржан Касенов Бауржан
      Рейтинг: 314
      АО НК "КазМунайГаз"
      Директор департамента
      08.01.2024 21:13

      У многих заказчиков в проектах возникают вопросы надежности импортозамещенных технологий и решений, построенных на их основе. Подскажите, пожалуйста, как Вы оцениваете надежность решений на основе импортозамещенных технологий и как Вы этого достигли?

    • Станислав Дмитриев Бауржан
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:40


      Добрый вечер! Если брать конкретно Озеро данных, то заместили на все 100%. Если рассматривать вспомогательное программное обеспечение, то как указывал выше, у нас, например, ещё используется OpenShift, который находится в процессе испортозамещения.

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    08.01.2024 21:08

    В какой парадигме Вы реализовали свой проект: заказчик-исполнитель или в виде сводных команд? Как это помогло Вам в достижении бизнес-результатов и как сказалось на успешности ведения в течение жизненного цикла проекта. Если бы заново стартовали проекта изменили бы подход или подход себя полностью оправдал?

    • Ирина Семизарова Бауржан
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 22:45

      добрый день.
      Проект в процессе реализации, пришел к парадигме сводных команд, которая показала себя с наилучшей стороны в ходе запуска на новой платформе.
      Этому способствовало привлечение в команды, как бизнес-заказчиков, так и ключевых экспертов поддержки и разработки.
      Работа «рука об руку» разработчиков с администраторами и сопровожденцами дала синергетический эффект и в разы ускорила решение многих вопросов.
      Если бы запускались снова, то сразу же использовали сводные команды, без вариантов.

      • Станислав Дмитриев Ирина
        Рейтинг: 367
        ПАО ВТБ
        Директор по управлению проектами
        08.01.2024 23:41

        На наш взгляд подход себя полностью оправдал, в дальнейшем при развитии планируем его переиспользовать. Главный фактор, на котором хочется сделать акцент – это обратная связь от заказчика на всех этапах проекта. Именно в этом agile даёт хорошее подспорье.

    • Станислав Дмитриев Бауржан
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:40

      Мы придерживались гибридной парадигмы. Задача проекта была декомпозирована на команды. К установке инфраструктуры, например, привлекать заказчика не имело смысла, было достаточно статуса по работам. К миграции процессов использовалась парадигма сводных команд.

    • Станислав Дмитриев Бауржан
      Рейтинг: 367
      ПАО ВТБ
      Директор по управлению проектами
      08.01.2024 23:40

      Подход полностью себя оправдал и проект достиг 100% результата. Жизненный цикл проекта был не без сюрпризов (всё-таки пришлось внедрять новую технологию, где нельзя в полной мере переиспользовать чужой опыт), но вполне управляемый.

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    08.01.2024 21:12

    Доступ к данным всегда является одним из краеугольных вопросов при построении аналитических систем. Высокие требования ставятся со стороны информационной безопасности. Подскажите, пожалуйста, каким образом Вы реализовали доступ к данным?

    • Ирина Семизарова Бауржан
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 23:39

      Здравствуйте.
      Вопрос доступа к данным — это один из ключевых вопросов, для решения которого использовалась концепция единых правил доступа к данным Хранилища данных.
      Для обновленного Хранилища данных применена модель управления доступом не только на уровне таблиц и представлений, но и на уровне столбцов и строк, что потребовало использования специфического ПО и решило задачу исключения избыточных прав доступа к данным для каждого пользователя.

  • Бауржан Касенов
    Рейтинг: 314
    АО НК "КазМунайГаз"
    Директор департамента
    08.01.2024 21:13

    И вопрос такого рода: столкнулись ли подрядчики со сложностями, связанными со спецификой банка ВТБ, при внедрении своих продуктов/решений и работе в рамках проекта? Получали ли когда-нибудь обратную связь от подрядчиков как им живется и работается на проектах банка ВТБ?

    • Ирина Семизарова Бауржан
      Рейтинг: 78
      ПАО ВТБ
      Менеджер проекта управления "Фабрика данных"
      08.01.2024 23:40

      Здравствуйте.
      Да, специфика Банка ВТБ, в том числе и характерная для отрасли в целом, имеет место быть, и подрядчикам пришлось приспосабливаться к работе в проекте.
      Был предпринят ряд организационных мероприятий, необходимых для соблюдения законодательства РФ и рекомендаций ЦБ в части работы с данными, относящимися к банковской тайне.
      В результате работы были организованы таким образом, что с реальными данными Банка работали только штатные сотрудники ВТБ.

  • Александр Данилов
    Рейтинг: 20
    ООО Философия.ИТ
    Партнер
    08.01.2024 21:20

    Добрый день! Какой средний срок подключения нового источника?

  • Илья Титов
    Рейтинг: 70
    КБ Модульбанк, АО
    Управляющий директор
    08.01.2024 21:27

    Добрый день! Что нового привнесено в управление проектами за 2023 год в банке ВТБ и как это повлияло на результаты и сроки по проекту модернизации Корпоративного информационного хранилища данных? Возникали ли трудности с командами производства и как приходилось решать?

  • Илья Титов
    Рейтинг: 70
    КБ Модульбанк, АО
    Управляющий директор
    08.01.2024 21:28

    В проекте принимало участие несколько ИТ-поставщиков и на сколько правильное предположение, что все сделано силами интеграторов под ключ, пусть и под надзором руководителя проекта, или сотрудники банка ВТБ также принимали участие в проекте?

    • Денис Селецкий Илья
      Рейтинг: 138
      ПАО ВТБ
      Руководитель кластера Управляющий механизм Платформа ЦЕХ
      08.01.2024 21:59

      День добрый!
      Ключевые решения принимаются непосредственно заказчиком, сроки этапов, планы координируются непосредственно банком, за счет постоянного «надзорного» руководства удалось выявить ключевые риски и своевременно принять соответствующие меры, в отдельных активностях, где экспертизы привлеченных интеграторов не хватало, своевременно привлекались специалисты с необходимыми ключевыми компетенциями. Задачи проекта достигнуты.

    • Федор Хилькевич Илья
      Рейтинг: 52
      Банк ВТБ
      Директор по управлению портфелем проектов управления "Фабрика данных"
      08.01.2024 22:51

      Добрый день.
      Для контроля правильности принимаемых решений архитектурная функция остается за банком. Кроме того, интеграторы участвуют в проекте в единой команде с сотрудниками банка. Проект ведется именно командой, а не ИТ-поставщиком. Это позволяет привлекать ресурсы по мере необходимости на различных фазах проекта, погружая их в сложившийся процесс.

  • Илья Титов
    Рейтинг: 70
    КБ Модульбанк, АО
    Управляющий директор
    08.01.2024 21:28

    В проектах реализации стратегии цифровой трансформации Банк одну из ключевых ролей играет вовлеченность бизнес-заказчика. Как Вам удалось обеспечить вовлеченность бизнес-заказчика в процесс реализации проекта?
    Каким образом было организовано взаимодействие?

  • Станислав Дмитриев
    Рейтинг: 367
    ПАО ВТБ
    Директор по управлению проектами
    08.01.2024 23:42

    Добрый вечер! Ранее уже писал по аналогичному вопросу. Когда работа бизнес-заказчика напрямую зависит от работы платформы, можно сказать, что он является заложником (в хорошем смысле). Поэтому специальных усилий по привлечению внимания не прикладывалось, все и так были заинтересованы в результате. По количеству скажу, что было не меньше 10-ти вовлечённых подразделений.

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.