Как за неделю удалось провести аудит производительности ИТ-системы Банка, и в итоге оптимизировать максимальную пропускную способность системы в 4 раза.

Заказчик
ПАО «Банк Зенит»
Руководитель проекта со стороны заказчика
ИТ-поставщик
ООО «Перфоманс Лаб»
Год завершения проекта
2020
Сроки выполнения проекта
Февраль, 2020 - Июль, 2020
Масштаб проекта
>100000 пользователей абонентов
Цели

Обеспечить бесперебойную работу системы ДБО 24*7, устранить проблемы с производительностью Системы, возникающие в дни начислений средств зарплатным клиентам, определить максимальную производительность системы и отслеживать её изменение в ходе внедрения новых релизов Системы, локализовать перечень факторов, ограничивающих рост производительности системы для каждого нового релиза, по завершении проекта стартовать тестирование Инхаус.

Уникальность проекта

Заказчик провёл укрупнение бизнеса, после слияния нескольких компаний возникла необходимость сконцентрировать всех клиентов в одной системе ДБО. При резком росте количества пользователей имеющейся системы ДБО, пользователи стали испытывать проблемы с его доступностью и высоким временем отклика, которые не были решены даже после улучшения имеющегося аппаратного обеспечения системы. В ходе проекта был в кратчайшие сроки проведен аудит производительности системы, в рамках которого были найдены и устранены первичные проблемы с производительностью, а в дальнейшем было проведено нагрузочное тестирование на
выделенном оборудовании, которое выявило более 20 проблем с производительностью системы и позволило не только решить текущие проблемы с производительностью системы, внедрив необходимые оптимизации, но и узнать запас прочности системы.

Интервью Ярослава Медокса и генерального директора Перфоманс Лаб Юрия Ковалева: https://www.youtube.com/watch?v=6hpA_JyRpmI
Использованное ПО
Apache Jmeter, Java, jolokia, Oracle, Oracle Enterprise Manager, ASH-viewer, Swagger, Grafana, Telegraf, InfluxDB, ActiveMQ, WSO2 Service Bus, Frontend Web API, Linux CentOS 6
Сложность реализации

Тестирование на железе, максимально приближенном к реальной системе, несло в себе ряд ограничений, например, в части возможности работы с пользовательскими данными, а также с доступностью системы, поэтому для дальнейшего повышения производительности системы был выполнен полноценный проект по нагрузочному тестированию на отдельном тестовом стенде. В ходе второго этапа специалисты компании Перфоманс Лаб собрали и проанализировали пользовательскую статистику из разных источников, сформировали комбинированный профиль нагрузки, и выявили факторы, ограничивающие производительность Системы ДБО Онлайн.

Непосредственную поддержку в решении сложных задач по проекту оказывал Илья Кучугин, CIO «Банка Зенит».

Описание проекта
В результате интеграции систем дочерних банков произошло многократное увеличение клиентских данных в единой базе (зарплатные карты банка и прочие продукты). В ходе постепенного подключения новых пользователей в систему ДБО-онлайн в дни наибольшей пользовательской активности появились проблемы с её доступностью и участились отказы Системы в обслуживании. При этом добавлением мощностей серверного оборудования проблему решить не удавалось и устранять нужно было непосредственно архитектурные недостатки Системы. Был оперативно проведён аудит производительности, в ходе оценивалась система в пиковые часы, после реализовано нагрузочное тестирование на тестовом стенде. В результате было обнаружено 20 дефектов производительности ИТ-системы и был запущен процесс оптимизации.
География проекта
Все клиенты Банка, пользователи приложений и веб-платформы в России
Коментарии: 8
  • Александр Артюхов
    Рейтинг: 304
    Сберлогистика
    Руководитель проекта
    18.11.2020 17:35

    В итоге так и остался неотвеченным главный вопрос заголовка "Как за неделю удалось провести аудит производительности...", пригласить ООО «Перфоманс Лаб», заручиться поддержкой CIO или ещё как? Или название проекта - своего рода маркетинговое лукавство, призванное обратить внимание на проект?
    Если не секрет, каков запас прочности системы ДБО по отношению к максимально достигнутой пиковой нагрузке? Достаточен ли он по мнению основного бизнес-заказчика?

  • Ирина Малюгина
    Рейтинг: 20
    ООО Перфоманс Лаб
    PR&Marcom manager
    23.11.2020 17:56

    Обращайтесь, если есть потребность - расскажем, как это было и ответим на возникшие у Вас вопросы. Название - отнюдь не лукавство, а реальность, это подтверждает БАНК. Наши специалисты работают оперативно и профессионально с любой задачей.

  • Александр Артюхов
    Рейтинг: 304
    Сберлогистика
    Руководитель проекта
    26.11.2020 10:11

    Спасибо, Ирина! Продавец - он и в Африке коммерсант :)
    С ответом я угадал: хотите за неделю - приглашайте нас! Только вот с площадкой не повезло: здесь обычно неприкрытой рекламе и слоганам мало верят.

    • Ярослав Медокс Александр
      Рейтинг: 65
      ПАО «Банк Зенит»
      Директор департамента развития электронного бизнеса
      26.11.2020 11:00

      Александр,
      реальность действительно сложнее. Правда в том, что недельный аудит был. Но кроме него был также отдельный проект регулярного НТ. Кроме него был также комплекс работ по оптимизации производительности ДБО с учетом рекомендаций полученных по итогам аудита и регулярного НТ, и не только.

      Да, по итогам мы получили большой запас производительности, который также измерили с помощью Perormance Lab. О цифрах мне бы не хотелось говорить. Важно другое - квалификация и управление проектом со стороны подрядчика.

    • Ирина Малюгина Александр
      Рейтинг: 20
      ООО Перфоманс Лаб
      PR&Marcom manager
      26.11.2020 11:53

      Александр, я уважаю Ваше мнение, и оно всегда останется Вашим. Но повторюсь, здесь нет никакой "неприкрытой рекламы", и как было в данном в проекте - так бывает, и это реальный факт - мы это сделали без прикрас очень оперативно.

  • Игорь Палкин
    Рейтинг: 75
    НИУ ВШЭ
    Руководитель проектов цифровой трансформации
    05.01.2021 00:32

    Добрый день!

    Перед нагрузочным тестированием проводилась ли "анонимизация" пользовательских данных? Или работали с полной копией данных действующих клиентов?

  • Максим Часовиков
    Рейтинг: 1020
    МГУ имени М.В.Ломоносова, Центр цифровой экономики
    Заместитель руководителя службы управления проектами
    05.01.2021 23:04

    К сожалению не указаны реальные временные рамки. Если реально это было сделано за неделю, то за счет чего именно и как это удалось сделать? Под словом аудит обычно понимается проверка на соответствие некоторым требованиям. Были ли такие требования сформулированы до начала проекта?
    Так же интересно знать – исполнитель работал с реальными данными или с данными, аналогичными реальным?

    • Ирина Малюгина Максим
      Рейтинг: 20
      ООО Перфоманс Лаб
      PR&Marcom manager
      08.01.2021 15:42

      Добрый день!
      В данном случае система ДБО спроектирована таким образом, что
      персональные данные в ней не хранятся (могут только кэшироваться), а запрашиваются через интеграционную шину от других core-систем банка. Поэтому обезличивание данных не потребовалось в рамках проекта по НТ.

Год
Предметная область
Отрасль
Управление