ATM.Store. Управление ПО на устройствах самообслуживания

Заказчик
ПАО Сбербанк
Руководитель проекта со стороны заказчика
ИТ-поставщик
ПАО Сбербанк
Год завершения проекта
2022
Сроки выполнения проекта
Январь, 2021 - Ноябрь, 2022
Масштаб проекта
24000 человеко-часов
Цели

Цели проекта

Обеспечить эффективную дистрибуцию программного обеспечения в сети УС с минимальным участием оператора:

1. На каждом устройстве сети всегда актуальное ПО.

2. Отклонения для 100% критичных параметров устраняются менее чем за 5 мин.

3. Любое обновление ПО (с момента проведения опытной эксплуатации) в сети менее 10 дней.

4. 90% действий по процессу дистрибуции в сети автоматизировано.

Для достижения цели реализованы задачи:

1. Реализован инструментарий управления версионностью ПО и конфигураций для сети устройств.

2. Обеспечено единое хранилище актуальных версий ПО и конфигураций (store).

3. Реализован инструмент прогноза длительности тиража с учетом каналов связи, времени работы точек присутствия, клиентской активности, плановых работ и пр.

4. Реализованы инструменты автоматизированной доставки ПО и конфигураций до каждого устройства.

5. Обеспечено встраивание этапа дистрибуции в единый производственный процесс.

6. Реализован инструмент управления опытной эксплуатацией/пилотными внедрениями с расчетом эффективности и влияния.

7. Реализована единая база знаний о совместимости ПО в разрезе моделей и ролей устройств.

Уникальность проекта

ATM.Store не имеет аналогов на рынке дистрибуции ПО на устройства самообслуживания (банкоматы/терминалы, информационные панели, системы управления очередью, TCR- электронный кассир – далее «УС»).

Продукт позволяет в режиме реального времени обеспечить актуальность версий ПО, используя оптимальную и индивидуальную стратегию обновления для каждого устройства с учетом географии присутствия, клиентской активности, текущей и прогнозной нагрузки в каналах связи, с минимальным негативным влиянием на бизнес-показатели.

В автоматизированном режиме рассчитывается эффективность и влияние дистрибуции с возможностью автоматического управления отклонениями.

Продукт встроен в производственный процесс создания автоматизированных систем.
Проект решает задачи импортозамещения
Да
Использованное ПО

Тех. Стек: Linux, PostgreSQL, Kafka, Zabbix, Elasticsearch, Prometeus, Kibana, Grafana, Nginx, Dynatrace, WildFly, Docker, OpenShift/K8s.

CI/CD: BitBucket, Jenkins, Nexus.

Разработка: Java, Python, JS/React.
Сложность реализации

Требовалось создание высоконагруженной системы, позволяющей:

1. Обновлять до 100 000 устройств одновременно с максимальным уровнем автоматизации (минимизация участия человека) и эффективностью не менее 99%.

2. Обеспечивать надежность доставки ПО УС, гарантированную установку ПО и автоматизированный откат ПО на предыдущую стабильную версию в случае ошибок в процессе установки.

3. Автоматизировать расчет списков УС для обновления необходимым ПО с учетом зависимостей между версиями ПО, последовательности установки ПО, а также с учетом внешних факторов (бизнес-показатели).

Наше решение приходит на смену продукту Microsoft System Center Configuration Manager (MS SCCM), обладающий лишь частью функций ATM.Store и дающий эффективность тиража не более 95% с высокой долей участия человека в процессе.

Реализация механизма онлайн-обновления потребовала создания собственного клиент-серверного протокола, в рамках которого система получает всю информацию о каждом шаге обновления и возникающих ошибках.

Аналогов на рынке не существует.
Описание проекта

ATM.Store – продукт, который позволяет обеспечить финальные этапы производства ПО для устройств самообслуживания: приемка, опытная эксплуатация и тиражирование на всю сеть.

·         Банкоматы – 45 000 устройств
·         Информационно платежные терминалы – 6 100 устройств
·         TCR- электронный кассир – 500 устройств
·         Системы управления очередью – 21 000 устройств
 
Продукт обеспечивает учет/инвентаризацию всего ПО используемого/планируемого к использованию в сети в разрезе каждого УС и автоматически приводит сеть к целевому состоянию.

·         Уже более 400 обязательных параметров ПО инвентаризируется с сети УС в онлайне.
·         На основании полученных параметров:
          (a)    Запускаются прикладные задачи в системе, например расчет отклонений версионности ПО на УС и корректности его настройки от эталонного значения.
          (b)    Контролируем в онлайне результат выполнения команд по устранению отклонений. 

Ранее инвентаризация была по запросу и необходимо было руками отрабатывать отклонения.

Инструменты динамического управления метриками работы сети и каждого устройства позволяют обеспечить онлайн-мониторинг эффективности работы сети и оценить влияние работы ПО в рамках опытной эксплуатации/пилотных внедрений. Реализованные инструменты защиты позволяют исключить централизованные, несанкционированные внесения изменений в конфигурацию и минимизировать последствия ошибок локальных инженеров при обслуживании устройств.

Инструменты формирования отчетов позволяют обеспечить визуализацию контроля отклонений для пользователей, с указанием прогнозов автоматического устранения отклонений или предоставлением инструкций/подсказок для пользователей для ручных действий.

Единое хранилище данных о параметрах инвентаризации каждого устройства в сети позволяет проводить ретроспективный анализ для расследования причин возникновения отклонений с целью системного исключения подобных случаев. Анализ данных позволяет строить прогнозные модели для повышения эффективности устранения отклонений.

Информация о поведении клиентов в сети, частоте сервисного обслуживания и инкассации, времени работы устройств и периодичности/типах поломок позволяет определить эффективность тиража новой версии ПО для каждого устройства в сети и своевременно реагировать на незапланированные изменения. Возможность определения стратегии реагирования на отклонения позволяет планировать поведение ПО в сети с минимальным влиянием на бизнес-показатели и исключать выезд сервисного инженера к устройству в 80% случаев.

В 2022 году реализована дистрибьюция, установка и контроль версионности всего прикладного ПО:

·         Управляющее ПО
·         Агент мониторинга
·         UI для клиента
·         Антивирусное ПО
·         ПО нижнего уровня
·         Агент процессинга
·         ФПСУ
·         Прошивки и драйверы периферии
·         И т.д.

На всей сети УС:

·         Банкоматы – 45 000 устройств
·         Информационно платежные терминалы – 6 100 устройств
·         TCR- электронный кассир – 500 устройств
·         Системы управления очередью – 21 000 устройств

В Q1_2023 году планируем выполнять дистрибьюцию, установка и контроль версионности ОС Linux на все выше, указанные устройства. Уже идет активная разработка.

Автоматизировано рабочих мест:

·         Сокращение ручного труда  минимум 25 ПШЕ только на дистрибьюцию и установку ПО на УС.

·         Также уже идет разработка по автоматизации ручных действий сотрудников, которые занимаются контролем эффективности, устранением локальных отклонений всего ПО на УС и т.д. Сейчас сотрудники отрабатывают в среднем 15 000 заявок в месяц.

География проекта
Вся сеть устройств самообслуживания РФ и Казахстана
Коментарии: 6

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Николай Беленьков
    Рейтинг: 107
    ITOGO.RU
    CIO
    06.12.2022 18:28

    выглядит круто! а использовали ли какой-то cdn? есть метрики пиковых нагрузок?

    • Виталий Липанчиков Николай
      Рейтинг: 7
      ПАО Сбербанк
      Исполнительный директор
      16.12.2022 10:13

      Добрый день!

      Используем централизованное инфраструктурное решение на базе Nginx.
      Реализована система мониторинга писковых нагрузок и алертов.

  • Николай Беленьков
    Рейтинг: 107
    ITOGO.RU
    CIO
    06.12.2022 18:28

    голос ваш)

  • Виталий Липанчиков
    Рейтинг: 7
    ПАО Сбербанк
    Исполнительный директор
    16.12.2022 10:00

    Спасибо)

  • Максим Часовиков
    Рейтинг: 4767
    РАНХиГС
    Директор Проектов проектного офиса ректора
    03.01.2023 16:18

    Добрый день, Вы пишите, что уникальность достигается использованием ATM.Store - разве это первое применение этой платформы? И тогда как производился выбор этого решения?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.