Голосовой ассистент ВТБ

Заказчик
ПАО ВТБ
Руководитель проекта со стороны заказчика
ИТ-поставщик
Группа компаний ЦРТ
Год завершения проекта
2021
Сроки выполнения проекта
Ноябрь, 2020 - Февраль, 2021
Масштаб проекта
11760 человеко-часов
Цели
Голос — самый простой и удобный способ коммуникации для человека, которые доступен в любой жизненной ситуации.
Давая человеку возможность взаимодействовать с финансовыми продуктами и сервисами через голосовой интерфейс мы упрощаем процесс коммуникации и формируем новый клиентский опыт. Это же в свою очередь оказывает положительное влияние на отток клиентов и привлечение новых клиентов, снижает косты на ресурсы операторов контактного центра и положительно влияет на дополнительные продажи и комиссионный доход.

Наша цель — создать личного финансового помощника, понимающего клиента с полуслова, способного ответить на любый вопросы или решить любую потребность клиента, а также способного сделать персонализированное предложение клиенту 24/7.

Уникальность проекта

За 3,5 месяца командой в 30 человек было проведено 3 UX-исследования, разработана первая версия интерфейса и на основании глубинных исследований сформировано функциональное наполнение MVP. Как итог — внедрено решение и выпущен продукт с 800 консультационными тематиками и поддержкой наиболее частотных операций — платежей и переводов.
Проект решает задачи импортозамещения
Нет
Использованное ПО
В качестве СУБД используется PostgreSQL с георезервированием. Для кэширования данных было решено использовать Redis. Балансировка нагрузки выполняется с помощью очередей IBM MQ. Для распознавания и синтеза речи использовано решение от российской компании ЦРТ. В качестве чат-бота — также решение от ЦРТ под названием ChatNavigator. В основе чат-бот платформы — NLP-решение (Natural Language Processing, обработка естественного языка) собственной разработки.
Для сбора метрик работы микросервисов используется Prometheus, отображаются метрики в Grafana. Сбор и отображение метрик мобильного приложение реализованы с помощью Firebase. Отправка технических логов и событий аудита осуществляется с помощью Apache Kafka. Микросервисы разработаны и исполняются на Java 11, развернуты на платформе OpenShift.
Сложность реализации
Основная сложность заключалась не в решение инженерных и архитектурных задач, а в ограниченных сроках для реализации проекта и ресурсах для вывода на рынок решения для клиентов с наиболее востребованным функционалом и не уступающего по качеству конкурентам.
Описание проекта

Голосовой ассистент ВТБ в мобильном приложении ВТБ Онлайн осуществляет консультационную поддержку клиентов по всем продуктам и услугам банка, а также позволяет совершить самые востребованные банковские операции: переводы между своими счетами, клиенту ВТБ, оплата сотовой связи и оформляет продукты по запросу клиента.


На сегодняшний день количество тематик ассистента составляет около 1,4 тысячи. Ассистент подскажет информацию по ипотеке, кредиту наличными, картам, вкладам, поможет оформить sim-карту и согласует время приезда курьера, решит ряд других вопросов по продуктам банка, а также поддержит с клиентом беседу и на отвлеченные темы. С ним можно обсудить кино, литературу, любимые блюда или просто поговорить по душам.


Ассистентом в мобильном приложении воспользовались уже около 300 тыс. раз и провели операций на сумму свыше 15 млн рублей.

География проекта
РФ
Дополнительные презентации:

премия-октябрь-2021.pdf
Коментарии: 45
  • Михаил Петров
    Рейтинг: 806
    Счетная палата Российской Федерации
    Директор департамента цифровой трансформации
    16.11.2021 00:09

    как вы изучаете клиентский опыт по итогам внедрения ассистента? я лично как пользователь постоянно сталкиваюсь с тем, что внедрение таких ассистентов зачастую приводит к невозможности решить какую-то проблему, т.к. если ассистент не обучен какой-то проблеме, в нем нет скрипта - все, это слом сервиса. т.к. нормальный выход из такой ситуации просто не предусмотрен

    • Лидия Мельникова Михаил
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      13.12.2021 17:32

      При проектировании новых навыков ассистента мы проводим UX-исследования (глубинные интервью). После запуска на клиентов мы собираем и работаем с обратной связью от пользователей. Более 95% обратной связи приходится на комментарии, которые сам ассистент предлагает оставить клиенту по результату диалога, а также мы получаем обратную связь из call-центра, маркетов и прочих каналов. Ежедневная работа по анализу запросов к ассистенту помогает нам оптимизировать клиентские пути по уже запущенным навыкам, а также дообучать ассистента новым тематикам и внедрять новые функции. Это позволило нам добиться на текущий день автоматизации канала почти в 60% и также обеспечило высокое качество сервиса по оценке наших пользователей.

      • Михаил Петров Лидия
        Рейтинг: 806
        Счетная палата Российской Федерации
        Директор департамента цифровой трансформации
        13.12.2021 18:22

        спасибо за ответ! "Более 95% обратной связи приходится на комментарии, которые сам ассистент предлагает оставить клиенту по результату диалога" - а какой % клиентов оставляет комментарии?

        • Лидия Мельникова Михаил
          Рейтинг: 530
          ПАО ВТБ
          Начальник Управления "Голосовой ассистент"
          13.12.2021 20:16

          От 5% до 10% пользователей Голосового ассистента в месяц оставляют комментарии по результатам диалога. В комментариях клиенты отмечают как общее впечатление от использования ассистента, так и дают пожелания по его функциональности. Если брать среднее значение за последние 2 квартала, то это чуть выше 6%.

  • Андрей Кравченко
    Рейтинг: 44
    ПАО Банк ВТБ
    Директор по цифровой трансформации
    13.12.2021 18:09

    Планируется ли расширить навыки голосового ассистента возможностью получения информации о штрафах, счетах за ЖКХ, операциями с картами и счетами клиентов?

    • Лидия Мельникова Андрей
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      13.12.2021 20:21

      Уже сейчас голосовой ассистент предоставляет информацию по запросу пользователей по его счетам и картам, тарифам, проводит наиболее частотные платежи и переводы. Мы продолжим расширять количество навыков голосового ассистента в мобильном приложении и в ближайшие дни клиентам станут доступны переводы по системе быстрых платежей, оформление дебетовых карт. В начале 2022 года мы существенно пополним список операций, доступных в голосовом ассистенте, в том числе в фокусе у нас жкх, штрафы и налоги.

  • Андрей Кравченко
    Рейтинг: 44
    ПАО Банк ВТБ
    Директор по цифровой трансформации
    20.12.2021 16:41

    Подскажите, пожалуйста, какую цель вы преследуете, внедряя Голосового Ассистента ? Собирайтесь контурировать с Алисой от Яндекса ?

    • Лидия Мельникова Андрей
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      27.12.2021 17:52

      Андрей, доброго времени суток! Цель нашего проекта - создать личного финансового помощника, взаимодействующего с клиентом на естественном языке и понимающего его с полуслова, способного ответить на любый вопросы или решить любую потребность, а также способного сделать персонализированное предложение клиенту 24/7. Конкуренцию Алисе мы составлять конечно же не планируем. У наших голосовых помощников разные цели и они должны дополнять друг друга, а не конкурировать.

      • Андрей Кравченко Лидия
        Рейтинг: 44
        ПАО Банк ВТБ
        Директор по цифровой трансформации
        28.12.2021 22:36

        Лидия, добрый день. Спасибо за Ваш ответ. А планируете ли вы выходить за пределы мобильного приложения и запускать свои умные колонки. Если да, то на какую долю рынка вы планируете занять? Если нет, по какой причине приняли такое решение?

        • Лидия Мельникова Андрей
          Рейтинг: 530
          ПАО ВТБ
          Начальник Управления "Голосовой ассистент"
          06.01.2022 22:12

          Доброго времени суток, Андрей! Мы планируем выходить за периметр банковского мобильного приложения, но создание отдельных колонок не входит в наши планы. Причины очень просты - рынок будет идти в сторону закрытия всех потребностей пользователей через одно устройство, а не создание отдельного девайса под каждую из потребностей.

  • Александр Печников
    Рейтинг: 40
    ООО ТС Цифровые технологии
    Руководитель проекта
    22.12.2021 21:23

    Являюсь клиентом ВТБ. Голосовым помощником пользуюсь, но хотелось бы видеть больше возможностей: оплату по шаблону, штрафов ГИБДД и налоговых начислений. Есть ли планы по расширению функциональности голосового помощника?

    • Лидия Мельникова Александр
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      27.12.2021 18:00

      Александр, доброго времени суток! Да, в текущем году мы реализовали только первую часть нашего проекта и уже получили высокую оценку наших пользователей. В планах у нас есть дальнейшее расширение функциональности ассистента. В ближайшие месяцы количество навыков ассистента существенно увеличится, включая в том числе такие функции как оплату ЖКХ, открытие продуктов и прочие операции.

  • Максим Часовиков
    Рейтинг: 2235
    Центр цифровой экономики МГУ
    Ведущий специалист
    24.12.2021 00:10

    Добрый день. голосовые решения сейчас популярны, но, наверное, есть большой количество клиентов, которым удобнее общаться письменно. Это особенно удобно, потому что можно делать не обязательно единовременно. Есть ли у вас такие решения и какой примерно процент среди клиентов, которые предпочитают голосовые или текстовые сообщения?

    • Лидия Мельникова Максим
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      27.12.2021 21:46

      Максим, добрый вечер! Вы совершенно правы, что части клиентов удобнее общаться текстом, а также клиент, начав общаться голосом может захотеть уйти в текст, так как стало неудобно разговаривать, Поэтому мы поддержали в голосовом ассистенте возможность бесшовного переключения из голоса в текст и обратно.

      • Лидия Мельникова Лидия
        Рейтинг: 530
        ПАО ВТБ
        Начальник Управления "Голосовой ассистент"
        27.12.2021 21:51

        Помимо ассистента с возможностью общение через голос и текст мы оставили для клиентов отдельный текстовый диалоговый канал. Голос - это новый канал коммуникации для клиента и конечно его доля на сегодняшний день существенно ниже текстового (порядка 10%), но по ряду прогнозов, в том числе мировых агентств, в ближайший год-полтора произойдет перелом. Мы ожидаем, что уже в ближайшей перспективе процент обращений в текстовый и голосовой канал сравняются.

        • Максим Часовиков Лидия
          Рейтинг: 2235
          Центр цифровой экономики МГУ
          Ведущий специалист
          27.12.2021 23:20

          Спасибо за ответ, будет интересно посмотреть как будут развиваться технологии. Если действительно хотя бы 50% сообщений будет голосом - то это интересная тенденция. Можете тогда на следующий год заявить новый проект по аналитике общения помощника и клиентов.

          • Лидия Мельникова Максим
            Рейтинг: 530
            ПАО ВТБ
            Начальник Управления "Голосовой ассистент"
            28.12.2021 09:04

            Доброе утро! Да, посмотрим насколько совпадут прогнозы по разделению трафика между голосовым и текстовым каналами и реальные цифры. Мы не останавливаемся и продолжим и далее развивать голосовой канал. Если в будущем году проект будет достоин участвовать в борьбе за проект года, обязательно заявим его.

  • Александр Печников
    Рейтинг: 40
    ООО ТС Цифровые технологии
    Руководитель проекта
    27.12.2021 18:09

    Добрый день, Лидия. Благодарю за ответ. Более сложные продукты, такие как ипотека, например, или автокредиты возможно вы также предполагаете выводить в голосового помощника? И будет ли помощник работать на горячей линии?

    • Лидия Мельникова Александр
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      06.01.2022 22:15

      Добрый вечер, Александр! Да, в перспективе абсолютно все продукты и услуги пользователи смогут получить через голос. По сути голосовой ассистент станет голосовым интерфейсом к мобильному приложению и через него можно будет закрывать любую потребность.

      • Александр Печников Лидия
        Рейтинг: 40
        ООО ТС Цифровые технологии
        Руководитель проекта
        08.01.2022 20:00

        Здравствуйте, Лидия. Голосовой ассистент в качестве голосового интерфейса к МП ВТБ это здорово и я уверен, что пользователи это оценят положительно. При этом для входа в МП пользователю потребуется совершить ряд ручных манипуляций: запуск приложения, ввод пароля. Появится ли в будущем у ваших пользователей возможность запуска и авторизации в МП голосом? Вы уже проводили исследования по этой теме, насколько это реализуемо и главное безопасно для пользователя?

        • Лидия Мельникова Александр
          Рейтинг: 530
          ПАО ВТБ
          Начальник Управления "Голосовой ассистент"
          09.01.2022 23:24

          Александр, добрый вечер! Вы абсолютно правы, что для построения полного клиентского пути через голос, то есть без необходимости брать девайс в руки, вопрос авторизации клиента в мобильном приложении не обойти. Да, мы провели не одно исследование по данному вопросу и убедились в возможности удобной, а главное безопасной авторизации клиентов через голосового ассистента.

  • 27.12.2021 18:27

    Добрый вечер. Было бы здорово, если бы Голосовой ассистент появился на сайте банка. На сайте очень много информации, иногда непросто что-то найти. Голосовой ассистент упростил бы поиск нужной информации. Подскажите, исследовали ли вы вопрос востребованности голосовых помощников на сайтах?

    • Лидия Мельникова
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      28.12.2021 10:20

      Доброе утро, Татьяна! Спасибо за вопрос. Да, мы анализировали востребованность голосовых диалоговых каналов на десктопных версиях. Наши исследования показали неготовность пользователей работать с сайтами через голос.

      • Лидия
        28.12.2021 10:53

        Спасибо за ответ. А какие исследования вы проводили? Можете чуть более подробно рассказать?

        • Лидия Мельникова
          Рейтинг: 530
          ПАО ВТБ
          Начальник Управления "Голосовой ассистент"
          06.01.2022 22:18

          Татьяна, добрый вечер! Преимущественно это глубинные интервью с несколькими десятками респондентов. В число респондентов входили люди разных возрастных групп и как пользователи голосовых ассистентов разных банков, так и клиенты, ранее не использовавшие голосовых помощников.

  • Екатерина Фадеева
    Рейтинг: 10
    ООО ООО "ВОРКМИ"
    Директор по развитию
    28.12.2021 09:48

    Добрый день. Голосовые решения сейчас очень популярны, подскажите ведутся ли исследования после внедрения продукта, насколько продукт соответствует ожиданиям клиента, в плане удобства использования (отсутствия лишних шагов и вопросов), понятности скриптов которые даются пользователю при возникновении проблемы?

    • Лидия Мельникова Екатерина
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      06.01.2022 22:23

      Доброго времени суток, Екатерина! Да, конечно такие исследования мы проводим и на основании получаемой обратной связи развиваем наше решение, в том числе корректируя клиентские пути и развивая навыки голосового ассистента. Так же по результатам взаимодействия пользователя с ассистентом у пользователей есть возможность оставить отзыв. Получаемую обратную связь из отзывов мы также используем для развития нашего решения.

      • Екатерина Фадеева Лидия
        Рейтинг: 10
        ООО ООО "ВОРКМИ"
        Директор по развитию
        07.01.2022 23:15

        Лидия, спасибо за ответ! Ещё один вопрос планируется ли, что в дальнейшем Голосовой ассистент сможет стать Помощником при планировании дня, например голосом выставить необходимую встречу с подсвечиванием свободных слотов участников?

        • Лидия Мельникова Екатерина
          Рейтинг: 530
          ПАО ВТБ
          Начальник Управления "Голосовой ассистент"
          09.01.2022 23:46

          Добрый вечер, Екатерина! В первую очередь цель нашего проекта - это личный финансовый помощник для клиентов, однако в дальнейшем мы допускаем возможность расширения навыков голосового ассистента под общие ежедневные задачи, включая такие возможности, как напоминание, будильник, календарь и прочее. Но еще раз отмечу, что это задачи второго приоритета и будут реализовываться в случае востребованности со стороны клиентов.

  • 28.12.2021 09:56

    Доброе утро. И еще один вопрос - планируете ли вы интеграцию с другими помощниками? Например, с помощником госуслуг?

    • Лидия Мельникова
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      06.01.2022 22:26

      Доброго времени суток, Татьяна! Если нашими пользователями будут востребованы функции от прочих помощников на рынке, то конечно такая интеграция будет возможна. На текущий день я пока не могу анонсировать такие проекты, но скажу, что одна из таких активностей нами сейчас ведется.

  • Роман Печенигин
    Рейтинг: 318
    Калининградский Государственный Научно-Исследовательский Центр (КГНИЦ)
    Руководитель группы «Удостоверяющий центр»
    28.12.2021 13:21

    Лидия, добрый день! Интересный и перспективный на мой взгляд проект. Подскажите, пожалуйста, как вы видите дальнейшее развитие проекта? Сможет ли на ваш взгляд голосовй ассистен в ближайшем будущем полностью или почти полностью заменить живых специалистов Банка?

    • Лидия Мельникова Роман
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      06.01.2022 22:30

      Доброго времени суток, Роман! Искусственный разум на мой взгляд никогда не сможет полностью заменить живого человека, однако заменить человека и помочь человека в львиной доле потребностей вполне в его силе. И в ближайшие пару лет мы с вами это увидим.

  • 07.01.2022 22:22

    Добрый вечер, Лидия. В банковской сфере очень популярна тема идентификации клиентов по их биометрическим данным. При выполнении операций в голосовом канале способ подтверждения голосом был бы очень удобным для клиентов. Планируется ли у вас внедрение такого способа подтверждения операций?

    • Лидия Мельникова
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      09.01.2022 23:48

      Татьяна, добрый вечер! Очень актуальный на сегодняшний день вопрос вы задаете. Вопрос касается безопасности проведения операций в голосовом ассистенте и всех нюансов, как вы понимаете, я раскрыть не могу. Скажу только, что мы в рамках проекта детально проработали вопросы безопасности канала и продолжаем уделять этой теме наивысший приоритет при развитии решения и конечно изучаем возможность использования голосовых слепков.

  • Вадим Королев
    Рейтинг: 344
    ПАО Банк «ФК Открытие»
    Руководитель проектов Управления автоматизации внутрибанковских процессов
    08.01.2022 11:07

    Добрый день! В описании вы указали, что используете собственное NLP решение. Насколько мне известно это требует не только значительных инсфраструктурных ресурсов, но и значительных наработок в части нейросетей. Почему вы не применили имеющиеся на рынке облачные решения?

    • Лидия Мельникова Вадим
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      08.01.2022 22:29

      Добрый вечер, Вадим! Для ответа на ваш вопрос нужно подробнее раскрыть, каким образом наше решение работает с естественным языком. Конечно, чат-бот платформа имеет свой nlu движок, с использованием которого решается задача классификации и понимания интента клиента. В этой части мы используем промышленное решение вендора. Однако, нам потребовалось разработать отдельный сервис, который выделяет сущности из фраз клиента, чтобы реализовать механизм slot filling. Использование облачных решений для данной задачи нам не подошло, т.к. клиент может озвучить сведения, составляющие банковскую тайну или содержащие персональные данные. Такую информацию мы обрабатываем только во внутреннем контуре банка и ни в какие внешние сервисы не отдаём - это вопрос безопасности данных наших клиентов. Это основная причина, почему сервис разрабатывали внутри.

  • Вадим Королев
    Рейтинг: 344
    ПАО Банк «ФК Открытие»
    Руководитель проектов Управления автоматизации внутрибанковских процессов
    08.01.2022 19:04

    Лидия, в описании проекта вы указали, что вы применяете комбинированный подход в обучении голосового ассистента. Можете более подробно рассказать, в каких именно кейсах вы используете решение на правилах, а где применяете Machine Learning?

    • Лидия Мельникова Вадим
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      09.01.2022 23:49

      Вадим, добрый вечер! Различные эксперименты как с нашей стороны, так и на рынке показывают, что при небольших объемах данных для обучения (в среднем менее 100 тысяч, но всё зависит от конкретной тематики) правила показывают лучшие результаты, ML же начинает существенно выигрывать при больших объемах датасетов. Мы применяем комбинированный подход - ML и правила для классификации и понимания интента клиента в зависимости от тематики запроса, ML + справочники для выделения сущностей (в зависимости от типа сущности) и ML для VAD (Voice Activity Detection) и KWS (распознавание треггерной фразы).

  • Оксана Бахтюкова
    Рейтинг: 6
    ПАО Банк ФК "Открытие"
    Руководитель направления. Управление автоматизации внутрибанковских процессов
    09.01.2022 18:05

    Лидия, добрый день! Какая доля ваших клиентов уже использует голосового помощника? И какой доли вы ожидаете достичь в ближайшие пару лет?

    • Лидия Мельникова Оксана
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      09.01.2022 23:50

      Оксана, добрый вечер! Сервис для клиентов новый и пока по цифрам и обратной связи мы видим, что пользователи только изучают новые возможности голосового интерфейса, при этом от месяца к месяцу идет значительный рост доли пользователей. Ожидаем, что к концу 2022 года голосовой интерфейс будет использовать до 10% пользователей мобильного приложения.

  • Александр Писеев
    ООО Таргет
    Руководитель проектного офиса
    09.01.2022 22:42

    Подскажите, ваше решение стоит только в мобильном приложении или так же на горячей линии банка?

    • Лидия Мельникова Александр
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      09.01.2022 23:22

      Добрый вечер! Александр, наш проект на текущий момент охватывает только мобильное приложение для физических лиц. На горячей линии банка так же есть бот. В перспективе планируется наше решение вывести в том числе и на горячую линию банка.

  • Сергей Воронцов
    Рейтинг: 50
    ООО Аверт Медиа Аутдор
    Генеральный директор
    09.01.2022 23:21

    Добрый день! Имя вашего помощника - Лео. По всей видимости это мужской персонаж. Подскажите, почему вы выбрали мужского персонажа?
    Различные исследования говорят о том, что больше доверие к женским... помощникам больше.

    • Лидия Мельникова Сергей
      Рейтинг: 530
      ПАО ВТБ
      Начальник Управления "Голосовой ассистент"
      09.01.2022 23:37

      Добрый вечер! Сергей, да действительно есть исследования, которые говорят о том, что пользователи отдают предпочтение женским голосам. Мужские голоса зачастую кажутся дерзкими и резкими. Но при выборе пола нашего персонажа мы провели исследование и подтвердили, что бренд ВТБ в первую очередь ассоциируется с надежностью, стабильностью и мужским брендом.

Год
Предметная область
Отрасль
Управление