ИИ-ассистент с 3D-аватаром для консультаций в отделениях банка

Создание полноразмерного сенсорного киоска с виртуальным ИИ-ассистентом, интегрированного с системой электронной очереди, для повышения качества обслуживания клиентов в отделениях и разгрузки сотрудников отделений ВТБ. Проект нацелен на проверку бизнес-гипотезы: востребован ли цифровой ассистент в формате 3D-аватара для клиентов, и способен ли он стать первой точкой контакта в отделениях банка. Решение обеспечивает:

• автоматизацию типовых клиентских запросов;

• сокращение времени ожидания клиентов;

• продвижение банковских продуктов и сервисов;

• повышение клиентской удовлетворённости за счёт «цифровой эмпатии» и персонализированного взаимодействия;

• сбор аналитики для оптимизации процессов.

Подтверждена востребованность виртуального ассистента у клиентов.

Достигнуты ключевые KPI пилотного проекта (включая CSI и конверсию клиентов в получателей талонов).

Определены направления доработки и новые сценарии использования.

Зафиксирован потенциал снижения трудозатрат сотрудников на 140 тыс. чел./час в месяц при масштабировании на всю сеть.

Получен опыт использования LLM-ассистента в оффлайн-канале, что стало отраслевой инновацией.

• Unreal Engine для анимации 3D-аватара

• LLM + RAG для LLM для генерации ответов на основе актуальных данных банка

• speech-to-text и text-to-speech сервисы (русский язык)

• touch screen-киоск, разработанный "с нуля"

• система управления очередью

• модуль аналитики взаимодействий и обратной связи

Основные вызовы проекта:

• отсутствие готового аппаратного решения требовало создания киоска с нуля;

• интеграция LLM с банковской терминологией и процессами;

• синхронизация речи и 3D-анимации для «живого» восприятия;

• обеспечение бесперебойной голосовой коммуникации в условиях шумного отделения;

• масштабное интеграционное и нагрузочное тестирование.

Все сложности были решены благодаря эффективному межкомандному взаимодействию и итерационной доработке MVP.

По заказу Департамента развития инструментов обслуживания ВТБ реализован MVP виртуального ИИ-ассистента Тамара. Это один из первых в России банковский цифровой помощник с принципиально новым сценарием пользовательского взаимодействия и интеграцией с системой электронной очереди банка.

Виртуальный ИИ-ассистент — 3D-аватар в человеческий рост на экране сенсорного киоска осуществляет голосовое обслуживание клиентов в отделении банка, в частности является первой точкой контакта клиента в отделении — приветствует клиента и в зависимости от потребности клиента может:

• записать на консультацию к специалисту

• проконсультировать о продуктах банка

• навигировать клиента к окну обслуживания

• поддержать в дружеском формате беседу

MVP виртуального ИИ-ассистента включает в себя:

• полноразмерный сенсорный киоск 69” (автомат самообслуживания)

• трехмерный 3D-аватар с набором мимики, движений и анимации

• программное обеспечение с разработанным пользовательским интерфейсом

• сервис Speech-to-text — Распознавание речи. Превращает устную речь в текст

• сервис Text-to-speech — Синтез речи. Превращает текст в естественную речь

• LLM — Большая языковая модель, которая обрабатывает запросы и генерирует ответы  +  RAG для LLM для генерации ответов на основе актуальных данных банка

• интеграция с системой управления очередью банка

• модуль сбора обратной связи от пользователей

• модуль аналитики

В рамках проекта проведена апробация решения во флагманском отделении ВТБ в Москва Сити.

Москва (пилотная площадка — отделение ВТБ в Москва-Сити), с перспективой масштабирования на всю сеть отделений ВТБ.