Применение LLM в банковском КЦ: Киберсуфлер и AI-контролер. Часть 1

Решение задач консультации клиентов и контроля качества обслуживания с помощью LLM и AI.

Киберсуфлер:

- Быстрый поиск ответов среди специфической и сложно структурированной информации. Снижение нагрузки на операторов. Повышение скорости и точности ответа с учетом всех обновлений.

- Генерация ответа на языке клиента. Уход от формализма с сохранением рекомендованного Тone of Voice.

 AI контролер:

- Проверка диалогов клиента с КЦ во всех точках касания (голос, текст, операторское обслуживание, роботизированные каналы)

- Формирование резюме диалога, группировка диалогов по выявленным позитивным и негативным паттернам.

- Подготовка рекомендаций по улучшению качества обслуживания (от корректировки скриптов до персональных рекомендаций операторам)

- Выявление трендов и потребностей клиентов.

Цели 1 этапа: оценка применимости LLM моделей в банковском КЦ в серии промышленных пилотов, выбор оптимального промышленного решения, подготовка бизнес-процессов и инфраструктуры к этапу 2.

2024

На 1м этапе удалось:

По Киберсуфлеру:

- достигнуть точности консультации по выбранным тематикам более 85% (благодаря изменению структуры хранения данных в БД банка, доработкам RAG, определению оптимального размера контекста для генерации ответа и дополнительным циклам регенерации верных односложных ответов в соответствии с ТoV банка)

- сократить время консультации по пилотируемым тематикам на 35%, а в некоторых случаях полностью исключить консультацию с помощью операторов

По AI контролеру:

- достигнуть качества генерации резюме диалогов более 85% (благодаря дообучению моделей внутренним регламентам и процедурам банка и предоставлению предварительно обезличенных дата-сетов разметки клиентских диалогов)

- увеличить производительность контроля качества обслуживания по сравнению с ручной прослушкой и оценкой диалогов на 90%

На этапе 1:

-       Собственная разработка

-       Российские LLM и русскоязычные OpenSorce модели

-       LangChain, GigaChain

-       Pytorch

-       Transformers

В проекте не используются решения из каталога Global CIO

Основные сложности реализации 1 этапа:

- отсутствие на момент начала пилота необходимой инфраструктуры для размещения LLM в контуре Банка, что повлекло дополнительные работы по обезличиванию клиентских данных и существенное ограничение в выборе пилотных тематик.

- отсутствие четкого правового регулирования применения  LLM в финансовой сфере (принадлежность прав на запросы и сгенерированные ответы, ответственность сторон в случае угроз информационной безопасности и тд.)

- отсутствие знаний на стороне LLM о внутренних процедурах КЦ конкретного банка, и необходимость подготовки данных для дообучения моделей.

Киберсуфлер: Неотъемлемая часть внутрибанковской платформы управления КЦ, где на ключевых этапах обслуживания клиентов используются возможности RAG+LLM.

- Уточнение деталей клиентского запроса по определенной тематике

- поиск информации в базе знаний банка

- генерация конечного ответа клиенту или подсказки оператору.

AI контролер: Система оценки качества обслуживания клиентов в голосовых и текстовых каналах КЦ с помощью LLM моделей. При этом оцениваются как операторские консультации, так и диалоги клиента с голосовыми и текстовыми ботами.

Система переводит диалог с клиентом в текстовый формат (если общение велось голосом) и анализирует текстовую расшифровку диалога, предоставляя на выходе:

- Суммаризацию диалога (краткий пересказ)

- Сгенерированное резюме звонка:

            - решен или не решен вопрос клиента

- оценка причин, если вопрос клиента не решен (технические сбои,

действия оператора, корректность и полнота ответа бота/llm, иное)

            - оценка тональности диалога при любом исходе диалога

- оценка корректности действий оператора

- Группировку диалогов для дальнейшего анализа и формирования рекомендаций по улучшению качества обслуживания.

При пересечении генерации ответа клиенту с помощью Киберсуфлера и оценки диалога AI контролером мы получаем полный цикл AI обслуживания, где весь процесс консультации клиента от определения/уточнения запроса клиента до оценки качества обслуживания выполняется автоматически с помощью Платформы управления КЦ и AI инструментов (NN, STT, RAG, LLM и тд)

Все подразделения КЦ на территории РФ.

Даже в условиях сложностей реализации первого этапа, пилоты проводились без географических ограничений. Напротив, на этом этапе крайне важно было оценить как ведут себя сервисы с учетом региональных особенностей (уникальные тарифы, специфические клиентские запросы, особенности языка и менталитета отдельных регионов)