-
331
Опубликовано проектов
-
171
Оставлено комментариев
RAG по базе знаний для сотрудников сети и операторов колл- центра
-
Руководитель проекта со стороны заказчика
Евгений Лепшин
ПАО Банк ВТБ
Начальник управления перспективных алгоритмов машинного обучения - вице-президент
-
Категория
-
Номинация
-
Цели
Обеспечить сотрудников умным поиском по «Бизнес-
Википедии» (база знаний розничного бизнеса) и «Продуктовому
каталогу» (условия тарифов), который сокращает время
получения ответа с 60 до 6 секунд.
Дополнительно для сотрудников колл-центра реализован
сервис «Суфлер», который автоматически формирует запросы на
основе расшифровки звонка, исключая ручной ввод и позволяя
оператору сосредоточиться на диалоге с клиентом.
-
Сроки выполнения
октябрь, 2024 — сентябрь, 2026 -
Год завершения проекта
2026
-
Масштаб проекта
28000 человеко-часов -
Результаты
Ежедневно система обрабатывает 34 000 запросов. В 89%
случаев умный поиск выдает допустимый ответ. Время поиска
информации снизилось до 6 секунд. Сервис высвобождает
примерно 3200 часов в месяц. Решение существенно снижает
общую нагрузку на сотрудников, уменьшает количество
обращений к коллегам и позволяет перенаправить
высвобожденный ресурс на прямую работу с клиентами.
-
Уникальность проекта
1. Первый проект умного поиска такого масштаба в компании:
отсутствовали готовые подходы к оценке качества ответов и
бенчмарки. Приходилось с нуля проектировать систему оценки,
включая разметку персонализации под профиль клиента.
2. Ограниченные ресурсы экспертов на ручную разметку данных
для обучения и тестирования моделей. Команда
компенсировала это генерацией синтетических данных,
выровненных по распределению реальных запросов.
3. Разработка в закрытом контуре: выстроили процессы
разработки и обновления моделей так, чтобы сохранять
скорость итераций и эффективное взаимодействие команд.
4. Высокая нагрузка на «Суфлер»: сервис должен был
выдерживать более 300 запросов в секунду в пиковые часы. Для
снижения нагрузки на LLM подобрали и оптимизировали более
лёгкие модели, сохранив качество формирования запросов.
-
Использованное ПО
vLLM, python, pytorch, kafka, kubernetes, виртуальные машины
CPU и GPU (Nvidia H100), CRM системы сотрудников,
корпоративные базы данных, OpenSearch
-
Решение из каталога Global CIO
В проекте не используются решения из каталога Global CIO
-
Сложность реализации
Ключевыми вызовами стали обеспечение стабильного качества
ответов и соблюдение строгих требований безопасности при
внедрении генеративного ИИ.
Для минимизации галлюцинаций и корректной обработки
неточных запросов был выстроен регулярный цикл анализа
ошибок и доработки логики RAG. Реализована система
предобработки вопросов, включая расширение запросов и
использование справочника терминов.
Для гарантии актуальности данных настроен автоматический
пайплайн индексации: при обновлении корпоративных
документов информация мгновенно становилась доступной
модели. Устаревшие материалы исключались из поиска с
помощью стоп-листов.
Безопасность была обеспечена за счет развертывания решения
on-premise на российской модели GPT внутри защищенного
контура банка. Реализована полная изоляция от внешних
источников, контроль доступа к данным и логирование всех
запросов, что позволило полностью соответствовать
требованиям информационной безопасности и регуляторов.
-
Описание
Раньше операторы отделений и колл-центра тратили до 60
секунд на каждый запрос в «Бизнес-Википедии». Традиционный
поиск по ключевым словам не справлялся с естественной
речью: если сотрудник формулировал вопрос иначе, система
ничего не находила. Сложные кейсы приходилось
согласовывать с методологами, что занимало от нескольких
часов до двух дней. Клиент оставался на линии, а оператор
чувствовал беспомощность перед массивом из 3000 страниц и
10000 вложений.
Мы внедрили интеллектуального помощника на базе RAG-
архитектуры и больших языковых моделей, который понимает
контекст запроса, а не просто ищет совпадения слов. Система
анализирует вопрос в реальном времени, извлекает
релевантные данные из всей корпоративной базы и выдает
готовый ответ со ссылками на источники. Для максимального
удобства разработан сервис «Суфлер»: ИИ слушает диалог с
клиентом и автоматически формирует запросы, исключая
необходимость ручного ввода.
Проект реализован по принципу «человек в центре»: технологии
не заменяют эксперта, а усиливают его компетенции.
Разработка велась совместно с операторами и сотрудниками
отделений, что позволило адаптировать систему под реальные
рабочие сценарии. В результате время на поиск информации
сведено к минимуму, а операторы предоставляют точные
ответы, основанные на актуальных регламентах. Снижена
когнитивная нагрузка на персонал, повышена
удовлетворенность сотрудников и качество обслуживания
клиентов. ИИ стал надежным помощником, позволяя
сотрудникам сосредоточиться на сервисе, а не на поиске
инструкций.
-
География проекта
Россия
-
Заказчик
ПАО Банк ВТБ
Комментировать могут только авторизованные пользователи.
Предлагаем Вам войти в систему или зарегистрироваться.