Сервис для оптимизации исходящего смс-трафика

1. Сокращение расходов на исходящие сообщения за счет:

• Увеличения доли шаблонированных смс-сообщений внутри банка (ИИ-поиск шаблонов и определение типа трафика сообщения)

• Понимания длины сообщений в разных типах трафика (рекламного, сервисного, транзакционного, авторизационного)

• Сокращения длины сообщений путем переформулирования с ИИ. Сообщения тарифицируются по сегментам (1 сегмент ~70 символов), длина сообщения напрямую влияет на стоимость отправки. 

• Перевод в Push рекламных (нешаблонированных) сообщений

2. Оптимизация работы с мобильными операторами за счет добавления найденных внутренних шаблонов в справочники шаблонов мобильных операторов для снижения их тарифов отправки сообщений.

Цель проекта - автоматизация потока исходящих смс клиентам от банка с целью выявления паттернов текста, которые могут быть преобразованы в шаблоны.

В результате реализации проекта был разработан аналитический пайплайн обработки исходящих нотификаций банка, что позволило

• Снизить долю нешаблонированного трафика за срок реализации проекта более чем на 20%

• Перевести на Push более затратные коммуникации

• Сократить длину отправляемых смс-сообщений

Экономия на отправке смс-сообщений в результате использования системы, созданной в ходе проекта – более чем 560 млн. руб. только за первые 3 месяца использования модели, в дальнейшем данный эффект стабильно увеличивался.

Вся исходящая коммуникация банка обрабатывается разработанным решением, что позволяет получать экономию всем бизнес-подразделениям ВТБ,  снизить операционные затраты на ручную и полуручную обработку сообщений, в следствие чего сфокусироваться на решении других задач.

Проект был реализован на языке Python 3 с использованием фреймворка Pyspark для обработки больших данных, расчеты осуществлялись на кластере Hadoop с использованием интерфейса JupyterHub. Шаблонизация осуществлялась с использованием языковых моделей Natasha. Для генерации сокращенных текстов использовались LLM.

В силу отсутствия готовых решений и научных работ, требовалось провести масштабное исследование различных методов и алгоритмов для решения задачи в сжатые сроки, осуществить сбор датасета и провести интеграцию с LLM-моделями.

Требовалось обеспечить обработку ресурсоемкими моделями машинного обучения ежемесячного потока данных в ~1 млрд. сообщений в месяц за короткое время (~1 сутки). Необходимо было разработать принципиально новое архитектурное решение при ограничениях инфрастуктуры компании.

Требовалась устойчивость к разнообразию формулировок сообщений и форматов шаблонов операторов, а также к ошибкам в работе моделей машинного обучения с исходным открытым кодом.

Итеративный процесс разработки ввиду отсутствия требований к формату/выделению шаблона – поиск баланса между слишком общими и слишком частными шаблонами, что требовало новых модельных решений и постобработки результатов (дедупликация шаблонов).

Проект представляет собой пример практического применения ИИ в банке для снижения операционных затрат и оптимизации исходящего потока сообщений клиентам банка. Решение позволяет автоматизировать ручные процессы бизнеса по шаблонизации, сокращению длины и оптимизации стоимости рассылки сообщений.

В основе решения лежит применение NLP и технологий работы с Big Data. Было протестировано более 7 разных вариантов решения, итоговое наилучшее решение объединяет несколько алгоритмов и рассчитывается ежемесячно для всех исходящих нотификаций в банке.

Основные составляющие решения:

1. Модуль шаблонизации сообщений. В данном модуле для всех исходящих сообщений в банке рассчитывается их внутренний шаблон. Для этого используется гибридный подход, сочетающий ИИ-модели для частеречевой аналитики, а также кастомизированные решения для улучшения качества и быстродействия их работы. Кастомзированные решения позволяют учитывать специфику доменной банковской области, исправлять множественные ошибки открытых ИИ-моделей. При выделении шаблонов важен компромисс между слишком общими и слишком частными шаблонами. Использование кастомизированных решений позволило дедуплицировать результаты открытых моделей и сократить количество выделяемых шаблонов более чем в 4 раза. 

2. Модуль оптимизации тарифов рассылки сообщений. В данном модуле осуществляется сопоставление внутренних шаблонов с шаблонами операторов связи, определение типа трафика рассылаемых сообщений и анализ длины сообщений. Для более дорогих нотификаций осуществляется оптимизация стоимости рассылки с помощью перевода на Push, добавления сообщений в справочники операторов и других методов.

3. Модуль сокращения длины текстов сообщений. В данном модуле формируются предложения по переформулированию текстов сообщений для их сокращения с помощью LLM модели. В ходе данного этапа происходит автоматическое сокращение сообщений с длиной более 1 сегмента оператора для оптимизации затрат на отправку длинных сообщений.

Для реализации проекта была использована распределённая вычислительная среда PySpark, обеспечивающая высокую скорость обработки сообщений, подбор оптимальных параметров позволил достичь стабильности и высокой производительности даже при большом объёме данных. Сейчас данное решение используется для обработки всех исходящих нотификаций в банке, ~1 млрд. нотификаций ежемесячно и обработка производится всего 1 день.

Все регионы РФ