-
331
Опубликовано проектов
-
171
Оставлено комментариев
AI-антифрод система
-
Руководитель проекта со стороны заказчика
Олег Проскуряков
ПАО ВТБ
Начальник управления платформенных решений и технологического развития моделирования
-
Категория
-
Номинация
-
Цели
Превентивная защита средств более 31 млн клиентов и снижение прямых финансовых потерь от кибермошенничества и социальной инженерии за счет трансформации антифрод-защиты: перехода от вендорских моделей к собственной высоконагруженной стриминговой платформе онлайн-скоринга.
Ключевая цель — обеспечить персонализированную оценку риска каждой транзакции на лету (Real- Time) с помощью ансамбля самообучающихся ML-моделей при ультранизком времени отклика (SLA < 50 мс) без деградации клиентского опыта и роста ложных блокировок добросовестных операций.
-
Сроки выполнения
январь, 2025 — октябрь, 2026 -
Год завершения проекта
2026
-
Масштаб проекта
50000 человеко-часов -
Результаты
1. Промышленный запуск: В боевой контур внедрены 7 специализированных AI-моделей (Retail, банкоматы/41-ФЗ, ДБО, карты, выявление дропов, 2 модели НСПК) и создан конвейер их бесшовного обновления.
2. Потенциальный финансовый эффект: Предотвращенный ущерб от хищений составляет ~150 млн руб./год на стартовом пуле и до 500 млн руб./год при полном развертывании каскада моделей. Срок окупаемости проекта — от 6 до 18 месяцев.
3. Защита клиентского опыта: На целевых порогах скоринга достигнуто снижение ложных блокировок добросовестных клиентов при сохранении объема выявляемого фрода.
4. Операционный эффект: Вывод AI используется автоматически без ручных корректировок, что высвободило ресурсы аналитиков безопасности для работы над самыми свежими схемами, для которых данные еще не вызрели.
-
Уникальность проекта
1. Экстремальный стриминговый инференс:
впервые на отечественном рынке реализован одновременный онлайн-скоринг сразу 7 тяжелых моделей градиентного бустинга и расчет 200–300 динамических поведенческих агрегатов на лету за время менее 50 мс при нагрузке до 4300–5000 RPS и потоке 130 млн операций в сутки.
2. Замкнутый промышленный MLOps-конвейер («Фабрика моделей»):
внедрен автоматизированный цикл с контролем дрейфа данных и стабильности скора (Gini, PSI, SSI ). При изменении паттернов мошенников срабатывает триггер на дообучение моделей, а вывод новых моделей идет через теневой (Shadow) контур без остановки процессинга.
3. 100% технологический суверенитет:
решение полностью создано инхаус на базе отечественного системного ПО (AstraLinux, Tarantool) и передового OpenSource (Kafka, Flink) на оборудовании из реестра Минпромторга, полностью заменив проприетарные зарубежные аналоги.
-
Использованное ПО
• Отечественное ПО:
ОС AstraLinux, СУБД Tarantool (горячий in-memory кэш агрегатов)
● Потоковая обработка и разработка:
Apache Kafka, Apache Flink (Stateful Stream Processing), Java, Hadoop (хранение логов и ретро-данных).
● ИИ и алгоритмы:
собственные ансамбли градиентного бустинга (7 специализированных ML-моделей)
-
Решение из каталога Global CIO
В проекте не используются решения из каталога Global CIO
-
Сложность реализации
1. Экстремальный Highload и SLA:
Обеспечение отклика < 50 мс на одновременный прогон 7 моделей и 300 агрегатов при средней нагрузке 2000 RPS, рабочей пиковой 4300 RPS и стресс-тестах до 5000 RPS (130 млн транзакций и 1,3 ТБ данных в сутки).
2. Архитектурный масштаб:
Развертывание системы на десятках геораспределенных хостах и оркестрация более 40 сложных интеграционных потоков (32 потока скоринга, 5 потоков генерации фичей, 10 сигнальных и управляющих потоков).
3. Организационная сложность:
Синхронизация 20 самостоятельных команд из 4 департаментов банка и бесшовная интеграция в критический платежный тракт 24/7 без остановки бизнес-процессов.
-
Описание
Предпосылки и бизнес-вызов:
Рост объемов и изощренности мошенничества и социальной инженерии показал ограниченность символов классического антифрода.
Универсальные вендорские модели не учитывали специфику именно наших клиентов Банка. И показывали результаты хуже разработанных инхаус моделей. Требовался переход к гибкой, персонализированной оценке поведенческого профиля клиента в реальном времени.
Архитектура решения:
Разработана и введена в промышленную эксплуатацию высоконагруженная распределенная стриминговая платформа, разделенная на два отказоустойчивых контура:
1. Контур потокового расчета признаков (SLA обновления < 1 сек): Транзакционный поток (1,3 ТБ/сутки) непрерывно обрабатывается связкой Apache Kafka и Apache Flink. На лету рассчитывается до 300 сложных поведенческих и сессионных агрегатов. Состояния сохраняются во Flink State для мгновенного восстановления при сбоях и реплицируются в горячий in-memory кэш на базе отечественной СУБД Tarantool.
2. Контур ультрабыстрого онлайн-инференса (SLA < 50 мс): По защищенным TCP-сессиям система антифрода запрашивает скор. За время менее 50 миллисекунд платформа поднимает агрегаты из Tarantool, параллельно исполняет до 7 специализированных моделей градиентного бустинга и возвращает предиктивный вердикт для автоматического управления транзакцией.
Интеллектуальное ядро и
прозрачность:
Для исключения риска галлюцинаций и обеспечения 100% математической интерпретируемости для регулятора (161-ФЗ) применены кастомные модели градиентного бустинга. Модели сегментированы по каналам и типологиям угроз: общая транзакционная модель, защита снятий в банкоматах (в рамках 41-ФЗ), мониторинг ДБО и QR операций, карточный контур, выявление дропперских счетов и индикаторы подозрительных операций НСПК.
Вокруг ядра развернут контур MLOps: репозиторий моделей, на стриминговой системе реализован режим с поддержкой теневой обкатки (Shadow mode), логирование в Hadoop и платформа контроля качества.
Управление проектом:
Масштабная трансформация выполнена за 9 месяцев силами 20 кросс- функциональных команд (Data Science, разработка стриминга, безопасность, прикладной антифрод).
Благодаря двухуровневому планированию и сквозному трекингу в системе «Сфера.Задачи» проект завершен точно в срок и без отклонений от бюджета.
-
География проекта
Вся Россия
-
Заказчик
ПАО Банк ВТБ
Комментировать могут только авторизованные пользователи.
Предлагаем Вам войти в систему или зарегистрироваться.