● Информационная безопасность
- Заказчик
- Сбер
- Руководитель проекта со стороны заказчика
- ИТ-поставщик
- Сбер
- Сроки выполнения проекта
- Ноябрь, 2019 - Апрель, 2023
- Масштаб проекта
- 186000 человеко-часов
- Цели
-
Проект преследовал сразу несколько целей:
· повышение эффективности противодействия мошенничеству (более полное выявление фрода, при меньшем числе ложных срабатываний системы) в отношении клиентов банка физических и юридических лиц
· отказ от решения вендора и перехода на собственные AI-модели и среды исполнения
· создание более гибкой системы и снижение Time2market разрабатываемых AI-моделей и фичей для противодействия мошенничеству
- Результаты
-
Эффект от реализации инициативы:
- 200+ млрд.руб./год спасенных от мошенничества средств клиентов
- 0.11 fraud basis point*
Это в ~56 раз лучше в сравнении с показателями МПС (~ 6 fraud basis points)
- 99,6% эффективность системы в части выявления мошенничества (vs 80% у вендора)
- 20+ одновременно работающих AI-моделей (vs 6 у вендора)
Одна из моделей включена в перечень топ-100 лучших патентов России за 2019-2020 годы
- 7 часов/8 дней – средний T2M фичей/моделей соответственно (vs кварталы у вендора)
- Vendor free решение построенное на OpenSource и внутренних разработка Сбера
* fraud basis points рассчитывается как отношение объема фрода к обороту (в basis points)
Уникальность проекта
Реализованный проект обеспечивает защиту от кибермошенников всех клиентов Сбербанка.
Для этого было разработано и внедрено 20+ AI-моделей, осуществляющих всестороннюю оценку риска транзакций, участвующих сущностей (клиент, устройство, получатель, ...), их связей, гео-факторов и пр. Одна из моделей включена в перечень топ-100 лучших патентов России за 2019-2020 годы.
А для обеспечения работоспособности и адаптации этих AI-моделей в проекте реализовано уникальное решение, объединившее BigData с петабайтами накопленной банком информации и online-компоненту расчета и исполнения моделей. И все это работает на колоссальном потоке в 30+ млрд. операций/мес. с проверкой каждой операции в real-time с SLA < 50 мс.
Также в рамках реализации этого проекта мы одними из первых в России (еще в 2020 г.) реализовали концепцию Feature Store – централизованной системы расчета, хранения и дистрибуции признаков для использования в AI-моделях и алгоритмах Антифрода. Это решило целый ряд типичных для AI-проектов проблем.
- Проект решает задачи импортозамещения
- Да
- Использованное ПО
-
AI-модели: Python, PyTorch, PyTorchBigGraph, lightgbm, catboost, собственные разработки ML pipeline обучения и контроля качества моделей и фичей
FeatureStore: Sberbank Data Platform, Postgre Sber Edition, Apache Spark, Play Framework, Scala, React, Ant design, Apache Kafka
Дополнительная обработка: Apache Iginite, Apache Kafka, Postre Sber Edition, Netty, ntlr4, spring boot, junit
- Сложность реализации
-
- требовался уникальный набор компетенции из совершенно разных областей – BigData и Data Engineering, разработка высоконагруженных real-time систем, AI и Machine Learning и экспертизы по мошенничеству
- необходимость на начально этапе создать целостное видение функционирования всех компонентов системы, их ролей и работы пользователей с системой. В противном случае реализованные компоненты не дали бы той гибкости и легкости интеграции и низкого Time2Market, что негативно сказалось бы на сроках и эффективности системы
- для достижения такого уровня эффективности потребовалось проделать колоссальную работу по созданию фичей и тестированию различных типов моделей и подходов к их обучению
- разработать real-time компоненту достаточной эффективности, чтобы считать произвольные online-фичей и исполнять множество моделей на транзакционном потоке в 25 тыс. операций/сек с жестки SLA < 50 мс.
- требовался уникальный набор компетенции из совершенно разных областей – BigData и Data Engineering, разработка высоконагруженных real-time систем, AI и Machine Learning и экспертизы по мошенничеству
- Описание проекта
-
AI Ядро Антифрода – это «мозг» системы фрод-мониторинга, который осуществляет оценку риска всех операций. На основании этой оценки риска принимается решение о разрешении или приостановке операции.
Первоначально в качестве AI Ядра использовалось решение вендора, но с течением времени росла зависимость от вендора, а сложность и стоимость развития системы значительно возрастала.
Было принято решение реализовать собственное AI Ядро и контур исполнения моделей, которые бы позволили превзойти в качестве решение вендора и сделать решение более гибким и независимым от вендоров.
В проекте можно выделить 3 ключевых компонента, решающих поставленную задачу:
I. комплекс из 20+ разработанных и внедренных AI-моделей, осуществляющих всестороннюю оценку риска операций (real-time модели скоринга транзакций, графовые модели, гео-модели и пр.)
для создания и обеспечения работоспособности AI-моделей реализовано 2 других ключевых компонента AI Ядра:
II. «Feature Store» отвечает за расчет и поставку высококачественных offline-фичей произвольный глубины для AI-моделей; базируется на BigData стэке.
В настоящее время содержит более 150+ витрин с 2000+ фичами по 30+ источникам
Также его данные используются при разработке и обучении AI-моделей.
III. «Дополнительная обработка» отвечает за расчет online-фичей, объединение их с offline-фичами и обогащение ими транзакции,
Отвечает за вызов и исполнение real-time моделей с SLA < 50 мс.
Включает подсистему мониторинга качества и стабильности работы моделей и возможности проведения параллельного тестирования нескольких версий моделей (A/B тестирование)
За счет спроектированной на начальном этапе архитектуры и модели данных, разработанные инструменты естественным образом интегрированы между собой.
Также они предоставляют гибкие end-to-end инструменты для Data Scientist и Data Analyst, которые позволяют без доработок системы/привлечения разработки:
· создать новые признаки/ проверить гипотезу на исторических данных/обучить модели за несколько часов/дней
· по результатам тестов перевести успешные в пром эксплуатацию за считанные часы
Более детальная информация по проекту представлена в презентации
- География проекта
- Основные участники команд, участвовавшие в реализации проекта, располагались в Москве, Казани, Рязани, Екатеринбурге
- Дополнительные презентации:
- Антифрод.AI Ядро.pdf