Разработка собственного антифрод решения QIWI Антифрод на базе технологии AI, BIG DATA, UBA

Заказчик
АО QIWI
Руководитель проекта со стороны заказчика
Год завершения проекта
2020
Сроки выполнения проекта
Декабрь, 2018 - Ноябрь, 2020
Масштаб проекта
9000 человеко-часов
Цели

Цель проекта – создать кастомное антифрод решение, которое будет оперативно обрабатывать большой поток входящей информации для обеспечения высокого уровня информационной безопасности и противодействия мошенничеству.

Сеть QIWI включает свыше 20,9 млн виртуальных кошельков и более чем 118 000 терминалов и точек приема платежей. Сервисы QIWI позволяют торговым компаниям и клиентам принимать платежи и совершать переводы наличными или в электронной форме на сумму свыше 116 млрд руб., объединяя более чем 32 млн клиентов, которые пользуются услугами сети не реже одного раза в месяц.

Существующие на рынке антифрод решения не справлялись со сценариями противодействия мошенничества в компании масштаба QIWI. Это связано с тем, что антифрод решения для классических банков не рассчитаны на проверку такого количества операций, как производится в QIWI. И в определенный момент QIWI столкнулась с необходимостью построения принципиально новой системы противодействия мошенничеству, которая позволила бы использовать технологии big data и машинного обучения и системы анализа поведения пользователей (UBA) для принятия решения о легитимности транзакций в режиме реального времени.

Мы решили создать QIWI Антифрод, чтобы закрыть потребности в альтернативных способах выявления мошеннических потоков.

Уникальность проекта

При разработке перед нами стояла амбициозная задача: сделать систему удобной для специалистов, но с соблюдением жёстких SLA, применимых к платёжным сервисам. Система должна быть легко конфигурируема экспертами предметной области, обеспечивать максимальную гибкость для решения задач data analysis и при этом обрабатывать каждую транзакцию не более 1 секунды.

Уникальность решения также заключается в механике его работы.
Алгоритм отслеживает исторические потоки незаконных операций и формирует на их базе поведенческую модель, которая оценивает как сумму, потенциальное назначение, так и причастность к кластерам недобросовестных клиентов. Модель обогащается данными из внешних источников и позволяет обнаруживать потенциально "плохие" платежи с высокой точностью. При подозрении они попадают на дополнительную проверку для проведения как автоматизированного, так и ручного анализа. Это помогает выявлять и блокировать подозрительные операции эффективнее, чем раньше.
Использованное ПО

Для обеспечения отказоустойчивости и масштабируемости система работает в распределённом кластере kubernetes включающем три датацентра. Ядро системы взаимодействует с семейством микросервисов для адаптивного решения поставленных задач. Для обеспечения инфраструктуры используются apache kafka, cassandra и реляционные БД (в том числе Oracle).

Сложность реализации

В виду того, что на рынке не существует аналогов нам нужно было разработать систему с нуля. Основная сложность заключалась в том, что нам было необходимо в колоссальном количестве транзакций создать работающий алгоритм, который позволит с высокой точностью определять именно мошеннические транзакции, обрабатывая их не более чем за 1 секунду.

Также мы ставили для себя цель сделать user-friendly сервис, который одновременно с этим отвечает всем SLA, применимым к платежных сервисам.

А разработка этого уникального продукта велась силами сотрудников QIWI. В ней принимали участие 12 специалистов IT декартамента: 4 разработчика ядра системы, 4 разработчика, обеспечившие рабочее место оператора, и 4 сотрудника, отвечавшие за анализ данных и построение моделей. Дополнительно к работе привлекались аналитики Big Data и антифрода.

Описание проекта

Обеспечение высокого уровня информационной безопасности и противодействие мошенничеству - одни из ключевых задач для любой финансовой организации. Безопасность для нее крайне важна, потому что любой бизнес - и QIWI не исключение - не может позволить себе проявить безответственность в отношении данных его пользователей. Кроме того, чем лучше, популярнее и удобнее для пользователя ваш продукт - тем, к сожалению, он более привлекателен для недобросовестных клиентов.

Для обеспечения безопасности финансовых операций QIWI использовала различные продукты - в частности, IBM Safer Payments, но ни один из них не имел требуемых технологических возможностей для предотвращения подозрительных транзакций в режиме реального времени, отвечающих потребностям нашего бизнеса.

Поэтому в определенный момент QIWI столкнулась с необходимостью построения принципиально новой системы противодействия мошенничеству, которая позволила бы использовать технологии big data и машинного обучения и системы анализа поведения пользователей (UBA) для принятия решения о легитимности транзакций в режиме реального времени. Аналогов продукта на рынке, подходящего QIWI, компания не увидела, поэтому приняла решение разработать его самостоятельно.

Решение QIWI основано не на транзакционном анализе, а на анализе поведения пользователей с применением технологий искусственного интеллекта.

При разработке системы применялся принцип обеспечения максимальной гибкости и вариативности полученного решения. Кроме того, сама задача обработки транзакционных данных подразумевает необходимость высокой производительности системы. Разработанная система соответствует поставленным задачам и обеспечивает следующие ключевые характеристики:

Масштабируемость. В рамках продукта реализована возможность развертывания системы в кластерах kubernetes с обеспечением автоматического масштабирования при увеличении нагрузки. Такой подход позволяет обрабатывать практически любые разумные потоки транзакций, сохраняя перцентиль 99.5 на уровне 50 миллисекунд;

Отказоустойчивость. Система показала надежную работоспособность в условиях распределенных и множественных кластеров развёртывания, обеспечивая обработку свыше 99.9% транзакций в соответствии с заданным SLA;

Высокая производительность. Система обеспечивает время обработки транзакции от 5 миллисекунд, до 94 миллисекунд на перцинтиле 99.9;

Высокая скорость применения изменений. Измененные правила анализа в течении минуты распределяются по всему ядру системы, не вызывая потери производительности в процессе обновления;

Гибкость описания правил анализа. Для анализа транзакций используются правила, записанные на скриптовом языке. Сотрудники, не являющиеся программистами, осваивают разработку правил достаточно быстро;

Гибкость конфигурации и расширения. Модульность системы позволяет оперативно подключать к ней различные процессинги, в том числе учитывать при обработке транзакций агрегированные данные от других процессингов.

Единый антифрод-комплекс. Функционал системы позволяет интегрироваться "поверх" существующих решений, расширяя их функциональность, а также объединять множественные системы антифрода в единый комплекс.

В рамках системы применяются технологические алгоритмы, которые позволяют с помощью технологий искусственного интеллекта обрабатывать массив данных, - поэтому искусственный интеллект влияет на оптимизацию самого расчета.

Для расчета и выявления подозрительных операций применяются алгоритмы и графовая нейронная сеть, которая позволяет уменьшить объем требуемых вычисляемых данных. Любая пользовательская активность представляется в виде графов, которые подаются на вход графовой нейронной сети. В результате образуются пользовательские кластеры, внутри которых видна любая мошенническая активность.

Графовая нейронная сеть дает готовый ответ, который обрабатывается в режиме реального времени. Это одно из ключевых преимуществ продукта: с момента поступления запроса до момента принятия по нему решения проходят считанные миллисекунды.

В результате тестирования и моделирования работы алгоритма QIWI увидела, что он крайне эффективно блокирует проведение подозрительных платежей.

Основными показателями эффективности использования алгоритма выявления подозрительных операций с момента его внедрения в декабре 2019 года QIWI считает следующие:

● Снижение количества подозрительных операций в системе;

● Проактивная защита клиентов от совершения платежей в пользу недобросовестных поставщиков услуг;

● Уменьшение популярности QIWI Кошелька среди пользователей скрытых сетей - “даркнета”.

Публикации о продукте в СМИ

https://ria.ru/20191225/1562833724.html

https://news.rambler.ru/other/43413677-qiwi-vnedrila-novyy-algoritm-vyyavleniya-podozritelnyh-operat...

https://kod.ru/qiwi-novyi-algoritm-na-baze-ai/

География проекта
Россия, СНГ

На текущий момент продукт используется только QIWI, но обладает потенциалом внешнего использования - поэтому представители других компаний могут обратиться к QIWI за дистрибуцией.


Дополнительные презентации:




Коментарии: 3
  • Дарий Климов
    Рейтинг: 72
    Центр ПМ, ООО
    Директор по развитию сети салонов «Eyes-N-Lips»
    18.11.2020 22:43

    Интересное и масштабное решение. Кирилл, скажите, уже есть какие-то цифры? Насколько эффективна Ваша разработка?

  • Георгий Головчинер
    Рейтинг: 33
    СМП Банк, ОАО
    Главный архитектор
    30.12.2020 16:16

    Скажите, пожалуйста, какие из антифрод-систем, представленные на рынке рассматривались и как оценивалась их производительность?

    А еще, если можно, расскажите более подробно с помощью каких инструментов реализовывались "технологии big data и машинного обучения и системы анализа поведения пользователей "?

  • Максим Часовиков
    Рейтинг: 1020
    МГУ имени М.В.Ломоносова, Центр цифровой экономики
    Заместитель руководителя службы управления проектами
    05.01.2021 22:29

    Интересный проект но особый интерес вызывают как раз модели поведения фрод-нарушителей и маркеры из поведения. По результатам проекта будут ли дорабатываться такие модели и маркеры фрод-поведения. Насколько улучшилось предсказания выявления фрод-поведения? Какими сресдтвами машинного обучения вы воспользовались в рамках этого проекта?

Год
Предметная область
Отрасль
Управление