Аналитическая платформа Puzzle Analytics

Заказчик

Сбер

ИТ-поставщик

Сбер

Сроки выполнения проекта

Февраль, 2021 - Декабрь, 2023

Масштаб проекта

20000 автоматизированных рабочих мест

Цели

Сегодня мошенничество в нашей стране приобретает масштабы национального бедствия – ежегодно это миллиардные потери граждан.

Проект – наш вклад в обеспечение социальной, экономической и государственной безопасности, в том числе с акцентом на социально незащищенные слои населения, за счет реализации элементов расширенной и предиктивной аналитики на базе эффективного использования больших массивов данных:

построить уникальную платформу расширенной риск-аналитики
реализовать инструменты проведения глубокого анализа попыток мошенничества в режиме реального времени на основе обработки больших массивов данных

Результаты

Проект способствовал переходу от стратегии «страхования риска» к стратегии «предотвращения»:

обеспечение взаимодействия между моноканальными системами и создание комплекса инструментов предиктивной аналитики;
оптимизация и повышение качества процессов, обеспечение устойчивой и эффективной работы по предотвращению попыток мошенничества.

Особо необходимо отметить социальный эффект: Платформа определяет категории наименее социально защищенных граждан на основе больших данных и позволяет выстраивать индивидуальные способы их защиты, строить с ними особенную коммуникацию.

Так же, социальные эффекты Проекта проявились с неожиданной стороны: за счет сокращения времени ответов на запросы правоохранительных органов, а так же проведения углубленной комплексной аналитики, было ликвидировано 55 преступных групп, задержано 365 кибермошенников, ликвидировано 37 групп-участников незаконного оборота наркотиков.

Уникальность проекта

За прошедший год в рамках Проекта удалось построить экосистему, основанную на современных ИТ-технологиях, лучших мировых и отечественных практиках, и объединившую в себе работу с большими данными, математическим моделированием и развитием AI. Фактически, в рамках Проекта был разработан единый контур современных решений по работе с данными:

20 ПБ ежедневная обработка данных;
300+ расчетов моделей и алгоритмов;
10+ млн. автоматизированных проверок и оценок ежедневно.

Опыт построения подобной экосистемы уникален, так как реализация инструментов расширенной аналитики в таком масштабе не имеет аналогов. Мы являемся владельцами экспертизы по разработке аналитических инструментов, предоставления конечным пользователям, а также их интеграции в эффективное взаимодействие с партнёрами и государственными институтами.

Проект стал платформой для масштабирования и внедрения риск-ориентированного подхода в разработке новых перспективных продуктов и услуг, соответствующей технологическим трендам.

Проект решает задачи импортозамещения

Да

Использованное ПО

Собственная разработка на базе Apache Hadoop – SDP Hadoop
Поисковая система Elasticsearch (open source)
СУБД Apache Cassandra (open source)
СУБД PostgreSQL (собственная разработка, SberEdition )
Графовая БД FastGraph (собственная разработка)
Графовый поисковый движок GraphSearchServise (собственная разработка)
Геоаналитическая система (собственная разработка)
Ядро дедупликации, как сервис создания единого объекта из разных систем-источников (собственная разработка)

Сложность реализации

Проект зарождался в условиях пандемии COVID-19, при которой на несколько месяцев 100% сотрудников были переведены на удаленную работу. Это потребовало от руководителей Проекта оперативно поменять устоявшиеся методы коммуникаций, переводя их в дистанционный режим, а также уделить особое внимание возможности оперативной замены участника Проекта при его заболевании.

В связи с тем, что Проект имеет обширную географию, важнейшее значение при внедрении элементов расширенной аналитики оказывал регулярный и масштабный сбор обратной связи от заинтересованных сторон и пользователей. По всем отклонениям проводился анализ с целью минимизации негативного эффекта и доработки функциональности аналитической платформы.

В связи с массовым уходом западных вендеров и технологий с рынка РФ в 2023 был проведен глобальный переход инфраструктуры на собственные решения (Sberbank Data Platform, Sber Linux, IAMProxy, Corax, PostgreSQL Sber Edition, SynGX)

Описание проекта

При разработке и внедрении аналитической платформы за основу был взят принцип выбора наилучшего возможного решения, реализующего целый комплекс мер по предотвращению попыток мошенничества.

В основу легло создание уникальной технологической платформы для целей реализации инструментов на основе обработки больших данных и их использования:

Обширный комплекс унифицированных технических решений по сбору, обработке и накоплению данных со сложной структурой;
Лаборатория данных, как исследовательский контур для работы с гипотезами, отладки скриптов, расчёта аналитических метрик, визуализация зависимостей больших данных и потоков их обработки на кластере.

Для обеспечения вычислительных мощностей, необходимых платформе, была подготовлена инфраструктура из 800 серверов, расположенных в самом современном data-центре в Сколково.

За прошедший год в рамках платформы были разработаны и внедрены элементы расширенной аналитики:

1. Интеграционные сервисы для внутренних и внешних бизнес-процессов, в рамках которых реализуются:

Расчеты наборов риск-метрик;
механизмы поддержания метрик в актуальном состоянии;
аналитические сценарии оценки и принятия решения на их основе;
алгоритмы выявления отклонений
онлайн-сервисы передачи данных

2. Аналитические инструменты:

Граф связей, обеспечивающий получение дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого.
Геосервисы, как инструменты работы с событиями и геоданными:

o отображение событий и геоданных на карте;

o построение связей между событиями в разрезе географического положения и временных интервалов;

o оценка и сравнение локаций;

o визуализация больших данных в виде тепловых карт;

o собственные технологии преобразований и конвертации геошейпов.

Инструменты выявления и анализа попыток мошенничества и иных отклонений, обработки внутренних событий, присвоения итоговых резолюций по результатам рассмотрения кейсов и выявления новых поведенческих схем.

3. Решения по автоматизации подготовки ответов на запросы правоохранительных органов.

4. Уникальная политика безопасности платформы, включающая в себя:

Сервис применения гранулированной ролевой модели ролевую модель;
Сервис контроля выгрузок;
Сервис мониторинга обращения к чувствительным данным.

На текущий момент Платформа обеспечивает:

сбор и хранение данных из различных аналитических систем и внешних источников;
создание и хранение моделей, алгоритмов, профилей и правил обработки собранных данных;
автоматический поиск и реагирование на подозрительные действия и отклонения;
проверку гипотез и создание новых инструментов предиктивной аналитики.

География проекта

Росссийская Федерация

Дополнительные презентации: