Создание платформы анализа данных с использованием DWH
- Заказчик:
- Мокка
- Руководитель проекта со стороны заказчика
- Поставщик
- Yandex Cloud
- Год завершения проекта
- 2023
- Сроки выполнения проекта
- Январь, 2022 - Ноябрь, 2023
- Масштаб проекта
- 15000000 абонентов
- Цели
Увеличение Data ROI в 3 раза, с 2 до 7, в период c 2022 по 2024 год за счёт быстрого Delivery и стабилизации сервисов (повышение ROI от Data-сервисов за счет снижения time2market, а также стабильных SLA и RTO).
- Результаты
Компания хотела увеличить ROI для того, чтобы эффективнее использовать и анализировать данные о клиентах для достижения бизнес-целей. В 2023 году в результате трансформации показатель вырос с 3% до 4,5%. А в ближайшее время его планируют поднять до 7%. При этом стандартное значение ROI в этом сегменте рынка составляет 11%.
На второй квартал 2023 года время с несоблюдением SLA сократилось в 6 раз, а RTO, или время восстановления после сбоя, уменьшилось с 24 до 4 часов.
Платформа обрабатывает примерно 10 ТБ данных, а с ростом бизнеса этот показатель будет только увеличиваться. При этом, работающие в режиме реального времени ML-модели обрабатывают данные за 2 секунды. Это позволяет принимать кредитное решение всего за 10-15 секунд.
Уникальность проекта
Трансформация дата-дирекции за счет новой Cloud Data Platform и повышение эффективнсти по метрике ROI в 3 раза. Повышение точности прогнозных моделей в Рисках и Маркетинге и стабильная работа операционно-аналитических процессов на базе новой Cloud Data Platform.
- Использованное ПО
- Yandex Managed Service for Kubernetes
Yandex Managed Service for Apache Kafka
Yandex Managed Service for MongoDB
Yandex Object Storage
Yandex Managed Service for Greenplum - Сложность реализации
1) Выбор поставщика инфраструктуры и программного обеспечения
2) Поддержка legacy дата-платформы
3) Баланс между quick wins и глобальной миграцией
4) Координация между другими отделами для перехода на kafka
- Описание проекта
Компания запланировала оптимизацию сервиса, которая с 2022 к 2024 году обеспечит увеличение Data ROI в 3 раза. Этот показатель необходим, чтобы оценить, насколько эффективно используются данные и как они способствуют достижению бизнес-целей. Например, анализ данных помогает определить, сможет ли клиент вовремя вносить платежи.
Для этого приняли решение о разработке платформы анализа данных с использованием DWH, способной хранить и обрабатывать большие объёмы данных и производить вычисления в режиме реального времени за счет использование ML моделей как сервис в Kubernetes.
Учитывая высокую нагрузку на сервис, такая платформа должна быть надёжной и быстро масштабироваться. В Мокка понимали, что команде лучше сосредоточиться на достижении бизнес-результатов, а обслуживание инфраструктуры передать на аутсорсинг.
- География проекта
- Вся Россия, так как 90% бизнеса компании сосредоточено в онлайне.