Внедрение Lakehouse-платформы Data Ocean Nova в Альфа-Банк

Импортозамещение старой big data на базе сборки Clouder-a

2025

В среднем поток изменений данных, загружаемых в Lakehouse, после внедрения Data Ocean Nova составляет 7 000 RPS Upsert операций с продолжительными пиковыми значениями до 15 000 RPS. Больше 200 таблиц загружаются онлайн в режиме Upsert. На данный момент в системе суммарно ~600 Тб сжатых полезных данных в S3. Текущие мощности решения рассчитаны на хранение 2,4 Пб данных в сжатом виде, и с учетом планов 2025-2026 года по миграции Hadoop кластеров и Oracle Exadata в Data Ocean Nova планируется расширение до 6 Пб в течение полутора лет. Производительность объектного хранилища S3 в настоящий момент составляет 45/70 (Put/Get) гигабайт/с, что позволяет обеспечить все бизнес требования большого количества пользователей и сервисов. Объектное хранилище развернуто в отказоустойчивой геораспределенной конфигурации.

Решение Data Ocean Nova – первая российская Lakehouse-платформа данных нового поколения, представленная отечественным вендором Data Sapience, доказав свою высокую эффективность, было внедрено в инфраструктуру Альфа-Банка на промышленной основе.

Data Ocean Nova – универсальная Lakehouse-платформа данных нового поколения, представленная вендором Data Sapience. Продукт решает комплексные задачи массивно-параллельной обработки данных. В том числе позволяет создавать и масштабировать оперативные слои данных в реальном времени, бесшовно работать с CRM- и ML-платформами, предоставлять федеративный доступ к базам данных и выступает в качестве виртуального хранилища. Поддерживает on-premise инсталляцию, частное облако и гибридный сценарий использования, а также Multi-tenant развертывание для создания изолированных сред на базе общей инфраструктуры.

В проекте не используются решения из каталога Global CIO

При выборе платформы данных Альфа-Банк руководствовался определенными требованиями. Решение должно поддерживать масштабирование оперативного слоя данных и предоставлять возможность изолирования ресурсов на регламентные процессы и аналитические задачи с поддержкой мультитенантности в одном кластере. Также платформа должна обладать инструментами разработки собственных приложений для работы с данными, иметь высокопроизводительный и высококонкурентный MPP-движок для SQL ELT, решать задачи DWH и Data Lake одновременно. Обновление всех компонент должны быть независимым. Решение должно разворачиваться в окружении Kubernetes, обладать высокой отказоустойчивостью и возможностью гетерогенной работы из коробки. Важным также являлось следование современной архитектурной парадигме разделения compute и storage слоев. Lakehouse-платформа Data Ocean Nova обладает всеми перечисленными требованиями, поэтому выбор банка остановился на ней.

Начиная с 2023 года Альфа Банк пилотировал и искал платформу больших данных для импортозамещения старой big data на базе сборки Clouder-a. В 2025 г. решение Data Ocean Nova – первая российская Lakehouse-платформа данных нового поколения, представленная отечественным вендором Data Sapience, доказав свою высокую эффективность, было внедрено в инфраструктуру Альфа-Банка на промышленной основе. Среди предпосылок для интеграции можно выделить: потребность в загрузке данных и формирование отчетов в режиме NRT, а также накапливать историю изменений состояния источников при условии, что источники данных нельзя нагружать.

Только РФ