Релиз Arenadata Streaming: автобалансировка кластеров Kafka и экономия ресурсов CPU при передаче защищённых данных

5 августа 2025

Arenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включён новый компонент Kafka Cruise Control, предназначенный для оптимизации работы кластеров Kafka, а также NiFi Processor для Arenadata DB собственной разработки. Кроме того, Arenadata Streaming получил поддержку модуля kTLS, снижающего затраты ресурсов в режиме шифрования, совместимость с защищённой ОС Astra Linux 1.7 и обновление версий сервисов.

Kafka Cruise Control — инструмент для автоматического управления балансировкой рабочих нагрузок и масштабированием кластеров Kafka. Он позволяет перераспределять нагрузку и обеспечивать высокую доступность подключений для кластера ADS: Kafka в случае сбоя брокеров. Сервис упрощает управление крупными кластерами, снижая накладные расходы на их поддержку.

Александр Анисимов, технический руководитель продукта Arenadata Streaming: «Cruise Control ориентирован на крупные высоконагруженные кластеры Kafka в инфраструктуре, критичной к отказам. В таких инсталляциях важно свести к минимуму время простоя, автоматизировать динамическую балансировку, восстановление и управление ресурсами для непрерывной работы и высокой производительности».

В новой версии реализована интеграция Kafka с модулем kTLS в ядре Linux, который обеспечивает аппаратное ускорение для обработки шифрования TLS (Transport Layer Security). Поддержка kTLS в Arenadata Streaming позволяет снизить нагрузку на CPU при выполнении шифрования, тем самым повышая производительность системы и скорость передачи защищённых данных.

В дистрибутив Arenadata Streaming теперь включён NiFi ADB Processor, предназначенный для высокоскоростной параллельной записи данных из ADS: NiFi в Arenadata DB (ADB), распределённую аналитическую СУБД на базе технологий Greenplum.

Доработан также и Iceberg Sink Connector — инструмент для интеграции с Iceberg-таблицами, позволяющий записывать потоковые данные из Kafka в таблицы Iceberg без сложных ETL-процессов. В новой версии коннектора добавлена поддержка режима UPSERT, необходимого для реализации полноценного CDC, а также Kerberos-аутентификации на стороне Arenadata Hyperwave (ADH), гибридной платформы данных.

Начиная с версии 3.9.0.1.b1 Arenadata Streaming совместим с операционной системой Astra Linux 1.7 — сертифицированной ОС со встроенными верифицированными средствами защиты информации (СЗИ).

Полный список изменений версии Arenadata Streaming 3.9.0.1.b1 доступен по ссылке.

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления кластерами потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

− в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;

− в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;

− хранить потоки записей отказоустойчивым долговечным способом;

− разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.