Arenadata Streaming расширяет возможности управления кластерами потоковой передачи данных

18 июля 2024

Arenadata обновила продукт для потоковой обработки данных Arenadata Streaming (ADS) и дополняющую его систему ADS Control — решение для управления и мониторинга кластеров потоковой передачи. Релизы включают новые функциональные возможности, в том числе поддержку операционной системы Ubuntu 22.04.2 LTS, и доработки в части информационной безопасности.

В новой версии Arenadata Streaming реализована поддержка контроллера домена Samba DC. Он обеспечивает аутентификацию с использованием протокола Kerberos и LDAP и поддерживает интеграцию с существующей инфраструктурой Active Directory. Кроме того, в релизе обновлены процессы управления авторизацией пользователей с помощью Ranger и защитой канала по протоколу SSL. Доработки упрощают работу с ресурсами и правами доступа к ним в рамках принятой в организации политики безопасности.

Улучшено управление кластером Arenadata Streaming через интерфейс Arenadata Cluster Manager (ADCM): добавлена возможность выбора опций при запуске действий в кластере и сервисах. Кроме того, в интерфейсе ADCM появилось новое действие для ADS — Restart, которое осуществляет остановку и последующий запуск всех сервисов кластера.

Сервис NiFi в составе продукта обновлён до версии 1.23.2, включающей дополнительный функционал процессоров и устранение известных ошибок.

ADS Control поддерживает управление несколькими кластерами ADS, в которых установлены сервисы Kafka и Kafka Connect, через графический веб-интерфейс. Новый релиз включает функциональность просмотра кластера и брокера, а также управления топиками Kafka: просмотр информации, создание, удаление и редактирование.

«ADS Control объединит основные функции Apache Kafka в удобный пользовательский интерфейс, который даст контроль над вашими потоками данных, позволит отслеживать ключевые показатели кластеров, быстрее находить и устранять ошибки», — комментирует Александр Анисимов, технический руководитель продукта Arenadata Streaming.

ADS Control развивается с учётом требований служб безопасности корпоративных заказчиков. В релиз включена возможность работы с защищёнными посредством SSL и Kerberos кластерами Kafka.

По ссылкам можно ознакомиться с полным списком изменений версий Arenadata Streaming 3.3.2.2.b1 и ADS Control 2.2.0.b1.

Возможности Arenadata Streaming

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

в реальном времени строить потоковые конвейеры данных, надёжно передающие данные между системами или приложениями;
в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
хранить потоки записей отказоустойчивым долговечным способом;
разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.