Yandex Cloud поможет компаниям улучшить управление данными с помощью облачного сервиса Apache Airflow
Облачная платформа Yandex Cloud запустила управляемый сервис в облаке на базе open source технологии Apache Airflow. Он объединяет все этапы работы с данными на платформе в единый процесс. Теперь дата-инженеры и ML-специалисты смогут более гибко управлять различными операциями по обработке данных в облаке. Например, перемещать их по уровням в хранилище данных, собирать и преобразовывать витрины данных для аналитики и не только. Это позволит компаниям быстрее создавать дата-проекты в облаке — от корпоративных хранилищ данных до рекомендательных систем.
В Yandex Cloud Apache Airflow интегрирован с объектным хранилищем, управляемыми СУБД, BI-инструменты, сервисами машинного обучения облачной платформы. Также Apache Airflow работает с сервисом для обработки массивов данных Yandex Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. Кроме этого, доставка секретов в Apache Airflow через Yandex Lockbox позволяет упростить и сделать процесс управления данными более надёжным и безопасным.
“Развитие технологий для работы с данными в облаке — остается одним из наших главных приоритетов. Мы планомерно развиваем технологический стек в соответствии с запросами дата-инженеров, аналитиков, ML-специалистов. Управляемый Apache Airflow был одним из важных запросов пользователей платформы. Теперь координация разрозненных источников данных и сервисов в облаке станет удобнее”, — рассказал Григорий Атрепьев, директор по продуктам в Yandex Cloud.
Провайдер берет большую часть задач по развертыванию и поддержке технологии на себя. Специалистам будет проще организовать процесс обработки данных с помощью Airflow. Кроме этого, предоставление технологии в виде управляемого сервиса сократит вероятность отказов и сбоев при использовании технологии. Apache Airflow предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей платформы.
Airflow была разработана в 2014 году в компании Airbnb. Технология остается одним из самых популярных open source решений для оркестрации данных. Airflow использует язык Python для описания логики выполняемых операций с данными, что позволяет упростить разработку и тестирование с ее помощью.
