Распределённая СУБД для аналитической обработки больших объёмов данных X5 Retail Group

Х5 Retail Group — ведущая розничная мультиформатная компания — первой в российском ритейле стала использовать решение с открытым кодом для аналитической обработки больших объёмов данных Greenplum.

В ноябре 2017 года в X5 Retail Group были заложены основы для будущего технологического рывка. Главной целью для компании стало построение платформы, которая позволила бы собрать в одном месте все данные X5, структурировать и описать их, привязать к ним систему Data Governance, и с помощью этого инструмента начать менять культуру работы с данными внутри компании.

СУБД Arenadata DB (ADB)

Основная сложность была обусловлена тем, что технология Greenplum для X5 Retail Group была абсолютно новой технологией. Это потребовало в кратчайшие сроки вырастить экспертизу внутри компании, как по администрированию технологии, так и её эксплуатации, с чем команда успешно справилась. Изначально конфигурация кластера строилась на минимальном пуле вычислительных мощностей с учётом прогнозируемого профиля нагрузки с расчётом на дальнейший рост и корректировку. При увеличении кластера потребовались значительные ресурсы на изменение распределения сегментов, поскольку первоначальная зеркальная топология при различных сбоях негативно сказывалась на производительности кластера в целом. Так как в случае X5 кластер ADB работает в связке кластером Hadoop, то основные задачи были направлены на организацию этого взаимодействия в отношении бэкапирования, использования внешних объектов посредством PXF. Так же команда X5 Retail Group столкнулась с проблемой разграничения ресурсов кластера в отношении нагрузки на дисковой подсистеме, которая и в настоящий момент не теряет актуальности.

На Arenadata DB команда X5 Retail Group начала строить аналитический слой детальных данных с описанной моделью, бизнес-владельцами доменов, правильно привязанной Data Governance и Classic Data-Dictionary. В результате у ритейлера получился надёжный сервис, доступный любому аналитику компании, с помощью которого они могут принимать быстрые решения на основе Big Data. Более того, с помощью ADB X5 Retail Group планирует анализировать все основные домены данных в ритейле: товары, чеки, клиентов, контрагентов.

Используя Open Source решения, X5 Retail Group не ограничена в скорости развития, получая возможность не завязываться на вендорах, которые развиваются медленнее её потребностей. Другой важный момент заключается в том, что никто не хочет отдавать сторонним подрядчикам золото 21 века — данные, а вопрос сохранности и защищённости Big Data всегда стоит для ритейлера на первом месте.

Проект, развёрнутый Arenadata и X5 Retail Group, продолжает развиваться, и затрагивает не только Arenadata DB. Так, если у бизнеса появляется необходимость в новом инструменте, например, мониторинге запросов и отслеживании их выполнения, то представители X5 просто обсуждают с коллегами из Arenadata, когда он появится в road map.

Помимо построения самой технологии, команды X5 Retail Group и Arenadata проводят регулярные обмены опытом в рамках Wordshop, митапов, а также осуществляют совместные выступления на конференциях.