Обновление DWH и импортозамещение ETL-инструмента на Luxms Data Boring в ритейле

Устранение сбоев в автоматизированных процессах обработки данных, как следствие – формирование точной информации по остаткам товара при отгрузке на точки продаж, а также отказоустойчивость системы согласно требованиям 2024 года.

На фасаде:

• Система работает в штатном режиме, ошибки потери пакетов ушли;

• Все розничные точки бесперебойно получают пополнение товара;

• Быстрые уведомления в чат повысили оперативность реагирования на нештатные ситуации;

• Отечественная разработка соответствует программе импортозамещения;

• Команда заказчика обрела новый ETL-инструмент, в котором также научилась работать и далее поддерживать самостоятельно.

Под капотом:

• Мастер и Стендбай мастер-сервера на виртуальных хостах разных физических гипервизоров. Быстрое восстановление сервисов PXF и ETL. Бэкап системой Veeam;

• Два сегмент-хоста на идентичных железных серверах HP дают высокую производительность и отказоустойчивость;

• Два массива RAID10, состоящих из HDD дисков (тёплые данные) и SSD дисков (горячие данные), обеспечивают надёжность и распределение по востребованности;

• Зеркалирование сегмент-хостов в режиме группы (group mirroring) позволяет бесшовно перестраивать работу системы онлайн при потере одного из серверов.

• СУБД Greenplum, которую нужно было обновить до v 6.23.3.

• Прочие источники: PostgreSQL, Oracle, MySQL, MSSQL, MS Excel, csv и пр.

• RockyLinux 8.8

• Luxms Data Boring версии 10.0.0

• Системы, включенные в обмен данными – ERP, 1С, Кассовая система, Лояльность, Смартпик и другие

1. Не плановый, а экстренный характер кейса: с каждым днем бизнес несет убытки и испытывает негатив. Решение этапа 1 нужно срочно!

2. Сложность тестирования обновлений состояла в невозможности подключить все источники данных и/или воспроизвести потоки в полном объеме на тестовом контуре.

В компании выявили проблему: с амортизацией оборудования и устареванием ПО процессы компиляции данных из множественных источников стали давать сбои. Как итог – складские точки получали неточную информацию по остаткам и отгрузкам, соответственно, при формировании поставок на розничные точки могли не укомплектовать часть товара. Помимо этого, система имела низкую производительность, требовала большего ресурса системного администрирования, а отсутствие обновлений и нахождение на одном физическом сервере несло риски безопасности, полной остановки работы и потери данных.

Проект разбили на 3 этапа:

1. Экстренный апгрейд железа, DWH и внедрение ETL/ELT-инструмента для устранения боли заказчика;

2. Настройка кластера;

3. Миграция на новую ОС и вторая волна апгрейда ПО под последние версии.

В проекте в 3 этапа выполнялись следующие шаги:

• Обновление GP v 5.17 до v 6.23.3;

• Увеличение мощностей железа и переход на SSD-диски;

• Создание кластерной архитектуры мастер-слейв для поддержания отказоустойчивости;

• Миграция с CentOS 7 на RockyLinux 8;

• Миграция со StreamSets на Luxms Data Boring;

• Настройка процессов мониторинга средствами Luxms Data Boring.

Команда Luxms совместно с сотрудниками заказчика настроила мониторинг средствами Luxms Data Boring и отправку уведомлений в чат на телефон в случае возникновения нештатных ситуаций.

Проект реализовывался для розничной сети магазинов для красоты и ухода за собой, содержащей более 100 точек, расположенных в Екатеринбурге, Свердловской области, Тюменской области, Ханты-Мансийском автономном округе и Ямало-Ненецким автономном округе.