Быстрое внедрение корпоративного хранилища данных с окупаемостью за год

1. Построение современного корпоративного хранилища данных (DWH), хранения и анализа бизнес-данных.

2. Создание единой платформы для сквозной аналитики и поддержки управленческих решений во всех ключевых бизнес-направлениях компании.

3. Повышение скорости формирования аналитической отчетности, автоматизация витрин данных для ключевых направлений: продажи, запасы, логистика, маркетинг, финансы, клиентский сервис.

4. Реализация инновационной потоковой архитектуры для перехода от пакетной к стриминговой передачи информации с целью снижения нагрузки на системы-источники.

5. Оптимизация бизнес-процессов и повышение эффективности работы бизнес-подразделений за счет внедрения data driven культуры и инструментов аналитики.

6. Исключение дублирования разработки и достижение «единой правды» в расчетах.

7. Сокращение затрат IT на поддержку устаревшего решения.

8. Исключить ограничения текущей системы в масштабируемости, стабильности и стоимости обслуживания, а также снижая затраты времени и ресурсов на его поддержку.

• Снижение затрат аналитики в компании за счёт единых расчетных витрин

• Повышение эффективности IT специалистов за счёт снижения затрат на преодоление технического долга и затрат на поддержку устаревшего решения.

• Повышение эффективности управления бизнес процессами за счет data driven решений.

• Снижение нагрузки на системы-источники.

• Повысили надежность и отказоустойчивость системы. Исключили критические сбои.

• Реализовали ежедневный расчет оплаты труда сотрудников склада, что позволило реализовать проект перевода сотрудников на сдельную оплату труда. Эффект от реализации задачи окупает весь проект нового хранилища за 1 год.

Arenadata DB, Debezium, Kafka, PostgreSQL, Airflow, Power BI, Git, Arenadata Catalog.

• Реализация проекта без остановки доработок старого хранилища данных.

• Первый релиз, используемый бизнесом, был запущен через полгода с момента начала проекта, а сама разработка осуществлялась в фиксированные и сжатые сроки.

• Организация кросс-команды из внутренних и внешних сотрудников.

Проект Hoff Tech — это современное корпоративное хранилище данных (Data Warehouse, DWH), созданное для оптимизации бизнес-аналитики и управленческих решений в секторе ритейла.

Группа Arenadata — отечественный разработчик (Arenadata DB и Arenadata Catalog — российские программные продукты, включённые в единый реестр национального ПО).

В основе проекта лежит современный технологический стек, который обеспечивает масштабируемость, производительность и надёжность корпоративного хранилища данных Hoff Tech:

• Arenadata DB (ADB) — аналитическая распределённая MPP-СУБД, построенная на базе проекта с открытым исходным кодом Greengage /Greenplum. Применяется в критически важных системах, работающих с большими объёмами данных.

• Apache Kafka — система потоковой передачи данных, обеспечивающая обмен в режиме, близком к реальному времени, между системами и слоями хранилища.

• Apache Airflow — инструмент оркестрации ETL-процессов и управления зависимостями между задачами обработки данных.

• CI/CD DevOps-инфраструктура Hoff Tech — автоматизация развёртывания, тестирования и обновлений хранилища.

• Arenadata Catalog (ADС) — система управления корпоративными данными. Помогает организациям внедрять процессы Data Governance, объединяет каталог метаданных, бизнес-глоссарий и модуль контроля качества данных в едином интерфейсе.

Основные этапы:

• Предпроектное обследование и проектирование архитектуры — 3 месяца

Анализ текущего состояния DWH, определение целевой архитектуры, приоритетов и дорожной карты миграции.

• Разработка архитектуры и инфраструктуры хранилища — 2 месяца

Развёртывание Arenadata DB, настройка потоковой интеграции через Kafka, построение ETL-процессов в Airflow.

• Создание первых витрин и загрузка данных — 2 месяца

Интеграция с 3 основными системами-источниками, разработка 21 витрины данных, первичная миграция 276 объектов (STG) и 110 объектов (DDS).

• Бизнес-релиз и начало промышленного использования — через 3 месяца после старта. Реализовали расчёт сдельной оплаты труда сотрудников склада, вывели в Прод и подключили пользователей.

Импортозамещение — проект полностью основан на российских технологиях: Arenadata DB, НОРБИТ — российский интегратор.

Использование первых на рынке / пионерских технологий — одно из первых промышленных внедрений корпоративного DWH на Arenadata DB в российском ритейле, с интеграцией потоковой обработки данных (Kafka).

Разработка силами внутренней команды — архитектура и DevOps-процессы создавались силами внутренней команды Hoff Tech.

Реализация с внешним подрядчиком — ключевым партнёром выступила компания НОРБИТ, которая участвовала в проектировании и реализации.

Этот проект демонстрирует, что корпоративное хранилище данных может стать драйвером бизнес-эффективности, ускоряя принятие решений и совершенствуя клиентский опыт в ритейле.

Вся территория присутствия Hoff