Переход с программного продукта Qlik Sense на российскую BI-систему нового поколения PIX BI в консалтинговой компании

Заказчик

ООО «Капитал сервис» (BIS)

Руководитель проекта со стороны заказчика

Денис Лямин

Генеральный директор

ИТ-поставщик

Первый БИТ

Год завершения проекта

2023

Сроки выполнения проекта

Апрель, 2023 - Июнь, 2023

Масштаб проекта

300 человеко-часов

Цели

1) Замена Qlik Sense на PIX BI без остановки деятельности компании
2) Автоматизировать систему обработки большого массива данных

Результаты

1. Осуществлён анализ текущих платформы Qlik Sense
2. Произведено настройка серверного и аппаратного обеспечения
3. Установлено Online хранилище данных Nextcloud
4. Разработан мини-сервис сканирования директории Nextcloud
5. Разработан универсальный скрипт для загрузки из Excel в базу банных Clickhouse
6. Установлена платформа PIX BI с настройкой модели данных
7. Произведено перенос дашбордов из Qlik Sense в платформу PIX BI.
8. Произведено обучение администратора системы и написание инструкций для пользователей
9. Произведена замена Qlik Sense на PIX BI без остановки деятельности компании
10. Получена возможность в оперативной загрузке большого массива данных

Уникальность проекта

Впервые произведена замена Qlik Sense на отечественную систему бизнес-анализа PIX BI без остановки деятельности компании. PIX BI выполняет аналитические запросы в режиме реального времени на структурированных больших данных. А для получения данных из формата Exсel применили PIX ETL. В итоге процесс загрузки и обработки данных ускорился в 2 раза.

Проект решает задачи импортозамещения

Да

Использованное ПО

1. Операционная система Linux
2. Cистема управления базами данных (СУБД) PostgreSQL
3. RadminVPN
4. Nextcloud
5. Clickhouse

Сложность реализации

Сложность заключалась в обработке большого объема данных компании «Капитал сервис», предпроектный анализ показал, что компания хранит более 1 млрд строк, а загрузка новых данных происходит раз в месяц одним файлом и занимает до двух часов.

Описание проекта

Проект разделили на несколько очередей:

1. Подготовка и установка серверного обеспечения
2. Приобретение основной поставки PIX BI и 4-х дополнительных лицензий
3. Развертывание системы Clickhouse
4. Написание микро-сервиса для загрузки данных из Excel
5. Написание универсального скрипта по обработке данных из Excel
6. Подготовка моделей данных
7. Перенос дашбордов из Qlik Sense в PIX BI

Первым шагом необходимо было на оборудовании заказчика подготовить серверное обеспечение, для этого требовалось произвести:

1. Проброс 80 и 443 порта на proxy-сервер под управлением windows
2. Установить гипервизорную OS Linux
3. Установить VMOS Linux для PIX BI и СУБД
4. Установить OpenSource приложения RadminVPN для создания закрытых сетей VPN
5. Настройка proxy для перенаправление входящего запроса на сервер с PIX BI
6. Настройка брандмауэра windows

Вторым шагом было подобрать оптимальный тариф PIX BI исходя из требований Заказчика – оптимальным вариантом стал тариф «Минимальный» 1 лицензия PRO и 4 лицензии Base.

Третьем шагом потребовалась настройка системы базы данных Clickhouse

Четвертым шагом произвели установка сервиса Nextcloud который использовали как хранилища данных загружаемых из Excel.

Пятым шагом написали на языке Python сканер который раз в минуту проверяет изменения в директории Nextcloud, куда пользователь загружает файлы с данными Excel.

Шестым шагом создали универсальный загрузчик на языке C#, который создает новую таблицу в базе данных Clickhouse в зависимости от имени файла, помещенного в директории Nextcloud. Структура таблицы основана на первой строке, первого листа Excel файла.

Седьмым шагом произвели настройку получения данных из Clickhouse в PIX BI, после чего произвели совместно с заказчиком модели данных для визуализации дашбордов

Завершающим шагом стало перенос дашбордов из Qlik Sense в платформу PIX BI.

Совместно с Заказчиком проведены работы по проверке функциональности мини-сервисов и скрипта загрузки данных. А также проведено обучение по пользованию данных сервисов и платформы PIX BI. Для самостоятельной работы с платформой заказчику предоставили следующие инструкции:

Инструкция, описывающая, порядок действий, при добавлении нового массива данных и новых столбцов в справочниках

Инструкция по обновлению платформы PIX BI.

После выполнения всех операций по переносу дашбордов из Qlik Sense в платформу PIX BI произведен тестовый период 10 рабочих дней, где сотрудниками зафиксированы новые пожелание к развитию системы. Эти требования по согласованию будут выделены в отдельную очередь после заключения договора сопровождения. Тестовые испытания закончились успехом, система передана в промышленную эксплуатацию.

География проекта

г. Барнаул