Переход с программного продукта Qlik Sense на российскую BI-систему нового поколения PIX BI в консалтинговой компании

Заказчик
ООО «Капитал сервис» (BIS)
Руководитель проекта со стороны заказчика
ИТ-поставщик
Первый БИТ
Год завершения проекта
2023
Сроки выполнения проекта
Апрель, 2023 - Июнь, 2023
Масштаб проекта
300 человеко-часов
Цели

1) Замена Qlik Sense на PIX BI без остановки деятельности компании
2) Автоматизировать систему обработки большого массива данных

Результаты

1. Осуществлён анализ текущих платформы Qlik Sense
2. Произведено настройка серверного и аппаратного обеспечения
3. Установлено Online хранилище данных Nextcloud
4. Разработан мини-сервис сканирования директории Nextcloud
5. Разработан универсальный скрипт для загрузки из Excel в базу банных Clickhouse
6. Установлена платформа PIX BI с настройкой модели данных
7. Произведено перенос дашбордов из Qlik Sense в платформу PIX BI.
8. Произведено обучение администратора системы и написание инструкций для пользователей
9. Произведена замена Qlik Sense на PIX BI без остановки деятельности компании
10. Получена возможность в оперативной загрузке большого массива данных

Уникальность проекта

Впервые произведена замена Qlik Sense на отечественную систему бизнес-анализа PIX BI без остановки деятельности компании. PIX BI выполняет аналитические запросы в режиме реального времени на структурированных больших данных. А для получения данных из формата Exсel применили PIX ETL. В итоге процесс загрузки и обработки данных ускорился в 2 раза.

Проект решает задачи импортозамещения
Да
Использованное ПО

1. Операционная система Linux
2. Cистема управления базами данных (СУБД) PostgreSQL
3. RadminVPN
4. Nextcloud
5. Clickhouse

Сложность реализации

Сложность заключалась в обработке большого объема данных компании «Капитал сервис», предпроектный анализ показал, что компания хранит более 1 млрд строк, а загрузка новых данных происходит раз в месяц одним файлом и занимает до двух часов.

Описание проекта

Проект разделили на несколько очередей:

1. Подготовка и установка серверного обеспечения
2. Приобретение основной поставки PIX BI и 4-х дополнительных лицензий
3. Развертывание системы Clickhouse
4. Написание микро-сервиса для загрузки данных из Excel
5. Написание универсального скрипта по обработке данных из Excel
6. Подготовка моделей данных
7. Перенос дашбордов из Qlik Sense в PIX BI

Первым шагом необходимо было на оборудовании заказчика подготовить серверное обеспечение, для этого требовалось произвести:

1. Проброс 80 и 443 порта на proxy-сервер под управлением windows
2. Установить гипервизорную OS Linux
3. Установить VMOS Linux для PIX BI и СУБД
4. Установить OpenSource приложения RadminVPN для создания закрытых сетей VPN
5. Настройка proxy для перенаправление входящего запроса на сервер с PIX BI
6. Настройка брандмауэра windows

Вторым шагом было подобрать оптимальный тариф PIX BI исходя из требований Заказчика – оптимальным вариантом стал тариф «Минимальный» 1 лицензия PRO и 4 лицензии Base.

Третьем шагом потребовалась настройка системы базы данных Clickhouse

Четвертым шагом произвели установка сервиса Nextcloud который использовали как хранилища данных загружаемых из Excel.

Пятым шагом написали на языке Python сканер который раз в минуту проверяет изменения в директории Nextcloud, куда пользователь загружает файлы с данными Excel.

Шестым шагом создали универсальный загрузчик на языке C#, который создает новую таблицу в базе данных Clickhouse в зависимости от имени файла, помещенного в директории Nextcloud. Структура таблицы основана на первой строке, первого листа Excel файла.

Седьмым шагом произвели настройку получения данных из Clickhouse в PIX BI, после чего произвели совместно с заказчиком модели данных для визуализации дашбордов

Завершающим шагом стало перенос дашбордов из Qlik Sense в платформу PIX BI.

Совместно с Заказчиком проведены работы по проверке функциональности мини-сервисов и скрипта загрузки данных. А также проведено обучение по пользованию данных сервисов и платформы PIX BI. Для самостоятельной работы с платформой заказчику предоставили следующие инструкции:

Инструкция, описывающая, порядок действий, при добавлении нового массива данных и новых столбцов в справочниках

Инструкция по обновлению платформы PIX BI.

После выполнения всех операций по переносу дашбордов из Qlik Sense в платформу PIX BI произведен тестовый период 10 рабочих дней, где сотрудниками зафиксированы новые пожелание к развитию системы. Эти требования по согласованию будут выделены в отдельную очередь после заключения договора сопровождения. Тестовые испытания закончились успехом, система передана в промышленную эксплуатацию.

География проекта
г. Барнаул
Коментарии: 4

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Александр Виноградов
    Рейтинг: 1035
    MSD (ГК ТРАДИЦИИ УСПЕХА)
    CDTO
    19.12.2023 13:26

    Добрый день. Скажите, в проекте считалась эффективность внедрения проекта или проект делался исходя из задачи импортзаместить зарубежное ПО без оценки ?

  • Александр Виноградов
    Рейтинг: 1035
    MSD (ГК ТРАДИЦИИ УСПЕХА)
    CDTO
    19.12.2023 13:27

    Чем было аргументирован выбор именно PIX решения ?

  • Максим Часовиков
    Рейтинг: 4767
    Центр цифровой экономики МГУ
    Ведущий специалист
    04.01.2024 23:17

    Добрый день, обычно под БигДатой подразумевается работа с разнородными неструктурированными, часто нетекстовыми и данными из разных источников и их обогащение. С какими источниками данных, прежде всего нетекстовых, осуществлялась работа в этом проекте?

  • Дмитрий Турчановский
    Рейтинг: 2527
    Зарубежнефть
    Заместитель начальника Управления информационных технологий
    06.01.2024 21:47

    Добрый день.
    Какую субд используете? Какие BI платформы рассматривали и почему выбрали решение PIX?

Год
Предметная область
Отрасль
Управление
Мы используем файлы cookie в аналитических целях и для того, чтобы обеспечить вам наилучшие впечатления от работы с нашим сайтом. Заходя на сайт, вы соглашаетесь с Политикой использования файлов cookie.