Система корпоративной бизнес-аналитики

Заказчик:: ГК ЛАМА
Руководитель проекта со стороны заказчика: Ринат Галимов

Начальник отдела разработки и внедрения программных средств
Поставщик: ГК ЛАМА
Год завершения проекта: 2018
Сроки выполнения проекта: Июль, 2017 — Июнь, 2018
Масштаб проекта: 1500 человеко-часов
100 автоматизированных рабочих мест
Цели: 1. Предоставление возможности анализа операционных данных компании.
2. Создание единого корпоративного хранилища данных, где информация из различных источников будет логически связана между собой.

Задачи:
   1. Реализация новой системы бизнес-аналитики взамен устаревшей, использовавшейся до этого.
   2. Обеспечение высокой скорости подготовки данных.
   3. Использование визуальных панелей.

Уникальность проекта

Была создана система способная обрабатывать большие объемы (одна из наших БД занимает более 5Тб) быстро, без ущерба для качества представленных в ней данных.

Так же важно то, что архитектура решения такая, что позволяет легко обогощать хранилище и OLAP-модель новыми типами информации.

Мы добились результата, когда мы можем предоставлять изменяющиеся данные в минимальной задержкой (10-15 минут), но не сделали этого, т.к. бизнесу это будет неудобно (специфика нашей розничной модели бизнес такова, что данные удобно получать утром и они не должны меняться до конца дня).

Кроме того следует отметить, что в данной системе активно используется факторный анализ, который позволяет не просто сообщить пользователю определенную информацию, а может объяснить - почему она именно такая (в случае отклонений) и, более того, предложить решения по исправлению ситуации.

Использованное ПО: Microsoft SQL Server Analysis Services - система бизнес-аналитики от Microsoft. Этот инструмент используется для подготовки кубов (OLAP-моделей).

Microsoft SQL Server Integration Services - пакет интеграционных сервисов, благодаря которым мы собираем данные из различных источников (базы данных, логи, xcl, excel и т.д.) и транслируем это в единое корпоративное хранилище данных (EDW).

Microsoft SQL Server Repoerion Services - решение, позволяющее формировать и наполнять отчетные формы данными из различных источников.

Microsoft SQL Server - система управления базами данных, в которой мы храним полученные нами данные.

Microsoft PowerBI - система визуального представления аналитических данных в удобном для пользователя виде, позволяющая проводить экспресс-анализ представленных данных.
Описание проекта: В ходе проекта требовалось создать систему бизнес-аналитики, которая бы удовлетворяла следующим критериям: * анализ на уровне знаний (система должна уметь преобразовывать исходные данные в информацию, а информацию - в знания, которые будут пригодны для непосредственного принятия управленческих решений). Более того, система должна предлагать решения менеджерам. * скорость (учитывая большой объем корпоративных данных, старая модель бизнес-аналитики изжила себя, т.к. не могла перерабатывать массивы данных, исчисляемые терабайтами). Требовалось реализовать систему, которая могла предоставить утром менеджеру всю полноту информации без задержек, причем скорость получения различных данных не должна затормаживать работу пользователей. * удобство работы (системы бизнес-аналитики развиваются, их возможности повышаются, в связи с этим требовалось представить информацию так, чтобы структура ее подачи была сразу интуитивно понятна и удобна для работы). * однозначность данных (данные в системе не должны по разному интерпретироваться различными подразделениями, все их должны видеть одинаково). Для обеспечения соответствия обозначенным критериям, реализация системы была выполнена следующим образом: * сначала был проведено анализ предметной области и предпроектное исследование. С каждым стейкхолдером было проведено интервьюирование по требуемому набору аналитической информации. Были изучены используемые другими компаниями модели (и инструменты) бизнес-аналитики. В результате было реализовано четкое видение требуемого конечного результата. * далее было спроектировано корпоративное хранилище. Архитектура была выполнена таким образом, чтобы хранилище могло содержать огромные массивы информации с требуемой степенью детализации, и обеспечивало высокую скорость доступа к данным. Так же оно было структурировано по аналитической модели (т.е. не всегда нормализованной), что обеспечиывает удоство потребления данных OLAP-моделью. Это был наиболее сложный этап проекта. При проектировании были использованы последние западные наработки (в частности Ральфа Кимбалла) по организации хранилища данных, которые позволили как сократить потенциальный размер хранилища, так и повысить скорость доступа к нему. * далее была реализована система наполнения хранилища. Были созданы интеграционные механизмы, поплняющие хранилище из совершенно различных источников данных: это как информационные системы (DAX, 1С), так и базы данных (SQL Server, PostgreSQL), файлы excel, логи приложений, web-сервисы наших и сторонних приложений и т.п. Здесь стоит отметить, что большое внимание уделялось скорости работы. В результате вся процедура по забору дневного набора данных занимает не более 2 часов. Это реализовано как за счет правильного использования инструментов, так и за счет использования определенных схем работы с данными (например, инкрементальная загрузка через механизмы СУБД). * далее на основе данных хранилища была реализована кубовая (OLAP) модель, которая содержала в себе все показатели, выявленные на первом этапе (предпроектного обследования). Благодаря правильной структуре данных скорость расчета модели и работы с ней оказались высокими. На этом этапе была реализована поддержка работы с аномалиями (т.е. схемы работы пользователей, когда мы вводим понятие нормальной работы системы, и пользователи работают только с теми данными, которые выбиваются из нормальной работы, т.е. с отклонениями (аномалиями). Это позволило повысить эффективность работы. * далее по выявленным на проедпроектном этапе потребностям были сформированы визуальные панели бизнес-анализа, которые представили пользовалям информацию в простом и, соответственно, понятном виде.
География проекта: Система используется внутри нашей компании, работающей в Томске и Северске. Пользуются системой около 100 человек ежедневно (половина использует статические отчеты, вторая половина - полнофункциональную аналитику). Система не имеет ограничений на географическое масштабирование