Создание централизованной системы сбора, обработки, хранения и распространения статистических данных

Заказчик:: Федеральная служба государственной статистики (Росстат)
Руководитель проекта со стороны заказчика: Михаил Бурдаков

Начальник управления информационных ресурсов и технологий
Поставщик: ЗАО «КРОК инкорпорейтед»
Год завершения проекта: 2018
Сроки выполнения проекта: Декабрь, 2014 — Сентябрь, 2018
Масштаб проекта: 400000 человеко-часов
8000 автоматизированных рабочих мест
Цели: 1) Повышение согласованности выходных данных, получаемых в процессе обработки форм регулярных статистических наблюдений.
2) Повышение скорости реакции процесса сбора и обработки данных регулярных статистические наблюдений на изменения в методологии.
3) Получение воспроизводимого процесса формирования выходных данных на основе первичных.
4) Повышение управляемости и прозрачности процесса сбора и обработки статистических данных.
5) Приведение к единой нормативно-справочной информации (НСИ) задач регулярных статистических наблюдений.
6) Централизация обработки данных.
7) Организация централизованного хранения первичных данных работ производственного плана.

Уникальность проекта

Производственный план Росстата насчитывает большое количество работ, выполнение которых, с учетом разницы часовых поясов в России, должно проводится круглосуточно. Процесс сбора, обработки, и предоставление статистической информации в Правительство и другим пользователям не должно было прерываться.

В короткие сроки выполнена задача проектирования и реализации систем. В условиях оперативного сбора и обработки статистической информации произведен бесшовный переход на новую систему без остановки производственного процесса.

Кроме того, при переходе на новую централизованную Систему выполнялась задача по изменению методологии расчета статистических данных, связанной с переходом на новые версии общероссийского классификатора видов экономической деятельности (ОКВЭД 2) и общероссийского классификатора продукции по видам экономической деятельности (ОКПД 2). Методология стала сложнее, но в тоже время более совершенной, отвечающей современным требования государственной статистики.

Была выполнена задача по обеспечению «прозрачности» расчета данных. Теперь любую полученную цифру можно быстро проверить и проследить её путь от сбора первичных данных до рассчитанных и опубликованных показателей.
Одновременно с внедрением системы происходило изменение организационно-штатной структуры Росстата. Укрупнялись и сливались территориальные органы Росстата, передавались и перераспределялись их полномочия и зоны ответственности.

Также уникальным является масштаб проекта: количество зарегистрированных пользователей – 8092. Более 200 специалистов КРОК участвовали в разработке. Охвачено 85 ТОГС, более 2000 РОГС.

Использованное ПО: Сервер приложений Microsoft Internet Information Services, входящий в поставку ОС Microsoft Windows Server, в качестве среды для исполнения web-приложений
ОС Windows Server для узлов серверов приложений, СУБД и модуля первичной обработки отчетов
ОС SuSE Linux Enterprise Server для узлов модуля кеширования и программных балансировщиков нагрузки
На уровне сервера функционирует web-сервер MS IIS и контент-сервер EMC Documentum 6.7 SP2.
Клиентский уровень состоит из web-приложения на HTML-5 и JavaScript.
Система индексирования и поиска Elasticsearch в качестве основы для модуля кеширования подсистемы хранения данных
В качестве базы данных для хранения информации была выбрана нереляционная база данных Cassandra.
Кластер Cassandra состоит из 33 серверов. Каждый сервер включает в себя 10 SSD-дисков, по 800 ГБ на каждом сервере.
В качестве базы данных для проведения выбран Oracle. Кластер Oracle состоит из 4 серверов, по 1024 ГБ оперативной памяти на каждом сервере.
Описание проекта: Росстат имеет трехуровневую организационную структуру, объединенную единой информационно-вычислительной системой (ИВС Росстата): 1. Федеральный уровень (ЦА и ГМЦ Росстата) осуществляет обработку данных федерального уровня; 2. Региональный уровень (Территориальные органы государственной статистики (ТОГС); 3. Районный уровень (районные и межрайонные отделы статистики (РОГС)). Ранее на каждом уровне организации имелись собственные объекты информационной вычислительной системы, контролировать которые было чрезвычайно сложно. Руководством Росстата был взят курс на проведение процесса централизации всей вычислительной сети. В ходе реализации проекта были созданы и модернизированы информационные системы, автоматизирующие процессы сбора, обработки и предоставления итоговых статистических данных: • Единая система сбора и обработки статистической информации ИВС Росстата (далее – ЕССО) в части электронного сбора - автоматизирует деятельность сотрудников Росстата, связанную с выполнением задач сбора от респондентов и обработки первичных статистических данных, предусмотренных федеральным планом статистических работ; • Система ведения нормативно-справочной информации (далее – НСИ) - предназначена для централизованного ведения, обработки и представления пользователям и смежным информационным системам нормативно-справочной информации. Это достигается путём формирования и ведения единой базы данных НСИ, обеспечения ее полноты, целостности и непротиворечивости. • Система подготовки электронных экономических описаний ИВС Росстата (далее – СПЭЭО) - позволяет осуществлять подготовку метаданных, описывающих федеральные статистические наблюдения в установленном формате, включая формализацию алгоритмов на каждом этапе обработки данных по формам федерального статистического наблюдения (далее – ФСН). • Централизованная система обработки данных ИВС Росстата (далее ЦСОД) - является наиболее массивным компонентом и по сути ядром вычислительной сети. ЦСОД предназначен для обработки данных регулярных статистических наблюдений. • Единое хранилище данных (далее – ЕХД) - является единым источником достоверной информации по всем собранным и рассчитанным статистическим показателям Росстата. ЕХД обеспечивает историческое хранение данных, расчёт расчётных статистических показателей, предоставление хранимых данных внешним системам для формирования отчётных форм . Одним из направлений модернизации было следование мировым тенденциям: - переход на технологии с открытым кодом - использование мировых технологий BigData. Сложная распределенная система, рассчитанная на хранение и обработку больших массивов данных. Хранилище системы построено на основе NoSQL-решения и может масштабироваться в очень широких пределах. - обеспечение работоспособности и отказоустойчивости программных комплексов - использование электронной подписи
География проекта: География проекта - вся Россия. Территориальные органы статистики: 85 подразделений. Районные органы статистики: более 2 000 подразделений. Центральный аппарат – город Москва.
Дополнительные презентации:: Презентация_о_проекте_Росстат_КРОК.pptx
Функциональная структура.jpg