Проектирование и развертывание Системы управления данными Счетной палаты Российской Федерации

• Создание единой точки входа в ландшафт данных, с которыми работает Счетная палата Российской Федерации;
• Ускорение процесса подготовки необходимых данных для контрольных и экспертно-аналитических мероприятий (КМ и ЭАМ);
• Прозрачная инвентаризация источников данных, наборов данных, витрин данных и терминов, их каталогизация, учет ресурсов на управление ими при проведении КМ и ЭАМ;
• Возможность формирования отраслевых комплексных карт данных;
• Автоматизация проведения проверок качества данных и их масштабирование под различные атрибуты данных;
• Обеспечение непрерывного контроля качества данных;
• Нормализация наборов данных и выявление дополнительных возможностей по обогащению наборов данных;
• Построение верифицированных витрин данных;
• Повышение качества государственных данных с помощью регулярной отправки автоматического сводного протокола проверки качества владельцам данных.

Платформа Юнидата (модули: Руководство данными и Управление качеством данных)

1. Адаптация платформенного бизнес-решения под специфику аудита государственного управления.
2. Разработка логической модели данных, удовлетворяющей требованиям операционной и стратегической моделей деятельности Счетной палаты Российской Федерации.
3. Интеграция большого количества потоков данных с Системой управления данными.
4. Разработка адаптивных бизнес-процессов, позволяющих плавно перейти на промышленную эксплуатацию СУД (13 бизнес-процессов).
5. Проработка стандартизированных форм загрузки при переходе от ручного формата ведения реестров (наполнение СУД операционными данными) к автоматическому.
6. Унификация требований к проверкам различных атрибутов в наборах данных, в т .ч. масштабирование правил качества.

Стратегия развития Счетной палаты Российской Федерации на 2018-2024 годы определяет приоритетные направления развития для реализации новых задач с учетом цифровизации информационного обеспечения деятельности Счетной палаты по осуществлению внешнего государственного аудита (контроля) на новом качественном уровне, где особо выделена задача создания цифровой инфраструктуры для поддержки аудита и аналитической деятельности.

В основе Системы управления данными лежат два модуля: Руководство данными (РД) и Управление качеством данных (УКД).

Система управления данными позволяет сократить трудоемкость проведения КМ и ЭАМ и повысить их качество за счет прозрачности управления инфраструктурой данных.

Являясь центральным звеном формирования и адаптирования ИТ-инфраструктуры по сбору и обработки больших объемов данных, СУД позволяет целенаправленно запускать дальнейшие трансформационные цепочки на базе накопленных знаний по механике данных.

Одной из основных отправных точек по работе с СУД является процесс инициирования разработки карты данных на основе Плана работы Счетной палаты РФ на отчетный год. В рамках этого процесса формируется запрос на конфигурацию и функциональность карты данных. Другой, не менее важный этап заключается в разработке карты данных с процессом подключения к источнику данных. В момент формирования перечня необходимых источников происходит верификация доступных к использованию информационных ресурсов и статуса доступа к ним (ручная выгрузка или интеграция). Для предотвращения простоя при обнаружении проблем с подключением к требуемому источнику данных автоматически запускается этап проработки Соглашения об информационном взаимодействии с Источником (обладателем) данных и Регламента взаимодействия (технический аспект).

Загрузка набора данных происходит в несколько итераций:

• первоначально исходный набор данных загружается в файловое хранилище (для сохранения первоначальной версии перед дальнейшей обработкой данных);
• после прохождения каталогизации внутренними сервисам Счетной палаты РФ происходит перенос набора данных в Озеро данных с привязкой к соответствующей схеме хранения;
• при больших объемах данных производится расширение возможностей хранения за счет подключения мощностей кластера Hadoop.

После проведения каталогизации набора данных происходит обмен следующими метаданными с СУД:

• описание базы хранения;
• полный путь хранения;
• структура набора данных;
• сопутствующие технические метаданные.

На основе полученной структуры по набору данных СУД реализует возможность разработки и прикрепления правил к конкретным атрибутам.

Процесс управления результатами проверок качества наборов данных представляет собой дерево решений, как инструмент поддержки принятия решений.

Потенциальные пользователи СУД — все сотрудники департаментов направлений аудита Счетной палаты Российской Федерации, выполняющие свои обязанности в процессе проведения КМ и ЭАМ. Поскольку Счетная палата — федеральное ведомство, и работает со всеми субъектами Российской Федерации, данный проект охватывает всю страну. Витрины данных и аналитические инструменты Системы управления данными Счетной палаты могут быть оперативно развернуты в любом субъекте Российской Федерации, в котором сотрудники Счетной палаты проводят контрольные и экспертно-аналитические мероприятия.