Судьба проекта: Цифровая платформа Счетной палаты РФ

Проект создания Цифровой платформы Счетной палаты Российской Федерации стал победителем в номинации «Госуправление/НКО» конкурса «Проект года» в прошлом году. Проект предназначен для обеспечения возможности работы с консолидированной и обработанной оцифрованной информацией об объектах проверки Счетной палаты в режиме «одного окна». О том, как платформа развивается сегодня, - комментарий Михаила Петрова, директора Департамента цифровой трансформации Счетной палаты РФ.

Этот проект был реализован в январе - декабре 2019 года, но он продолжает свое развитие и будет развиваться еще в течение нескольких ближайших лет. За это время мы перешли на другие форматы метаданных и хранения сырых данных. Создали систему документирования информации в Озере данных. Отказались от использования стандарта записи метаданных по модели RDF в пользу формата метаданных собственной разработки. Сырые данные в Hadoop решили хранить не в формате JSON, а в формате Apache Parquet — из-за большого объема JSON файлов и их медленной обработки.

Сейчас мы занимаемся отладкой проекта на источниках данных разных типов, развиваем технологию пополнения Озера данных из множества разноформатных источников.

Развертываем очень интересное решение – построитель витрин данных, который позволяет логически объединить различные источники данных, связать релевантные данные в них и тем самым обогатить данные, а затем сделать в удобном графическом интерфейсе выборку для аналитиков.

Кроме того, наша главная забота сейчас — повышение качества данных, наполняющих Озеро. Это очень сложная и по-настоящему творческая задача.

По большому счету, ничего бы особенно не меняли. Подрихтовали бы только отдельные детали, которые мы додумали и оттестировали в процессе практического использования Озера данных.