Сервис «Платформа данных»

Главная цель — создать единое надёжное пространство данных Транспортного комплекса Москвы, обеспечивающее прозрачный и управляемый жизненный цикл информации: от получения из источников до проверки качества, хранения и предоставления пользователям.

Проект решает задачу централизации информации и автоматизации её обработки и обмена между подразделениями Транспортного комплекса, органами власти и внешними участниками транспортной инфраструктуры. Проект направлен на сокращение времени на поиск и обработку данных, повышение их достоверности, снижение объёма ручных операций и обеспечение актуальной информации.

Ещё важная задача — создать технологическую основу для развития цифровых сервисов и аналитических инструментов. Консолидированные и проверенные данные позволяют анализировать транспортную ситуацию, оценивать последствия градостроительных изменений, выявлять проблемы и обосновывать управленческие решения, направленные на повышение эффективности и безопасности транспортной системы Москвы.

2026

«Платформа данных» объединила информацию из более чем 50 источников Транспортного комплекса Москвы. Объём хранилища превышает 500 ТБ, ежедневно в режиме онлайн обрабатывается свыше 600 млн записей, выполняется 23 тыс. проверок качества данных автоматически.

Результаты сервисов на базе платформы:

• «Качество данных в ИЦ»: автоматизирована ежедневная проверка тысяч таблиц. Объём данных, который ранее обрабатывали 5–7 человек, теперь обрабатывается автоматически.

• АИС «Мониторинг аварийности»: временные затраты на анализ ДТП сокращены в 2–3 раза, получение данных от Госавтоинспекции автоматизировано и переведено с ежемесячного на ежедневный режим. За два года устранено более 200 потенциальных мест концентрации ДТП.

• «Предмоделирование»: оценка транспортных эффектов от новой застройки выполняется за 2 минуты вместо недель ручных расчётов, объём ручного труда сокращён до 80%.

• «Космос»: платформа отправляет до 2 млн сообщений в месяц; 80% получателей оценивают качество информирования на 4–5 баллов.

Разработка архитектуры платформы на базе современных технологий

В «Платформе данных» Инновационного центра были применены технологии S3 storage, PostgreSQL, Apache Airflow, Apache Spark, Apache Kafka, Postrest, Java Script, Python, OpenMetadata

В проекте не используются решения из каталога Global CIO

Ключевая сложность проекта — объединение больших объёмов данных из более чем 50 разнородных источников в единую систему с гарантированным контролем качества и прозрачным жизненным циклом информации.

Потребовалось выстроить взаимодействие с владельцами данных, согласовать правила передачи информации, унифицировать форматы загрузки и разработать универсальные механизмы подключения источников с разными техническими особенностями.

Отдельной задачей стала автоматизация контроля качества: платформа должна выявлять отклонения от установленных требований и передавать результаты проверок ответственным сотрудникам. Для этого разработаны собственные инструменты контроля качества, логирования и документирования.

Также нужно было обеспечить управляемый доступ к данным для подразделений Транспортного комплекса Москвы и внешних участников обмена при постоянном росте объёмов информации. Поэтому проект — не разовое внедрение, а развивающаяся система.

Исходная ситуация

До создания «Платформы данных» подразделениям Транспортного комплекса Москвы приходилось тратить значительное время на получение информации из разных источников и ручную обработку данных. По мере роста объёмов информации усложнялись её проверка, согласование и использование в аналитике. Требовалось единое технологическое решение, которое обеспечивало бы надёжное хранение данных, контроль их качества и прозрачность всего жизненного цикла — от загрузки до предоставления пользователям.

Реализованное решение и особенности реализации

В 2017 году Инновационный центр «Безопасный транспорт» начал работу над созданием единого хранилища данных Транспортного комплекса Москвы. Первый релиз платформы состоялся 1 сентября 2024 года. Проект предусматривает автоматизированный сбор информации из более чем 50 источников, её обработку, проверку качества, хранение и предоставление пользователям.

Для реализации платформы разработана архитектура на базе S3 Storage, PostgreSQL, Apache Airflow, Apache Spark, Apache Kafka, Python и других технологий. Внедрены шесть каналов загрузки данных: через API, базы данных, пакетные и потоковые интеграции, электронную почту и ручной интерфейс. Реализованы автоматическая генерация API и витрин данных, формато-логический контроль, логирование действий пользователей и систем, автоматизированные проверки качества, каталог данных и механизмы согласования доступа. Также развивается система автоматического формирования технической и пользовательской документации.

Платформа стала технологической основой для цифровых сервисов Транспортного комплекса Москвы. На её базе работают сервисы «Качество данных в ИЦ», АИС «Мониторинг аварийности», «Предмоделирование», коммуникационная платформа «Космос» и «Экологическая карта». Кроме того, платформа является крупнейшим поставщиком данных в Цифровой двойник Москвы.

Изменения после внедрения

Вместо разрозненной работы с информацией пользователи получили единое пространство данных с автоматизированными механизмами загрузки, контроля качества и предоставления доступа. Обмен информацией стал более системным, сократился объём ручных операций, а аналитики получили возможность сосредоточиться на более сложных задачах. Проверенные данные используются для работы цифровых продуктов, анализа транспортной ситуации, оценки последствий градостроительных изменений и поддержки управленческих решений. Платформа продолжает развиваться и совершенствоваться в процессе эксплуатации.

Москва