Создание и развитие Государственной информационной системы мониторинга в сфере межнациональных и межконфессиональных отношений и раннего предупреждения конфликтных ситуаций ФАДН России

Заказчик
Федеральное агентство по делам национальностей
Руководитель проекта со стороны заказчика
ИТ-поставщик
Севентек
Год завершения проекта
2020
Сроки выполнения проекта
Январь, 2016 - Ноябрь, 2020
Масштаб проекта
5000 автоматизированных рабочих мест
Цели

В целях реализации стратегии государственной национальной политики РФ до 2025 года, Федеральное агентство по делам национальностей (ФАДН РФ) совместно с Севентек разработало Систему мониторинга межнациональных и межконфессиональных отношений и раннего предупреждения конфликтов. Основные задачи, которые были поставлены перед Системой мониторинга ФАДН:

  • Наблюдение за состоянием межнациональных и межконфессиональных отношений и воздействующими на них факторами

  • Анализ общественно-политической ситуации, событий и проблем в субъектах РФ

  • Прогноз возникновения конфликтных ситуаций

  • Совершенствование координации государственных и муниципальных органов

  • Оценка эффективности реализации государственной национальной политики

Уникальность проекта

Сбор данных осуществляется из СМИ, блогов, соцсетей, а также профильных ведомств и министерств (например, Минюст, МВД, МЧС, ФМС и Росстат). Интеграция с системой мониторинга происходит через СМЭВ и интеграционные адаптеры.

В качестве индикаторов конфликтности выступают 28 параметров, поделенных на 8 категорий, таких как среда и ресурсы, демография и миграция, государство, экономика, культура, контакты, стереотипы и внешние условия.

Полученные параметры позволяют осуществлять:
  • Прогнозирование возникновения межнациональных и межэтнических конфликтов
  • Своевременное оповещение руководителей органов государственной власти, отвечающих за решение конфликтов
  • Интегральную оценку (рейтинг) конфликтности субъектов РФ
  • Оценку доступности социально-значимых объектов (медицинских организаций, органов социального обеспечения и т.п.) для населения региона
Использованное ПО

Ключевые компоненты, которые использовались в системе:

  • Операционная система CentOS7, построенная на базе открытого репозитория Red Hat Enterprise Linux (RHEL)

  • Основная база данных, отвечающая за хранение всей собранной информации. В качестве СУБД была выбрана PostgreSQL, как надёжная и масштабируемая БД, поддерживаемая большим сообществом российских разработчиков

  • Документно-ориентированная СУБД mongoDB, используемая для промежуточного хранения собираемых данных и их предварительного анализа

  • Нереляционная СУБД redis, используемая для хранения статистических показателей взаимодействия с внешними системами

  • В качестве гео-информацонной системы был выбран стек из веб-картографических карт OpenStreetMap, отрисовщика Mapnik и расширение для PostgreSQL для работы с географическими объектами PostGIS.

  • Фреймворк Ruby on Rails, с высокой скоростью разработки для быстрого и удобного объектно-ориентированного программирования

  • Язык программирования Python, используемый системой мониторинга для сбора и анализа контента, с применением машинного обучения

  • Веб-серверы Nginx, Apache и Python Tornado

  • Для настройки и построения интерактивных аналитических отчетов используется гибкая и масштабируемая платформа бизнес-аналитики Pentaho BI

  • Для автоматизации бизнес-процессов внедрена BPM Camunda, включающая в себя надёжный инструментарий по моделированию и исполнению бизнес-процессов

  • Для реализации очереди сообщений и распределения очереди заданий используются RabbitMQ и Celery

Сложность реализации
Для функционирования такой сложной системы необходимо было обеспечить применение единой технической политики создания и функционирования системы. Также важно было обеспечить однократность ввода сведений, размещаемых в системе мониторинга и последующее их многократное использование. Помимо этого, необходимо было гарантировать персональную ответственность за полноту и достоверность данных, вводимых в систему. При проектировании системы, наша компания ориентировалась на преимущественно свободное программное обеспечение, с открытым исходным кодом, что существенно облегчало развитие и модернизацию системы.
Описание проекта

В результате была создана эффективная система, предоставляющая своевременную информацию о происходящих событиях и проблемах. Благодаря автоматическому определению параметров поступающих сообщений и группировки их по степени критичности, система осуществляет точную оценку состояния, тенденций развития и остроты региональных проблем.

Внедренные модели машинного обучения осуществляют оперативную группировку по новым ситуациям, автоматически самообучаются и уточняют параметры распознавания новых критических ситуаций.

Системы визуализации данных и принятия решений осуществляют наглядное представление информации с помощью картографических и инфографических инструментов. Система автоматически формирует аналитическую отчетность и поддерживает принятие управленческих решений статистической информацией и результатами мониторинговых исследований.

В системе реализован мощный и современный инструмент мониторинга экспертных мнений - “Экспертная панель”. Это инновационный модуль, который позволяет с легкостью создавать как простые, так и весьма сложные по структуре опросы, предоставлять к ним доступ тысячам экспертов в субъектах РФ, оперативно получать ответы и анализировать их средствами многомерного анализа данных. В настоящий момент, в экспертной панели ФАДН России зарегистрировано более 1500 региональных экспертов.

География проекта
Система функционирует во всех субъектах РФ и девяти часовых поясах
Дополнительные презентации:
FADN_Report_Конкурс_Проект_года.pdf
Коментарии: 2
  • Андрей Лабутин
    Рейтинг: 79
    ЗиД, ОАО
    Начальник отдела ИТ
    26.11.2020 09:52

    Добрый день, Александр.

    Проделана огромная, просто титаническая работа. Я искренне рад за то, что в России есть такие проекты!!!

    НО...

    nltk для NLP под русский язык? Да, он имеет поддержку русского языка, но даже на уровне токенизации уже показывает нехорошие результаты, да и справочник bad слов крайне слабый.

    Насколько она дорабатывалась у Вас или применяли ещё что-то?

    Просто заявленная функциональность реально впечатляет, но применяемые инструменты именно для анализа - удивляют.

    Какой алгоритм ИИ используется для классификации текстов? Каков был объем обучающей выборки? Чтобы закрыть вопросы по качеству nltk нужна очень большая выборка, и очень хорошо первично размеченная. Сколько человек на постоянной поддержке системы в актуальном состоянии именно по данным и модели?

    Какова частота пере(до)обучения? Каково качество модели?

    Справочники по NER сущностям являются общедоступными?

    Разметка текстов на "Время" - указано у Вас в презентации. Подскажите - насколько качественно реализовано, просто пока нет качественной реализации выделения временных сущностей, написанных текстом, из сырого текста на русском языке ни у Гугла, ни у Яндекса - у Вас заявлена.

    Но в любом случае - лично я очень впечатлён!

  • Максим Часовиков
    Рейтинг: 1020
    МГУ имени М.В.Ломоносова, Центр цифровой экономики
    Заместитель руководителя службы управления проектами
    06.01.2021 03:11

    Интересный проект, аналогичные или похожие вещи делает и Ашманов. В рамках данного проекта инетерсны именно модельные вещи и опсание моделей поведения. Каким образом эти модели отбирались, совершенствовались? Как осуществляется сбор информации из соцсетей? Планируется ли создавать иные модели поведения пользователей в социальных сетях?

Год
Предметная область
Отрасль
Управление