Интеллектуальная система мониторинга вовлеченности студентов на основе анализа видеопотоков из аудиторий​

Заказчик
Финансовый университет при Правительстве Российской Федерации
Руководитель проекта со стороны заказчика
ИТ-поставщик
Microsoft, Департамент анализа данных, принятия решений и финансовых технологий Финуниверситета, Zerobit
Год завершения проекта
2018
Сроки выполнения проекта
Октябрь, 2017 — Декабрь, 2018
Масштаб проекта
3000 человеко-часов
200 автоматизированных рабочих мест
Цели

Облачный сервис мониторинга вовлеченности студентов на основании анализа видеопотоков с камер, размещенных в аудиториях, и визуализации данных позволяет администрации университета оперативно получать данные о динамике изменения вовлеченности групп студентов, сравнивать вовлеченность различных групп, курсов, факультетов, анализировать динамику вовлеченности в ходе семестра, находить проблемные места и оперативно реагировать.

Видеокамеры с заданной периодичностью фиксируют происходящее в аудиториях и передают изображения в облако Microsoft Azure, где с помощью модели машинного обучения определяется, насколько студенты сосредоточенны и насколько им интересны занятия, которые они посещают. Далее результаты в реальном времени отображаются на интерактивной панели мониторинга.

Уникальность проекта

В мире существуют системы, позволяющие анализировать индивидуальную вовлеченность студента на основании видеопотока с камеры компьютера.

В отличие от таких систем наша разработка представляет собой облачный сервис, который может быть использован для мониторинга вовлеченности сколь угодно больших групп студентов в масштабах любых учебных заведений. Результаты проекта демонстрируют достаточную степень его адекватности при использовании как администрацией образовательных организаций, так и преподавателями.

Разработанный облачный сервис мониторинга вовлеченности студентов на основании анализа видеопотоков с камер, размещенных в аудиториях, и агрегации данных на интерактивных панелях визуализации позволяет администрации учебного заведения оперативно отслеживать динамику изменения вовлеченности групп студентов в ходе семестра, сравнивать изменения этого параметра во времени, по факультетам, курсам, группам и т. д. и при необходимости принимать решение по коррекции ситуации.

Использованное ПО

Microsoft Azure (IoT Hub, Stream Analytics, Machine Learning Studio, BLOB Storage, SQL Database, Serverless Functions), Microsoft PowerBI, Python.

Описание проекта

Сегодняшние студенты «с рождения» используют различные вычислительные устройства, а в Интернете по большинству теоретических и практических учебных дисциплин часто могут получить более полную и актуальную информацию, чем на лекциях. При этом материал в Сети часто подается и более эффектно, чем в аудиториях. Все это вызывает целый ряд вопросов. Интересно ли студентам на занятиях? Успевают ли они за преподавателем? Доступно ли излагается материал? Насколько студенты вовлечены в учебный процесс? Еще недавно контролировать уровень вовлеченности студентов было практически невозможно — только в московских учебных корпусах Финансового университета при Правительстве РФ занятия идут каждый день в более чем 500 аудиториях.

Тематика измерения и анализа вовлеченности студентов в учебный процесс активно разрабатывается еще с 1980-х годов — прежде всего, в связи с исследованием возможности снижения количества отчисляемых студентов (опросы показывают, что от 25 до 60 % учащихся постоянно скучают на занятиях и отвлекаются от учебного процесса). Проблема мониторинга вовлеченности студентов сегодня актуальна как для традиционного аудиторного учебного процесса, так и для массовых открытых онлайн-курсов, образовательных игр, симуляторов и тренажеров, интеллектуальных обучающих систем и пр.

Архитектура облачного решения

Видеопоток поступает с поворотных видеокамер, размещенных под потолком аудиторий и подключенных к концентратору Microsoft Azure IoT Hub. Для управления камерами используются данные из локальной информационной системы «Расписание»: время начала и окончания занятия, номер аудитории, набор идентификаторов учебных групп (на семинарах — одна группа, на лекции — несколько), идентификаторы учебной дисциплины и преподавателя. Видеопотоки перед отправкой в хаб подвергаются локальной обработке — из них с заданной периодичностью захватываются отдельные кадры.

Из IoT Hub изображение лица студента отправляется на вход Azure Cognitive Services для распознавания лиц и эмоций. Сервисы распознавания эмоций, используя кампусную базу фотографий учащихся, возвращают для каждого лица следующие признаки: возраст и пол; идентификатор студента; наличие помады, очков, усов, бакенбардов, бороды; наклон и поворот головы; идентификатор эмоций (счастье, печаль, удивление, гнев, страх, презрение, отвращение, нейтральность), а также специальные точки, определяемые на лицах (facial landmarks). Все эти признаки вместе с метаданными съемки (время съемки, тип учебного занятия и дисциплины, идентификатор преподавателя) заносятся в базу данных Azure SQL Database, а собственно изображения помещаются в хранилище Azure BLOB Storage.

Новые записи, появившиеся в таблице результатов распознавания лиц и эмоций, подаются на вход сервиса машинного обучения Azure Machine Learning Studio, который возвращает для каждого лица вероятность его отнесения к классу вовлеченных с заполнением соответствующего поля в таблице базы данных результатов распознавания лиц и эмоций. Кроме того, в эту таблицу заносятся показания датчиков температуры и параметры качества воздуха в конкретной аудитории.

Обработка событий в режиме реального времени осуществляется службой Azure Stream Analytics.

Служба PowerBI с заданной периодичностью в виде специальных отчетов выводит сводные таблицы, в которые заносятся результаты распознавания лиц и эмоций. Эти таблицы затем интегрируются в интерактивные панели на университетском портале.

Разметка изображений

Для разметки изображений, по которым эксперты для каждого лица указывают степень вовлеченности студента в учебный процесс, разработано специальное приложение, опубликованное в облаке Azure.

В качестве экспертов выступают преподаватели, каждому из которых требуется оценить вовлеченность для определенного количества распознанных лиц. При этом основная часть лиц автоматически выбирается из изображений, полученных с видеокамер во время занятий, которые вел именно данный преподаватель (доля таких лиц является настраиваемым параметром, его значение рекомендуется устанавливать на уровне 90–95 %), а оставшаяся часть лиц берется с кадров, сделанных во время занятий, проведенных другими преподавателями. Это необходимо для обеспечения адекватности оценок: если у какого-либо преподавателя оценки, сделанные им самим, не совпадают с оценками вовлеченности тех же студентов, сделанными другими преподавателями, это может стать причиной признания оценок неадекватными. У эксперта есть возможность не оценивать вовлеченность в случаях, когда это невозможно или не нужно (например, когда эксперту представляется снимок, сделанный на перемене, либо если лица на изображении не видно).

Среди факторов, оказывающих наибольшее влияние на степень вовлеченности, выделены (в порядке убывания важности): наклон головы; распознанный возраст; поворот головы; степень печали; уровень удивления; а также расположение некоторых точек на лице (facial landmarks).

Интерактивная панель системы размещена на странице, в меню которой можно выбрать период детализации отчетности: обзорная по семестрам или детальная по месяцам, дням, отдельным занятиям. Вовлеченность на любом уровне иерархии отображается в виде дискретной цветовой шкалы для выбранного периода.

Поначалу преподаватели были очень обеспокоены, боялись, что машина признает отсутствие вовлеченности студентов, и занятия отменят, а профессоров уволят. Но в результате использования системы стало ясно, что уровень вовлеченности студентов Финуниверситета в среднем составляет около 80 процентов.

При этом и студенты, и преподаватели, и администрация университета ощущают, что вовлеченность студентов, их интерес повысились в результате внедрения системы. Когда люди знают, что за ними постоянно наблюдает машина, прежде всего, повышается самодисциплина: преподаватель не может позволить себе расслабиться, держит аудиторию в интеллектуальном напряжении, что, безусловно, положительно сказывается на образовательных результатах.

Но еще важнее прозрачность: система позволяет на одном экране видеть, что происходит в аудиториях, насколько интересно студентам, насколько качественно работают преподаватели.

Конечно, система нужна не для того, чтобы наказывать преподавателей или студентов, а для того, чтобы в реальном времени находить проблемные места и быстро проводить коррекцию. При нынешней скорости изменений для университета это очень важный инструмент.

Проект был реализован преподавателями и студентами Департамента анализа данных, принятия решений и финансовых технологий Финуниверситета при участии партнера — компании «Зеробит». Ее сотрудники отвечали в проекте за оптимизацию инфраструктурных решений, а также за различные алгоритмы обработки данных, а представители университета — за разработку системы машинного обучения и системы визуализации результатов. Архитектура решения разрабатывалась совместно.

География проекта
Москва
Дополнительные презентации:
IoT-Architecture.jpg
Engagements-Recognition.jpg
IoT-Dashboard.jpg
Коментарии: 11

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.

  • Эдуард Иванов
    Рейтинг: 13
    74.ru
    Руководитель ИТ
    17.11.2018 00:41

    Техническая составляющая проекта и его реализация, безусловно, внушает уважение.
    А вот практическая ценность, по крайней мере в широкой образовательной среде вызывает сомнения. Любой опытный преподаватель предоставит информацию о вовлеченности студентов и без всякого машинного анализа. Аудитория перед лектором как на ладони. С кафедры прекрасно видно, кто слушает, кто спит, кто в телефоне сидит и так далее.
    Хотя, может на каких-то специализированных курсах/тренингах программа может оказаться и полезной.

    • Владимир Соловьев Эдуард
      Рейтинг: 310
      Финансовый университет при Правительстве Российской Федерации
      руководитель департамента анализа данных, принятия решений и финансовых технологий
      24.11.2018 12:28

      Эдуард Анатольевич, я сам преподаю, и информация о том, что на моих последовательных занятиях вовлеченность у студентов была 80, 87, 91, 84, 85, 78, 83, 54, 81% для меня, конечно, полезна - я постараюсь обязательно задуматься, почему на одном из занятий вовлеченность резко упала. Попробую в следующий раз как-то по-другому преподавать эту тему.
      А администрации университета полезно сравнивать между собой разные факультеты, курсы, группы, сравнивать между собой преподавателей, следить за динамикой - в ноябре вовлеченность больше, чем в сентябре. Резкий спад вовлеченности на какой-то дисциплине - это, как правило, конфликтная ситуация, которую можно оперативно заметить.
      Ну а еще, естественно, самодисциплина - когда преподаватель знает, что за ним постоянно смотрит машина, он не расслабляется.

  • Алексей Степанов
    Рейтинг: 272
    Нет
    Независимый эксперт
    04.12.2018 12:59

    Владимир, скажите, пожалуйста, в чем заключается Ваша заслуга в реализации данного проекта?

    • Владимир Соловьев Алексей
      Рейтинг: 310
      Финансовый университет при Правительстве Российской Федерации
      руководитель департамента анализа данных, принятия решений и финансовых технологий
      29.12.2018 19:19

      Алексей Викторович, мне сложно называть работу заслугой. Идея проекта - моя. Дальше мы с командой проектировали архитектуру, сложно оценить, сколько там чьих заслуг. Но, очевидно, ключевая роль в архитектуре принадлежит не мне, а Михаилу Титко и Илье Пухову. Часть кода писал я, но очень маленькую. Большую часть кода написал Илья Пухов. Модель машинного обучения делал я. Инфраструктуру - Михаил Титко. Приложение для разметки фотографий - Артем Славгородский. Дэшборды - Дарья Куклина. Концептуальные решения прорабатывались вместе с Константином Базановым. Нам помогали Андрей Лукичев, Юрий Быков, Алексей Ермаков. А еще мы ездили в Microsoft IoT Lab в Мюнхен на акселерацию проекта. Там за неделю мы сделали то, что в обычной обстановке заняло бы несколько месяцев. Ян Швеба, настоящий мастер на все руки, с легкостью переключался от инжиниринга облачных сервисов к обработке больших данных, от разработки Python-скриптов к программированию на С#, от проектирования архитектуры решения к тонкой настройке моделей машинного обучения и т. д., И без каждого из этих людей ничего не получилось бы.

      • Алексей Степанов Владимир
        Рейтинг: 272
        Нет
        Независимый эксперт
        04.01.2019 21:57

        За честный ответ - пять.
        По проекту - всё бы хорошо, только как бы метрика вовлеченности не превратилась в конкурс среди преподавателей "Не дай студенту заскучать". Очевидно, что измерение вовлеченности лишь часть пути к качественному образованию. Само по себе от её измерения толка мало.

  • Анна Коробова
    Рейтинг: 10
    Префектура Зеленоградского АО г.Москвы
    начальник отдела информатизации
    05.12.2018 18:49

    Очень интересный проект. Важный результат внедрения Интеллектуальной системы анализа вовлеченности студентов (на основе анализа видеопотока) - ранняя диагностика проблемных ситуаций (типа предиктивной аналитики в промышленности). Но самое главное при реализации этого и других проектов студентами гуманитарных вузов и факультетов - математематическая трансформация подготовки экономистов на основе кейсов с анализом реальных датасетов. Студенты получают практические навыки работы с Big Data. Сейчас, например , в Японии вообще запретили чисто гуманитарные специальности - и историк, и экономист должны владеть инструментарием работы с BD. Профессия юриста также трансформируется в "цифровых юристов" с умением обучать искусственный интеллект, алгоритмизировать и создавать "смарт-контракты".

    • Владимир Соловьев Анна
      Рейтинг: 310
      Финансовый университет при Правительстве Российской Федерации
      руководитель департамента анализа данных, принятия решений и финансовых технологий
      29.12.2018 19:23

      Анна, спасибо за комментарий! Действительно, очень важно, что это - один из проектов, которые мы реализуем после того, как основным нашим фокусом стала разработка решений для реальных заказчиков. И это идет на пользу учебному процессу, потому что студенты не изучают чужие кейсы, устаревающие в нашей области очень быстро, а сами создают новые решения.

  • Александр Артюхов
    Рейтинг: 95
    АО "Организация "Агат"
    Руководитель проекта
    20.12.2018 18:20

    Проект интересный и полезный для оценки вовлеченности во все виды аудиторных занятий.
    Технологию также можно использовать и в более утилитарных целых. Например, фиксация и анализ посещаемости каждого занятия каждым студентом, оптимальное планирование аудиторного фонда, создание настраивающей на учёбы атмосферы в аудиториях по реакции слушателей (не только температура и влажность, но и освещённость, шумовой фон, восприятие звука и наглядных пособий и т.д.)... Инструмент есть, и полезных применений - масса, что позволят получить ещё больший эффект от проекта.

    • Владимир Соловьев Александр
      Рейтинг: 310
      Финансовый университет при Правительстве Российской Федерации
      руководитель департамента анализа данных, принятия решений и финансовых технологий
      29.12.2018 19:27

      Александр, спасибо за комментарий! Мы развиваем систему в этих направлениях, за исключением фиксации посещаемости. Во-первых, если студент пришел на занятия, это не гарантирует, что он чему-то научился. А во-вторых, любая система искусственного интеллекта, как и любой человек, может ошибаться, могут быть ситуации, когда высокий человек закроет соседа сзади и т.п.

  • Александр Балабанов
    Рейтинг: 310
    Айсберри
    CDO
    22.12.2018 09:57

    Владимир приветствую! Проект интересный и применим не только в образовательной сфере, но и в практическом бизнесе, например анализ вовлеченности сотрудников. работающих в Open Office... Думаю, что работодатели могли бы получить интересную информацию. Вопросы: 1. Почему компания ЗЕРОБИТ? 2. Какое оборудование было использовано - видеокамеры и т.д.? 3. Как к данному новшеству отнеслись студенты? 4. Как решался вопрос персональных данных - я про получение разрешения от студента на видеосьемку? 5. Как решаются вопросы ИБ?

    • Владимир Соловьев Александр
      Рейтинг: 310
      Финансовый университет при Правительстве Российской Федерации
      руководитель департамента анализа данных, принятия решений и финансовых технологий
      29.12.2018 19:37

      Александр, здравствуйте!
      Спасибо за комментарий!
      Мы совместно с Зеробитом занимаемся проектами в области интернета вещей, дополняя компетенции друг друга. Проект инициативный, и его идея обсуждалась и вырабатывалась нами совместно, реализовывали решение мы тоже совместно, а теперь совместно продаем как облачный сервис.
      Видеокамеры теоретически могут быть любые. В каких-то аудиториях у нас стоят статические камеры, в каких-то - поворотные. Главное правильно развесить камеры, чтобы была видна вся аудитория, и были видны лица. Из железа кроме камер, подключенных к сети, нужен простой компьютер - один на каждое здание, в котором есть камеры, который разбирает видеопоток и отсылает кадры на распознавание. Все остальное в облаке.
      Студенты при поступлении подписывают согласие на обработку и трансграничную передачу персональных данных, а также на фотовидеосъемку. Вначале все дергались, когда камера начинала поворачиваться, но очень быстро привыкли. Самодисциплина и студентов, и преподавателей, конечно, повысилась, и это один из главнейших результатов.
      Вопросы ИБ решаются стандартными средствами Windows/Azure.

Предметная область
Отрасль
Управление