Интеллектуальная система мониторинга вовлеченности студентов на основе анализа видеопотоков из аудиторий​

Облачный сервис мониторинга вовлеченности студентов на основании анализа видеопотоков с камер, размещенных в аудиториях, и визуализации данных позволяет администрации университета оперативно получать данные о динамике изменения вовлеченности групп студентов, сравнивать вовлеченность различных групп, курсов, факультетов, анализировать динамику вовлеченности в ходе семестра, находить проблемные места и оперативно реагировать.

Видеокамеры с заданной периодичностью фиксируют происходящее в аудиториях и передают изображения в облако Microsoft Azure, где с помощью модели машинного обучения определяется, насколько студенты сосредоточенны и насколько им интересны занятия, которые они посещают. Далее результаты в реальном времени отображаются на интерактивной панели мониторинга.

Microsoft Azure (IoT Hub, Stream Analytics, Machine Learning Studio, BLOB Storage, SQL Database, Serverless Functions), Microsoft PowerBI, Python.

Сегодняшние студенты «с рождения» используют различные вычислительные устройства, а в Интернете по большинству теоретических и практических учебных дисциплин часто могут получить более полную и актуальную информацию, чем на лекциях. При этом материал в Сети часто подается и более эффектно, чем в аудиториях. Все это вызывает целый ряд вопросов. Интересно ли студентам на занятиях? Успевают ли они за преподавателем? Доступно ли излагается материал? Насколько студенты вовлечены в учебный процесс? Еще недавно контролировать уровень вовлеченности студентов было практически невозможно — только в московских учебных корпусах Финансового университета при Правительстве РФ занятия идут каждый день в более чем 500 аудиториях.

Тематика измерения и анализа вовлеченности студентов в учебный процесс активно разрабатывается еще с 1980-х годов — прежде всего, в связи с исследованием возможности снижения количества отчисляемых студентов (опросы показывают, что от 25 до 60 % учащихся постоянно скучают на занятиях и отвлекаются от учебного процесса). Проблема мониторинга вовлеченности студентов сегодня актуальна как для традиционного аудиторного учебного процесса, так и для массовых открытых онлайн-курсов, образовательных игр, симуляторов и тренажеров, интеллектуальных обучающих систем и пр.

Архитектура облачного решения

Видеопоток поступает с поворотных видеокамер, размещенных под потолком аудиторий и подключенных к концентратору Microsoft Azure IoT Hub. Для управления камерами используются данные из локальной информационной системы «Расписание»: время начала и окончания занятия, номер аудитории, набор идентификаторов учебных групп (на семинарах — одна группа, на лекции — несколько), идентификаторы учебной дисциплины и преподавателя. Видеопотоки перед отправкой в хаб подвергаются локальной обработке — из них с заданной периодичностью захватываются отдельные кадры.

Из IoT Hub изображение лица студента отправляется на вход Azure Cognitive Services для распознавания лиц и эмоций. Сервисы распознавания эмоций, используя кампусную базу фотографий учащихся, возвращают для каждого лица следующие признаки: возраст и пол; идентификатор студента; наличие помады, очков, усов, бакенбардов, бороды; наклон и поворот головы; идентификатор эмоций (счастье, печаль, удивление, гнев, страх, презрение, отвращение, нейтральность), а также специальные точки, определяемые на лицах (facial landmarks). Все эти признаки вместе с метаданными съемки (время съемки, тип учебного занятия и дисциплины, идентификатор преподавателя) заносятся в базу данных Azure SQL Database, а собственно изображения помещаются в хранилище Azure BLOB Storage.

Новые записи, появившиеся в таблице результатов распознавания лиц и эмоций, подаются на вход сервиса машинного обучения Azure Machine Learning Studio, который возвращает для каждого лица вероятность его отнесения к классу вовлеченных с заполнением соответствующего поля в таблице базы данных результатов распознавания лиц и эмоций. Кроме того, в эту таблицу заносятся показания датчиков температуры и параметры качества воздуха в конкретной аудитории.

Обработка событий в режиме реального времени осуществляется службой Azure Stream Analytics.

Служба PowerBI с заданной периодичностью в виде специальных отчетов выводит сводные таблицы, в которые заносятся результаты распознавания лиц и эмоций. Эти таблицы затем интегрируются в интерактивные панели на университетском портале.

Разметка изображений

Для разметки изображений, по которым эксперты для каждого лица указывают степень вовлеченности студента в учебный процесс, разработано специальное приложение, опубликованное в облаке Azure.

В качестве экспертов выступают преподаватели, каждому из которых требуется оценить вовлеченность для определенного количества распознанных лиц. При этом основная часть лиц автоматически выбирается из изображений, полученных с видеокамер во время занятий, которые вел именно данный преподаватель (доля таких лиц является настраиваемым параметром, его значение рекомендуется устанавливать на уровне 90–95 %), а оставшаяся часть лиц берется с кадров, сделанных во время занятий, проведенных другими преподавателями. Это необходимо для обеспечения адекватности оценок: если у какого-либо преподавателя оценки, сделанные им самим, не совпадают с оценками вовлеченности тех же студентов, сделанными другими преподавателями, это может стать причиной признания оценок неадекватными. У эксперта есть возможность не оценивать вовлеченность в случаях, когда это невозможно или не нужно (например, когда эксперту представляется снимок, сделанный на перемене, либо если лица на изображении не видно).

Среди факторов, оказывающих наибольшее влияние на степень вовлеченности, выделены (в порядке убывания важности): наклон головы; распознанный возраст; поворот головы; степень печали; уровень удивления; а также расположение некоторых точек на лице (facial landmarks).

Интерактивная панель системы размещена на странице, в меню которой можно выбрать период детализации отчетности: обзорная по семестрам или детальная по месяцам, дням, отдельным занятиям. Вовлеченность на любом уровне иерархии отображается в виде дискретной цветовой шкалы для выбранного периода.

Поначалу преподаватели были очень обеспокоены, боялись, что машина признает отсутствие вовлеченности студентов, и занятия отменят, а профессоров уволят. Но в результате использования системы стало ясно, что уровень вовлеченности студентов Финуниверситета в среднем составляет около 80 процентов.

При этом и студенты, и преподаватели, и администрация университета ощущают, что вовлеченность студентов, их интерес повысились в результате внедрения системы. Когда люди знают, что за ними постоянно наблюдает машина, прежде всего, повышается самодисциплина: преподаватель не может позволить себе расслабиться, держит аудиторию в интеллектуальном напряжении, что, безусловно, положительно сказывается на образовательных результатах.

Но еще важнее прозрачность: система позволяет на одном экране видеть, что происходит в аудиториях, насколько интересно студентам, насколько качественно работают преподаватели.

Конечно, система нужна не для того, чтобы наказывать преподавателей или студентов, а для того, чтобы в реальном времени находить проблемные места и быстро проводить коррекцию. При нынешней скорости изменений для университета это очень важный инструмент.

Проект был реализован преподавателями и студентами Департамента анализа данных, принятия решений и финансовых технологий Финуниверситета при участии партнера — компании «Зеробит». Ее сотрудники отвечали в проекте за оптимизацию инфраструктурных решений, а также за различные алгоритмы обработки данных, а представители университета — за разработку системы машинного обучения и системы визуализации результатов. Архитектура решения разрабатывалась совместно.