Как Skyeng оценивает внешний вид преподавателя: ML-модель для контроля качества уроков

Рассказывает Инна Ярошенко, руководитель отдела контроля качества в Skyeng.

Каждый день мы проводим тысячи онлайн-уроков английского. Все преподаватели работают из дома, они очень далеко от офиса, и нам трудно следить за тем, что происходит на занятии. Но при этом мы должны гарантировать нашим ученикам, что урок будет проведён как следует. Как мы научились контролировать качество работы учителей в 100% уроков?

Раньше мы проводили прослушивание части занятия — этим занимались специальные аудиторы. Они открывали запись урока, смотрели и слушали уроки, ставили оценку, оставляли комментарии. Но темпы роста у нашей школы такие, что аудиторы быстро перестали справляться. Сейчас отсматривать уроки «вручную» просто нереально — используя старую схему, мы смогли бы контролировать не более 1% уроков.

Пришло время автоматизировать контроль качества работы преподавателей. Просматривать и анализировать такой огромный видеопоток одновременно достаточно сложно.

Мы знаем, что от преподавателя многое зависит в обучении, поэтому сделали несколько гипотез, из чего складывается результативность преподавателя, кроме соблюдения методических указаний к уроку.

Для начала мы разделили всю информацию на две составляющие: картинку (что мы видим, как выглядит преподаватель, что у него на столе, какой фон) и что конкретно преподаватель говорит (о результатах работы расскажем в следующем материале). И начали работать по обоим направлениям.

Конечно, шкала «нравится — не нравится» тут бесполезна. Нужно контролировать какие-то конкретные параметры. У нас есть ML-модель внешнего вида, которая даёт понимание, что и как нужно оценивать.

Мы начали с простого исследования. Платформа Vimbox, на которой проходят уроки, делала три случайных скриншота в процессе видеосвязи. А аудиторы просто ставили лайк или дизлайк тому, что они видят.

Для этого у них был определённый набор критериев. Лайк они ставили, если преподаватель сидит (а не лежит или бродит по комнате в процессе занятия), свет падает правильно, в комнате преподавателя порядок, на заднем плане не бегают собаки и дети.

За две недели мы оценили таким образом 17 тысяч скриншотов. На оценку каждого из них уходило несколько секунд, и никаких существенных временных и финансовых затрат такой аудит не потребовал. Но это был лишь первый шаг.

После этого наши аналитики поделили все скриншоты на две группы: преподаватели, у которых 50% и больше скриншотов оценены как плохие, и преподаватели, у которых менее 50% скринов получили дизлайки. Мы сравнили метрики этих двух категорий учителей и поняли, что есть связь между количеством дизлайков и успехами учеников. Чем меньше лайков получил учитель, тем хуже показатели его студентов.

Посчитав ROI, мы увидели, что даже если мы хотя бы половину преподавателей вытащим из отрицательной группы в положительную, это принесёт хороший результат. Ученикам комфортнее с таким преподавателем, поэтому он остаётся в школе дольше и достигает больших успехов.

Поэтому мы начали разрабатывать структуру нейросети и готовить материалы, чтобы обучать алгоритмы. Нам нужно было донести до преподавателей, как они должны выглядеть и какое поведение во время урока от них ожидается. В итоге получилось 14 разноплановых критериев.

Например, один из них — освещение. Многие учителя просто не задумываются об этом, но неправильное освещение может значительно повлиять на ход урока. Если сесть напротив окна, ученик увидит только чёрный силуэт. Если преподаватель сидит в сумерках, ему, может, всё нормально видно, но ученик будет наблюдать чёрный экран. Или наоборот: при слишком ярком освещении лицо преподавателя будет бликовать.

Чтобы максимально быстро запустить проект на продакшн, мы работали командой: группа аудиторов собирала материалы для обучения модели, а аналитик писал саму нейросеть.

Работа всё ещё в процессе, но мы уже можем определять очень важные ошибки — например, был преподаватель на связи в течение всего урока или отходил куда-то, была ли включена камера или нет, отвлекался ли учитель на свой телефон или был полностью сосредоточен на ученике.

Мы научились детектировать животных, которые могут отвлекать от занятия. Если кошка преподавателя запрыгнет на стол и пробежится по клавиатуре, это может быть милым и забавным. Однако такие казусы сбивают ученика с мысли, отвлекают его и в итоге снижают эффективность занятия.

За месяц мы обучили нашу модель вычислять качество освещения и настроили автоматическую систему фидбека для преподавателя. Это значит, что каждому преподавателю будут приходить письма: «Уважаемый Иван Петрович, у вас 95% уроков с отличным освещением, но 5% уроков проводится в тёмной комнате. Если вы проводите занятие вечером, не забывайте включать свет».

Так мы не только выявляем недочёты, но и сообщаем о них учителю, чтобы он мог их исправить. Ведь преподаватель может допускать ошибки не потому, что он плохой и равнодушный — зачастую люди просто не задумываются о таких тонкостях.

До конца текущего года у нас в планах дообучить ML-модель по остальным критериям: качественное освещение, визуальный положительный настрой преподавателя, форма одежды, умеренный макияж и так далее.

Мы продолжаем работать с этой системой, она уже нам очень помогает. Надеюсь, с точки зрения оценки картинки мы скоро сможем очень прилично улучшить качество уроков и со временем проблема неподобающего вида или поведения преподавателей исчезнет совсем.

#машинноеобучение