Как Skyeng оценивает внешний вид преподавателя: ML-модель для контроля качества уроков

Рассказывает Инна Ярошенко, руководитель отдела контроля качества в Skyeng.

Каждый день мы проводим тысячи онлайн-уроков английского. Все преподаватели работают из дома, они очень далеко от офиса, и нам трудно следить за тем, что происходит на занятии. Но при этом мы должны гарантировать нашим ученикам, что урок будет проведён как следует. Как мы научились контролировать качество работы учителей в 100% уроков?

Раньше мы проводили прослушивание части занятия — этим занимались специальные аудиторы. Они открывали запись урока, смотрели и слушали уроки, ставили оценку, оставляли комментарии. Но темпы роста у нашей школы такие, что аудиторы быстро перестали справляться. Сейчас отсматривать уроки «вручную» просто нереально — используя старую схему, мы смогли бы контролировать не более 1% уроков.

Пришло время автоматизировать контроль качества работы преподавателей. Просматривать и анализировать такой огромный видеопоток одновременно достаточно сложно.

Мы знаем, что от преподавателя многое зависит в обучении, поэтому сделали несколько гипотез, из чего складывается результативность преподавателя, кроме соблюдения методических указаний к уроку.

Для начала мы разделили всю информацию на две составляющие: картинку (что мы видим, как выглядит преподаватель, что у него на столе, какой фон) и что конкретно преподаватель говорит (о результатах работы расскажем в следующем материале). И начали работать по обоим направлениям.

Как мы оцениваем внешний вид преподавателя

Конечно, шкала «нравится — не нравится» тут бесполезна. Нужно контролировать какие-то конкретные параметры. У нас есть ML-модель внешнего вида, которая даёт понимание, что и как нужно оценивать.

Мы начали с простого исследования. Платформа Vimbox, на которой проходят уроки, делала три случайных скриншота в процессе видеосвязи. А аудиторы просто ставили лайк или дизлайк тому, что они видят.

Для этого у них был определённый набор критериев. Лайк они ставили, если преподаватель сидит (а не лежит или бродит по комнате в процессе занятия), свет падает правильно, в комнате преподавателя порядок, на заднем плане не бегают собаки и дети.

За две недели мы оценили таким образом 17 тысяч скриншотов. На оценку каждого из них уходило несколько секунд, и никаких существенных временных и финансовых затрат такой аудит не потребовал. Но это был лишь первый шаг.

После этого наши аналитики поделили все скриншоты на две группы: преподаватели, у которых 50% и больше скриншотов оценены как плохие, и преподаватели, у которых менее 50% скринов получили дизлайки. Мы сравнили метрики этих двух категорий учителей и поняли, что есть связь между количеством дизлайков и успехами учеников. Чем меньше лайков получил учитель, тем хуже показатели его студентов.

Посчитав ROI, мы увидели, что даже если мы хотя бы половину преподавателей вытащим из отрицательной группы в положительную, это принесёт хороший результат. Ученикам комфортнее с таким преподавателем, поэтому он остаётся в школе дольше и достигает больших успехов.

Поэтому мы начали разрабатывать структуру нейросети и готовить материалы, чтобы обучать алгоритмы. Нам нужно было донести до преподавателей, как они должны выглядеть и какое поведение во время урока от них ожидается. В итоге получилось 14 разноплановых критериев.

Например, один из них — освещение. Многие учителя просто не задумываются об этом, но неправильное освещение может значительно повлиять на ход урока. Если сесть напротив окна, ученик увидит только чёрный силуэт. Если преподаватель сидит в сумерках, ему, может, всё нормально видно, но ученик будет наблюдать чёрный экран. Или наоборот: при слишком ярком освещении лицо преподавателя будет бликовать.

Чтобы максимально быстро запустить проект на продакшн, мы работали командой: группа аудиторов собирала материалы для обучения модели, а аналитик писал саму нейросеть.

Работа всё ещё в процессе, но мы уже можем определять очень важные ошибки — например, был преподаватель на связи в течение всего урока или отходил куда-то, была ли включена камера или нет, отвлекался ли учитель на свой телефон или был полностью сосредоточен на ученике.

Мы научились детектировать животных, которые могут отвлекать от занятия. Если кошка преподавателя запрыгнет на стол и пробежится по клавиатуре, это может быть милым и забавным. Однако такие казусы сбивают ученика с мысли, отвлекают его и в итоге снижают эффективность занятия.

За месяц мы обучили нашу модель вычислять качество освещения и настроили автоматическую систему фидбека для преподавателя. Это значит, что каждому преподавателю будут приходить письма: «Уважаемый Иван Петрович, у вас 95% уроков с отличным освещением, но 5% уроков проводится в тёмной комнате. Если вы проводите занятие вечером, не забывайте включать свет».

Так мы не только выявляем недочёты, но и сообщаем о них учителю, чтобы он мог их исправить. Ведь преподаватель может допускать ошибки не потому, что он плохой и равнодушный — зачастую люди просто не задумываются о таких тонкостях.

До конца текущего года у нас в планах дообучить ML-модель по остальным критериям: качественное освещение, визуальный положительный настрой преподавателя, форма одежды, умеренный макияж и так далее.

Мы продолжаем работать с этой системой, она уже нам очень помогает. Надеюсь, с точки зрения оценки картинки мы скоро сможем очень прилично улучшить качество уроков и со временем проблема неподобающего вида или поведения преподавателей исчезнет совсем.

0
51 комментарий
Написать комментарий...
Alexey Korneev

Привет, свет, положение тела - это ок. Но в видео большую роль играет мимика. Ее вы анализируете уже?

Ответить
Развернуть ветку
Inna Iaroshenko

Алексей, добрый вечер.
Согласна с вами - мимика тоже супер важна. Работа с мимикой входит в план дальнейшего развития модели

Ответить
Развернуть ветку
Денис Ситников

Лучше бы сделали, чтобы ваши преподаватели посещали занятия, у меня сейчас за 10 уроков уже 3й преподаватель, один опаздываю на 10 минут и заканчивал в 55, другой 2 раза из 3х не пришёл на занятия. Один из них ржал в выключенный микрофон и купил вейп. Лучше этим займитесь

Ответить
Развернуть ветку
Inna Iaroshenko

Денис, мне жаль, что вы с таким столкнулись. Вопросом административных нарушений, которые, увы, случаются, мы тоже занимаемся. Возможно, пока что-то в работе упускаем, но сейчас этот процесс докручиваем.
Буду благодарна, если напишите мне в личку ваши контакты, по которым регистрировались - обязательно кейс проработаем

Ответить
Развернуть ветку
Сергей Багрецов

Ребята, а на вашей площадке курсы по контексту и таргету есть?

Ответить
Развернуть ветку
Inna Iaroshenko

Сергей, на текущий момент у нас есть обучение английскому и математике. Пока это все. Но ваш запрос заставляет нас задуматься про дальнейшие направления развития. За это вам спасибо=))

Ответить
Развернуть ветку
Лев Яковенко

Простите, а что вы хотели от преподов за 250 руб? На preply лучше за 800 купить, будет со стажем и дипломом.

Ответить
Развернуть ветку
Gleb Kudryavtcev

Я ради интереса посмотрел ваш профиль - у вас в каждом третьем посте вот эти 250 и 800 рублей. Ну камон, слезли бы уже с этой шарманки.

Ответить
Развернуть ветку
Лев Яковенко

Так я вас вызывал этим) А то вы слились тогда. Так все таки 250 средняя ставка за урок? У вас на сайте это написано.

Ответить
Развернуть ветку
Gleb Kudryavtcev

Так минимальная цена не 800, откуда вы это взяли? От 690 + бонусы по акциям. Средняя тоже не 250, кстати, больше. И где на сайте вы увидели эту цифру? Это не актуальная информация.

Ответить
Развернуть ветку
Лев Яковенко

В видео для учителей была. Так, если не секрет. Какая средняя ставка за урок и средняя цена этого урока для пользователей. Я просто, не понимаю, почему биржи репетиторов демонстрируют эти показатели а вы нет. Буду признателен если откроете.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
48 комментариев
Раскрывать всегда