Machine learning
Mari Yanchauskayte
10 159

Как Skyeng оценивает внешний вид преподавателя: ML-модель для контроля качества уроков

Рассказывает Инна Ярошенко, руководитель отдела контроля качества в Skyeng.

В закладки

Каждый день мы проводим тысячи онлайн-уроков английского. Все преподаватели работают из дома, они очень далеко от офиса, и нам трудно следить за тем, что происходит на занятии. Но при этом мы должны гарантировать нашим ученикам, что урок будет проведён как следует. Как мы научились контролировать качество работы учителей в 100% уроков?

Раньше мы проводили прослушивание части занятия — этим занимались специальные аудиторы. Они открывали запись урока, смотрели и слушали уроки, ставили оценку, оставляли комментарии. Но темпы роста у нашей школы такие, что аудиторы быстро перестали справляться. Сейчас отсматривать уроки «вручную» просто нереально — используя старую схему, мы смогли бы контролировать не более 1% уроков.

Пришло время автоматизировать контроль качества работы преподавателей. Просматривать и анализировать такой огромный видеопоток одновременно достаточно сложно.

Мы знаем, что от преподавателя многое зависит в обучении, поэтому сделали несколько гипотез, из чего складывается результативность преподавателя, кроме соблюдения методических указаний к уроку.

Для начала мы разделили всю информацию на две составляющие: картинку (что мы видим, как выглядит преподаватель, что у него на столе, какой фон) и что конкретно преподаватель говорит (о результатах работы расскажем в следующем материале). И начали работать по обоим направлениям.

Как мы оцениваем внешний вид преподавателя

Конечно, шкала «нравится — не нравится» тут бесполезна. Нужно контролировать какие-то конкретные параметры. У нас есть ML-модель внешнего вида, которая даёт понимание, что и как нужно оценивать.

Мы начали с простого исследования. Платформа Vimbox, на которой проходят уроки, делала три случайных скриншота в процессе видеосвязи. А аудиторы просто ставили лайк или дизлайк тому, что они видят.

Для этого у них был определённый набор критериев. Лайк они ставили, если преподаватель сидит (а не лежит или бродит по комнате в процессе занятия), свет падает правильно, в комнате преподавателя порядок, на заднем плане не бегают собаки и дети.

За две недели мы оценили таким образом 17 тысяч скриншотов. На оценку каждого из них уходило несколько секунд, и никаких существенных временных и финансовых затрат такой аудит не потребовал. Но это был лишь первый шаг.

После этого наши аналитики поделили все скриншоты на две группы: преподаватели, у которых 50% и больше скриншотов оценены как плохие, и преподаватели, у которых менее 50% скринов получили дизлайки. Мы сравнили метрики этих двух категорий учителей и поняли, что есть связь между количеством дизлайков и успехами учеников. Чем меньше лайков получил учитель, тем хуже показатели его студентов.

Посчитав ROI, мы увидели, что даже если мы хотя бы половину преподавателей вытащим из отрицательной группы в положительную, это принесёт хороший результат. Ученикам комфортнее с таким преподавателем, поэтому он остаётся в школе дольше и достигает больших успехов.

Поэтому мы начали разрабатывать структуру нейросети и готовить материалы, чтобы обучать алгоритмы. Нам нужно было донести до преподавателей, как они должны выглядеть и какое поведение во время урока от них ожидается. В итоге получилось 14 разноплановых критериев.

Например, один из них — освещение. Многие учителя просто не задумываются об этом, но неправильное освещение может значительно повлиять на ход урока. Если сесть напротив окна, ученик увидит только чёрный силуэт. Если преподаватель сидит в сумерках, ему, может, всё нормально видно, но ученик будет наблюдать чёрный экран. Или наоборот: при слишком ярком освещении лицо преподавателя будет бликовать.

Чтобы максимально быстро запустить проект на продакшн, мы работали командой: группа аудиторов собирала материалы для обучения модели, а аналитик писал саму нейросеть.

Работа всё ещё в процессе, но мы уже можем определять очень важные ошибки — например, был преподаватель на связи в течение всего урока или отходил куда-то, была ли включена камера или нет, отвлекался ли учитель на свой телефон или был полностью сосредоточен на ученике.

Мы научились детектировать животных, которые могут отвлекать от занятия. Если кошка преподавателя запрыгнет на стол и пробежится по клавиатуре, это может быть милым и забавным. Однако такие казусы сбивают ученика с мысли, отвлекают его и в итоге снижают эффективность занятия.

За месяц мы обучили нашу модель вычислять качество освещения и настроили автоматическую систему фидбека для преподавателя. Это значит, что каждому преподавателю будут приходить письма: «Уважаемый Иван Петрович, у вас 95% уроков с отличным освещением, но 5% уроков проводится в тёмной комнате. Если вы проводите занятие вечером, не забывайте включать свет».

Так мы не только выявляем недочёты, но и сообщаем о них учителю, чтобы он мог их исправить. Ведь преподаватель может допускать ошибки не потому, что он плохой и равнодушный — зачастую люди просто не задумываются о таких тонкостях.

До конца текущего года у нас в планах дообучить ML-модель по остальным критериям: качественное освещение, визуальный положительный настрой преподавателя, форма одежды, умеренный макияж и так далее.

Мы продолжаем работать с этой системой, она уже нам очень помогает. Надеюсь, с точки зрения оценки картинки мы скоро сможем очень прилично улучшить качество уроков и со временем проблема неподобающего вида или поведения преподавателей исчезнет совсем.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Mari Yanchauskayte", "author_type": "self", "tags": ["\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435"], "comments": 50, "likes": 39, "favorites": 23, "is_advertisement": false, "subsite_label": "ml", "id": 79951, "is_wide": true, "is_ugc": true, "date": "Tue, 20 Aug 2019 17:57:41 +0300", "is_special": false }
0
{ "id": 79951, "author_id": 62149, "diff_limit": 1000, "urls": {"diff":"\/comments\/79951\/get","add":"\/comments\/79951\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/79951"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 332941, "last_count_and_date": null }
50 комментариев
Популярные
По порядку
Написать комментарий...
5

А чем кот плох?)

Ответить
1

Вполне возможно и ничем)
Но чтобы что-то утверждать нужно провести исследование, которое начинается с инструмента для сбора данных, роль которого и играет ML модель

Ответить
0

Много сетей уже натренировались отличать кота от собаки - можно переиспользовать)) Очень интересный у вас кейс интересно будет узнать результат и пробы\ошибки)

Ответить
0

Спасибо за интерес. Обязательно будем делиться))

Ответить
3

Коты это даже хорошо! Мои студенты всегда спрашивают где моя кошка. если она не приходит. Кошка никак не влияет на успеваемость, а наоборот, показывает, что препод добрый (любит животных), помогает установить теплые и доверительные отношения.

Ответить
2

Жанна, вполне возможно!
Модель позволяет выполнить первую итерацию - получить вообще понимание в скольких (и в каких конкретно) уроках кот был. А только после этого становится реальным посчитать действительно кот плох или хорош. Возможно, по итогу исследования каждый преподаватель Skyeng будет обязан завести котика=))

Ответить
1

А вы проводили исследование и выяснили, что кошка никак не влияет на успеваемость ваших студентов, а может просто их лимбическая система хочет видеть котиков там разных, а работать не хочет? Ну и словесная форма "Кошка никак не влияет на успеваемость, а наоборот, показывает, что препод добрый" лишена полностью логики.

Ответить
0

Это мой личный опыт и опыт многих других преподавателей, с которыми я общаюсь. в преподавании главным образом важно умение учить, харизма. Я когда-то полюбила свою школьную учительницу английского. Хотела знать о ней всё! Коты, дети, что ест, куда ходит и т.д. Если бы не она, я не заинтересовалась бы этим предметом. И у меня это тоже работает. Всем-всем угодить естественно невозможно. Бывают "не мои люди", но коты тут не при чем.

Ответить
0

Ваш опыт и контролируемое исследование это 2 разные вещи

Ответить
0

контролируемое исследование? Вы считаете это контролируемым исследованием?

Ответить
2

Инна, спасибо за статью, прочитал с удовольствием :) по мимике я скину вам релевантный контакт!

Ответить
0

Денис, большое спасибо))

Ответить
2

Наши с преподавателем Скайенга коты уже давно знакомы друг с другом :) это же прикольно.

НЕ ТРОЖЬТЕ КОТОВ!!!

Ответить
1

Привет, свет, положение тела - это ок. Но в видео большую роль играет мимика. Ее вы анализируете уже?

Ответить
2

Алексей, добрый вечер.
Согласна с вами - мимика тоже супер важна. Работа с мимикой входит в план дальнейшего развития модели

Ответить
0

Лучше бы сделали, чтобы ваши преподаватели посещали занятия, у меня сейчас за 10 уроков уже 3й преподаватель, один опаздываю на 10 минут и заканчивал в 55, другой 2 раза из 3х не пришёл на занятия. Один из них ржал в выключенный микрофон и купил вейп. Лучше этим займитесь

Ответить
2

Денис, мне жаль, что вы с таким столкнулись. Вопросом административных нарушений, которые, увы, случаются, мы тоже занимаемся. Возможно, пока что-то в работе упускаем, но сейчас этот процесс докручиваем.
Буду благодарна, если напишите мне в личку ваши контакты, по которым регистрировались - обязательно кейс проработаем

Ответить
0

Ребята, а на вашей площадке курсы по контексту и таргету есть?

Ответить
0

Сергей, на текущий момент у нас есть обучение английскому и математике. Пока это все. Но ваш запрос заставляет нас задуматься про дальнейшие направления развития. За это вам спасибо=))

Ответить
0

Простите, а что вы хотели от преподов за 250 руб? На preply лучше за 800 купить, будет со стажем и дипломом.

Ответить
3

Я ради интереса посмотрел ваш профиль - у вас в каждом третьем посте вот эти 250 и 800 рублей. Ну камон, слезли бы уже с этой шарманки.

Ответить
0

Так я вас вызывал этим) А то вы слились тогда. Так все таки 250 средняя ставка за урок? У вас на сайте это написано.

Ответить
0

Так минимальная цена не 800, откуда вы это взяли? От 690 + бонусы по акциям. Средняя тоже не 250, кстати, больше. И где на сайте вы увидели эту цифру? Это не актуальная информация.

Ответить
0

В видео для учителей была. Так, если не секрет. Какая средняя ставка за урок и средняя цена этого урока для пользователей. Я просто, не понимаю, почему биржи репетиторов демонстрируют эти показатели а вы нет. Буду признателен если откроете.

Ответить

Комментарий удален

Комментарий удален

1

Такой тощий злой котэ ходит по квартире со следами от удара газетой и ненавидит нейросети. Пытается понять, кому в тапок нассать теперь.

Наказан, что урок вести мешал...
Неделю без вискаса.

Ответить
1

Лол, вы всерьез рассчитываете повлиять на эффективность переподавтелей с низким рейтингом, заставив их навести порядок в комнате и поменять наклон тела?
Это наглядные показатели отношения человека к своему делу и собеседнику. Лучше преподов нормально фильтруйте изначально, вместо того чтобы учить ИИ котиков распознавать.

Ответить
0

Согласен. Лучше подумать о более эффективном собеседовании при приеме, а так же выборочный анализ проведенных занятий компетентными людьми, а не ИИ и коммерсантами.

Ответить
0

Максим, вы говорите о разных аспектах работы с преподавателем. Процесс подбора в школе очень сложный и многосоставной. На этом этапе минимальна вероятность поступления в работу некомпетентного специалиста.
Однако после рекрутинга при отсутствии ощущения контроля практический каждый специалист (не только в Skyeng, а в любой компании в принципе) быстро расслабится, что и приводит к неподготовленности, опозданиям или неподходящему месту для проведения урока.

Ответить

Комментарий удален

1

На основании чего вы говорите, что студентам нужно отвлекаться?
Я вот верю в идею Skyeng, потому что они используют для своих утверждений данные. Можно не верить в правдивость этих данных, но: 1) vc не научный журнал, где должны быть все данные; 2) здравый смысл подсказывает, что если Skyeng будет фальсифицировать данные для внутренних исследований, он будет экономически менее эффективным, чем если он будет опираться на реальные данные.

А на каких данных вы базируетесь в своих утверждениях?

Ответить
2

Михаил, вы абсолютно правы: мы стремимся к подтверждению\опровержению своих гипотез через данные. Изначально были экспертным путем сформированы гипотезы о критериях, на основании которых построена модель.
Таким образом ML модель, о которой написана статья, играет роль первичного этапа - этапа сбора данных. Сейчас стартовал второй этап: проверка влияния этих критериев на поведение и успехи ученика на основании данных. Но это, как говорится, уже совсем другая история=))

Ответить

Комментарий удален

0

знаю человека который мастурбировал на препода скайенг на занятии

Ответить
1

Возможно, в действительности на кота... а говорил, что на препода

Ответить
0

Главное, что не препод коту

Ответить
0

Смотря, какая тема урока.

Ответить

Комментарий удален

0

А может опубликуете какие-то конкретные цифры по влиянию фона и освещения на качество обучения? Интуитивно кажется, что оно должно быть очень очень маленьким. Я бы даже предположил, что учителя с "плохой картинкой" просто в целом менее ответственно подходят к своим занятиям и косметические улучшения изображения сути не изменят.

Ответить
0

Сергей, ваша гипотеза вполне возможно подтвердится, и окажется, что освещение (как таково) не влияет. Однако работа с преподавателем (над освещением в том числе) позволяет развить тот "ответственный подход", о котором вы пишите. Ведь преподаватель понимает, что его контролирует, не смотря на то, что он в он-лайне и дотянуться рукой к нему не могут.
По сути процесс улучшения состоит из проработки множества аспектов, одним из которых являются и эти косметические

Ответить
0

А на деле постоянные переносы занятий по просьба преподавателя, причем чаще всего - на время, неудобное ученику. Это как если бы я на мойку приезжал, когда удобно мойщику, а не мне. Ну и внешний вид преподавателей - далеко не журнал Playboy. Понятно, что от учителя главное - голова, а не внешность, это скорее к статье, которая пытается рассказать, что «и душа и тело».

Ответить
0

Ваня, качество всегда многосоставное (и административные моменты, и платформа, и знания преподавателя, и его вид и рабочее место, и.....). Однако сейчас, столкнувшись с определенными неудобствами, вам кажется, что они единственные. Я очень хорошо вас понимаю.
Мне жаль, что моя статья оказалась для вас единственным "местом" для урегулирования неудобства, так как служба поддержки не помогла вас (я же верно понимаю, что вы обращались и вам не помогли?). Напишите мне, пожалуйста, в личку ваши контакты для регистрации - мы обязательно проработаем ваш кейс

Ответить
0

Кот Шредингера 😊

Ответить
0

Мы научились детектировать животных (facepalm)(facepalm)(facepalm)

Ответить
0

Представляю следующий этап - плохо провел занятие, и приходит письмо с текстом: "Вы, животное, уволены!"

Ответить
0

Как раз вчера письмо от скайенга пришло с предложением. Что-то после такого поста желания не прибавилось. Мало того, что работа сама по себе не всегда оценивается адекватно, так контроля и придирок не меньше чем на основной работе. Понятно, что препод должен быть адекватным, за внешним видом и рабочим местом следить, но до маразма доходить тоже не стоит. Тем более индивидуальный подход никто не отменял. То, что дает результат с одним обучающимся, не гарантирует успеха с другими. Тем более у вас возрастная категория, как я понял, от детей до стариков.

Ответить
0

Алексей, согласна с вами. Однако и маразма не вижу - разве это ок (например) работать не отрывая глаз от телефона?

Ответить
0

Про маразм имелось в виду то, что везде чувство меры надо знать, а конкретно по содержанию статьи - вовремя остановиться и не доходить до совсем вещей и не прийти к полной автоматизации и игнорированию человеческого фактора, ведь любая хорошая идея будет таковой только при грамотной ее реализации.

Ответить
0

Алексей, тут с вами полностью согласна. Поэтому наш подход - всегда через аналитику:
1. собираем большой объем данных по тому, как проигрываются критерии в уроках
2. проводим аналитическое исследование по тому какие критерии влияют на учеников (как положительно, так и отрицательно)
3. формируем рекомендации для преподавателя таким образом, чтобы они помогали успешно работать с учеником

Пока мы только в процессе выполнения первого и старта второго этапа

Ответить
0

После второго этапа, думаю, не помешает подробно изучить и обосновать причину влияния каждого фактора. Статистика - это голые цифры, которые не всегда хороши сами по себе без какой-то расшифровки.
И, главное, надо предусмотреть тот момент, что на разных учеников один и тот же фактор может оказать противоположное влияние. Если получится еще это совместить с анкетированием обучающихся, например, то результат будет намного выше.

Ответить
0

Согласна с вами. Большое спасибо за рекомендации и идеи

Ответить
0

Молодцы. Вот Прям молодцы! Успехов, ребята!

Ответить
0

Моя преподавательница skyeng всегда ведёт уроки с выключенной камерой. Видимо, все не совсем так, как написано в статье. И, кстати, она - один из лучших моих преподавателей английского.

Ответить
0

Также. Но не знаю лучший ли моя

Ответить
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovx", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "disable": true, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ] { "page_type": "default" }