{"id":6543,"title":"\u041a\u0430\u043a \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u043d\u0435 \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u043e\u043c\u0443\u0442\u0435 \u043d\u0435\u043e\u0442\u043b\u043e\u0436\u043d\u044b\u0445 \u0434\u0435\u043b","url":"\/redirect?component=advertising&id=6543&url=https:\/\/vc.ru\/promo\/290554-tysyacha-i-odna-zadacha-kak-na-starte-biznesa-ne-utonut-v-omute-neotlozhnyh-del&placeBit=1&hash=06bd19bac10eff65d557e51eff7ad526506f48be933870c667bd0bcd7a476220","isPaidAndBannersEnabled":false}
Machine learning
Skyeng

Как Skyeng оценивает внешний вид преподавателя: ML-модель для контроля качества уроков

Рассказывает Инна Ярошенко, руководитель отдела контроля качества в Skyeng.

Каждый день мы проводим тысячи онлайн-уроков английского. Все преподаватели работают из дома, они очень далеко от офиса, и нам трудно следить за тем, что происходит на занятии. Но при этом мы должны гарантировать нашим ученикам, что урок будет проведён как следует. Как мы научились контролировать качество работы учителей в 100% уроков?

Раньше мы проводили прослушивание части занятия — этим занимались специальные аудиторы. Они открывали запись урока, смотрели и слушали уроки, ставили оценку, оставляли комментарии. Но темпы роста у нашей школы такие, что аудиторы быстро перестали справляться. Сейчас отсматривать уроки «вручную» просто нереально — используя старую схему, мы смогли бы контролировать не более 1% уроков.

Пришло время автоматизировать контроль качества работы преподавателей. Просматривать и анализировать такой огромный видеопоток одновременно достаточно сложно.

Мы знаем, что от преподавателя многое зависит в обучении, поэтому сделали несколько гипотез, из чего складывается результативность преподавателя, кроме соблюдения методических указаний к уроку.

Для начала мы разделили всю информацию на две составляющие: картинку (что мы видим, как выглядит преподаватель, что у него на столе, какой фон) и что конкретно преподаватель говорит (о результатах работы расскажем в следующем материале). И начали работать по обоим направлениям.

Как мы оцениваем внешний вид преподавателя

Конечно, шкала «нравится — не нравится» тут бесполезна. Нужно контролировать какие-то конкретные параметры. У нас есть ML-модель внешнего вида, которая даёт понимание, что и как нужно оценивать.

Мы начали с простого исследования. Платформа Vimbox, на которой проходят уроки, делала три случайных скриншота в процессе видеосвязи. А аудиторы просто ставили лайк или дизлайк тому, что они видят.

Для этого у них был определённый набор критериев. Лайк они ставили, если преподаватель сидит (а не лежит или бродит по комнате в процессе занятия), свет падает правильно, в комнате преподавателя порядок, на заднем плане не бегают собаки и дети.

За две недели мы оценили таким образом 17 тысяч скриншотов. На оценку каждого из них уходило несколько секунд, и никаких существенных временных и финансовых затрат такой аудит не потребовал. Но это был лишь первый шаг.

После этого наши аналитики поделили все скриншоты на две группы: преподаватели, у которых 50% и больше скриншотов оценены как плохие, и преподаватели, у которых менее 50% скринов получили дизлайки. Мы сравнили метрики этих двух категорий учителей и поняли, что есть связь между количеством дизлайков и успехами учеников. Чем меньше лайков получил учитель, тем хуже показатели его студентов.

Посчитав ROI, мы увидели, что даже если мы хотя бы половину преподавателей вытащим из отрицательной группы в положительную, это принесёт хороший результат. Ученикам комфортнее с таким преподавателем, поэтому он остаётся в школе дольше и достигает больших успехов.

Поэтому мы начали разрабатывать структуру нейросети и готовить материалы, чтобы обучать алгоритмы. Нам нужно было донести до преподавателей, как они должны выглядеть и какое поведение во время урока от них ожидается. В итоге получилось 14 разноплановых критериев.

Например, один из них — освещение. Многие учителя просто не задумываются об этом, но неправильное освещение может значительно повлиять на ход урока. Если сесть напротив окна, ученик увидит только чёрный силуэт. Если преподаватель сидит в сумерках, ему, может, всё нормально видно, но ученик будет наблюдать чёрный экран. Или наоборот: при слишком ярком освещении лицо преподавателя будет бликовать.

Чтобы максимально быстро запустить проект на продакшн, мы работали командой: группа аудиторов собирала материалы для обучения модели, а аналитик писал саму нейросеть.

Работа всё ещё в процессе, но мы уже можем определять очень важные ошибки — например, был преподаватель на связи в течение всего урока или отходил куда-то, была ли включена камера или нет, отвлекался ли учитель на свой телефон или был полностью сосредоточен на ученике.

Мы научились детектировать животных, которые могут отвлекать от занятия. Если кошка преподавателя запрыгнет на стол и пробежится по клавиатуре, это может быть милым и забавным. Однако такие казусы сбивают ученика с мысли, отвлекают его и в итоге снижают эффективность занятия.

За месяц мы обучили нашу модель вычислять качество освещения и настроили автоматическую систему фидбека для преподавателя. Это значит, что каждому преподавателю будут приходить письма: «Уважаемый Иван Петрович, у вас 95% уроков с отличным освещением, но 5% уроков проводится в тёмной комнате. Если вы проводите занятие вечером, не забывайте включать свет».

Так мы не только выявляем недочёты, но и сообщаем о них учителю, чтобы он мог их исправить. Ведь преподаватель может допускать ошибки не потому, что он плохой и равнодушный — зачастую люди просто не задумываются о таких тонкостях.

До конца текущего года у нас в планах дообучить ML-модель по остальным критериям: качественное освещение, визуальный положительный настрой преподавателя, форма одежды, умеренный макияж и так далее.

Мы продолжаем работать с этой системой, она уже нам очень помогает. Надеюсь, с точки зрения оценки картинки мы скоро сможем очень прилично улучшить качество уроков и со временем проблема неподобающего вида или поведения преподавателей исчезнет совсем.

{ "author_name": "Skyeng", "author_type": "editor", "tags": ["\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435"], "comments": 50, "likes": 43, "favorites": 27, "is_advertisement": false, "subsite_label": "ml", "id": 79951, "is_wide": true, "is_ugc": false, "date": "Tue, 20 Aug 2019 17:57:41 +0300", "is_special": false }
0
50 комментариев
Популярные
По порядку
Написать комментарий...

А чем кот плох?)

7

Вполне возможно и ничем)
Но чтобы что-то утверждать нужно провести исследование, которое начинается с инструмента для сбора данных, роль которого и играет ML модель

1

Много сетей уже натренировались отличать кота от собаки - можно переиспользовать)) Очень интересный у вас кейс интересно будет узнать результат и пробы\ошибки)

0

Спасибо за интерес. Обязательно будем делиться))

0

Коты это даже хорошо! Мои студенты всегда спрашивают где моя кошка. если она не приходит. Кошка никак не влияет на успеваемость, а наоборот, показывает, что препод добрый (любит животных), помогает установить теплые и доверительные отношения.

3

Жанна, вполне возможно!
Модель позволяет выполнить первую итерацию - получить вообще понимание в скольких (и в каких конкретно) уроках кот был. А только после этого становится реальным посчитать действительно кот плох или хорош. Возможно, по итогу исследования каждый преподаватель Skyeng будет обязан завести котика=))

2

А вы проводили исследование и выяснили, что кошка никак не влияет на успеваемость ваших студентов, а может просто их лимбическая система хочет видеть котиков там разных, а работать не хочет? Ну и словесная форма "Кошка никак не влияет на успеваемость, а наоборот, показывает, что препод добрый" лишена полностью логики.

1

Это мой личный опыт и опыт многих других преподавателей, с которыми я общаюсь. в преподавании главным образом важно умение учить, харизма. Я когда-то полюбила свою школьную учительницу английского. Хотела знать о ней всё! Коты, дети, что ест, куда ходит и т.д. Если бы не она, я не заинтересовалась бы этим предметом. И у меня это тоже работает. Всем-всем угодить естественно невозможно. Бывают "не мои люди", но коты тут не при чем.

0

Ваш опыт и контролируемое исследование это 2 разные вещи

0

контролируемое исследование? Вы считаете это контролируемым исследованием?

0

Инна, спасибо за статью, прочитал с удовольствием :) по мимике я скину вам релевантный контакт!

2

Денис, большое спасибо))

0

Наши с преподавателем Скайенга коты уже давно знакомы друг с другом :) это же прикольно.

НЕ ТРОЖЬТЕ КОТОВ!!!

2

Привет, свет, положение тела - это ок. Но в видео большую роль играет мимика. Ее вы анализируете уже?

1

Алексей, добрый вечер.
Согласна с вами - мимика тоже супер важна. Работа с мимикой входит в план дальнейшего развития модели

2

Лучше бы сделали, чтобы ваши преподаватели посещали занятия, у меня сейчас за 10 уроков уже 3й преподаватель, один опаздываю на 10 минут и заканчивал в 55, другой 2 раза из 3х не пришёл на занятия. Один из них ржал в выключенный микрофон и купил вейп. Лучше этим займитесь

0

Денис, мне жаль, что вы с таким столкнулись. Вопросом административных нарушений, которые, увы, случаются, мы тоже занимаемся. Возможно, пока что-то в работе упускаем, но сейчас этот процесс докручиваем.
Буду благодарна, если напишите мне в личку ваши контакты, по которым регистрировались - обязательно кейс проработаем

2

Ребята, а на вашей площадке курсы по контексту и таргету есть?

0

Сергей, на текущий момент у нас есть обучение английскому и математике. Пока это все. Но ваш запрос заставляет нас задуматься про дальнейшие направления развития. За это вам спасибо=))

0

Простите, а что вы хотели от преподов за 250 руб? На preply лучше за 800 купить, будет со стажем и дипломом.

0

Я ради интереса посмотрел ваш профиль - у вас в каждом третьем посте вот эти 250 и 800 рублей. Ну камон, слезли бы уже с этой шарманки.

3

Так я вас вызывал этим) А то вы слились тогда. Так все таки 250 средняя ставка за урок? У вас на сайте это написано.

0

Так минимальная цена не 800, откуда вы это взяли? От 690 + бонусы по акциям. Средняя тоже не 250, кстати, больше. И где на сайте вы увидели эту цифру? Это не актуальная информация. ред.

0

В видео для учителей была. Так, если не секрет. Какая средняя ставка за урок и средняя цена этого урока для пользователей. Я просто, не понимаю, почему биржи репетиторов демонстрируют эти показатели а вы нет. Буду признателен если откроете.

0

Комментарий удален

Комментарий удален

Такой тощий злой котэ ходит по квартире со следами от удара газетой и ненавидит нейросети. Пытается понять, кому в тапок нассать теперь.

Наказан, что урок вести мешал...
Неделю без вискаса. ред.

1

Лол, вы всерьез рассчитываете повлиять на эффективность переподавтелей с низким рейтингом, заставив их навести порядок в комнате и поменять наклон тела?
Это наглядные показатели отношения человека к своему делу и собеседнику. Лучше преподов нормально фильтруйте изначально, вместо того чтобы учить ИИ котиков распознавать.

1

Согласен. Лучше подумать о более эффективном собеседовании при приеме, а так же выборочный анализ проведенных занятий компетентными людьми, а не ИИ и коммерсантами.

0

Максим, вы говорите о разных аспектах работы с преподавателем. Процесс подбора в школе очень сложный и многосоставной. На этом этапе минимальна вероятность поступления в работу некомпетентного специалиста.
Однако после рекрутинга при отсутствии ощущения контроля практический каждый специалист (не только в Skyeng, а в любой компании в принципе) быстро расслабится, что и приводит к неподготовленности, опозданиям или неподходящему месту для проведения урока.

0

Комментарий удален

На основании чего вы говорите, что студентам нужно отвлекаться?
Я вот верю в идею Skyeng, потому что они используют для своих утверждений данные. Можно не верить в правдивость этих данных, но: 1) vc не научный журнал, где должны быть все данные; 2) здравый смысл подсказывает, что если Skyeng будет фальсифицировать данные для внутренних исследований, он будет экономически менее эффективным, чем если он будет опираться на реальные данные.

А на каких данных вы базируетесь в своих утверждениях?

1

Михаил, вы абсолютно правы: мы стремимся к подтверждению\опровержению своих гипотез через данные. Изначально были экспертным путем сформированы гипотезы о критериях, на основании которых построена модель.
Таким образом ML модель, о которой написана статья, играет роль первичного этапа - этапа сбора данных. Сейчас стартовал второй этап: проверка влияния этих критериев на поведение и успехи ученика на основании данных. Но это, как говорится, уже совсем другая история=))

2

Комментарий удален

знаю человека который мастурбировал на препода скайенг на занятии

0

Возможно, в действительности на кота... а говорил, что на препода ред.

1

Главное, что не препод коту

0

Смотря, какая тема урока.

0

Комментарий удален

А может опубликуете какие-то конкретные цифры по влиянию фона и освещения на качество обучения? Интуитивно кажется, что оно должно быть очень очень маленьким. Я бы даже предположил, что учителя с "плохой картинкой" просто в целом менее ответственно подходят к своим занятиям и косметические улучшения изображения сути не изменят. ред.

0

Сергей, ваша гипотеза вполне возможно подтвердится, и окажется, что освещение (как таково) не влияет. Однако работа с преподавателем (над освещением в том числе) позволяет развить тот "ответственный подход", о котором вы пишите. Ведь преподаватель понимает, что его контролирует, не смотря на то, что он в он-лайне и дотянуться рукой к нему не могут.
По сути процесс улучшения состоит из проработки множества аспектов, одним из которых являются и эти косметические

0

А на деле постоянные переносы занятий по просьба преподавателя, причем чаще всего - на время, неудобное ученику. Это как если бы я на мойку приезжал, когда удобно мойщику, а не мне. Ну и внешний вид преподавателей - далеко не журнал Playboy. Понятно, что от учителя главное - голова, а не внешность, это скорее к статье, которая пытается рассказать, что «и душа и тело».

0

Ваня, качество всегда многосоставное (и административные моменты, и платформа, и знания преподавателя, и его вид и рабочее место, и.....). Однако сейчас, столкнувшись с определенными неудобствами, вам кажется, что они единственные. Я очень хорошо вас понимаю.
Мне жаль, что моя статья оказалась для вас единственным "местом" для урегулирования неудобства, так как служба поддержки не помогла вас (я же верно понимаю, что вы обращались и вам не помогли?). Напишите мне, пожалуйста, в личку ваши контакты для регистрации - мы обязательно проработаем ваш кейс

0

Кот Шредингера 😊

0

Мы научились детектировать животных (facepalm)(facepalm)(facepalm)

0

Представляю следующий этап - плохо провел занятие, и приходит письмо с текстом: "Вы, животное, уволены!"

0

Как раз вчера письмо от скайенга пришло с предложением. Что-то после такого поста желания не прибавилось. Мало того, что работа сама по себе не всегда оценивается адекватно, так контроля и придирок не меньше чем на основной работе. Понятно, что препод должен быть адекватным, за внешним видом и рабочим местом следить, но до маразма доходить тоже не стоит. Тем более индивидуальный подход никто не отменял. То, что дает результат с одним обучающимся, не гарантирует успеха с другими. Тем более у вас возрастная категория, как я понял, от детей до стариков.

0

Алексей, согласна с вами. Однако и маразма не вижу - разве это ок (например) работать не отрывая глаз от телефона?

0

Про маразм имелось в виду то, что везде чувство меры надо знать, а конкретно по содержанию статьи - вовремя остановиться и не доходить до совсем вещей и не прийти к полной автоматизации и игнорированию человеческого фактора, ведь любая хорошая идея будет таковой только при грамотной ее реализации.

0

Алексей, тут с вами полностью согласна. Поэтому наш подход - всегда через аналитику:
1. собираем большой объем данных по тому, как проигрываются критерии в уроках
2. проводим аналитическое исследование по тому какие критерии влияют на учеников (как положительно, так и отрицательно)
3. формируем рекомендации для преподавателя таким образом, чтобы они помогали успешно работать с учеником

Пока мы только в процессе выполнения первого и старта второго этапа

0

После второго этапа, думаю, не помешает подробно изучить и обосновать причину влияния каждого фактора. Статистика - это голые цифры, которые не всегда хороши сами по себе без какой-то расшифровки.
И, главное, надо предусмотреть тот момент, что на разных учеников один и тот же фактор может оказать противоположное влияние. Если получится еще это совместить с анкетированием обучающихся, например, то результат будет намного выше.

0

Согласна с вами. Большое спасибо за рекомендации и идеи

0

Молодцы. Вот Прям молодцы! Успехов, ребята!

0

Моя преподавательница skyeng всегда ведёт уроки с выключенной камерой. Видимо, все не совсем так, как написано в статье. И, кстати, она - один из лучших моих преподавателей английского.

0

Также. Но не знаю лучший ли моя

0
Читать все 50 комментариев
«Альфа-Капитал» освоил греблю — и проверил на прочность командный дух

Участники корпоративной секции тренировались все лето: сначала на тренажерах, потом на открытой воде. Большая финальная гонка расставила точки над i.

Усиление защиты неквалифицированных инвесторов

11 июня 2021 года вступил в силу Федеральный закон, усиливший защиту прав физических лиц, не являющихся квалифицированными инвесторами.

«Тинькофф» начнёт внедрение ипотеки с рефинансирования кредитов своих клиентов в других банках Статьи редакции

В 2019 году компания закрыла направление ипотечного кредитования из-за неприбыльности.

Evrone News #08: выступили на конференциях и провели первый Evrone Fest

В этот раз наша традиционная подборка посвящена мероприятиям. Во-первых, наши спикеры отлично выступили на PyCon и RnDTechConf, а во-вторых, мы провели свой первый Evrone Fest. Подробности ниже.

Apple начала разработку алгоритма для выявления депрессии и детского аутизма — WSJ Статьи редакции
Слабое звено бизнеса — уверенность. Разбираемся, как ее достичь

Начнем с очевидного: бизнес — это всегда практикум. Научить ему на лекциях и курсах сложно. Это понимают и опытные, и новички, и даже наемные работники. Тогда откуда такой спрос на обучающие программы со стороны бизнеса? Мы углубились в вопрос и нашли ответы. Выводы оказались неожиданными: образовательные программы, интерактивы, презентации…

Как обрабатывать заявки в соцсетях и перестать терять клиентов: руководство для бизнеса

Студия Чижова рассказывает, как правильно обрабатывать заявки в социальных сетях и повышать конверсию в продажу.

Как продавцу приветствовать покупателя в социальных сетях
«Азбука вкуса» впервые за 15 лет обновит логотип и шрифт Статьи редакции

Изменились и цвета — компания выбрала другие оттенки зелёного.

«Азбука вкуса»
AliExpress Russia Overview: 9 главных трендов электронной коммерции

8 сентября «AliExpress Россия» собрал топов электронной коммерции и инвестиционных аналитиков на конференции AERO. Собрали самое важное из пятичасового обсуждения.

Почему нельзя пропустить новость про официальные и безопасные чат-боты в Instagram

Любой бизнес в Instagram может автоматизировать продажи и работу с аудиторией. Быстро, безопасно, эффективно и значительно дешевле, чем обошлись бы услуги SMM-щиков или студентов, отвечающих в директ и на комментарии. Однако в российском маркетинге эта новость прозвучала как-то очень тихо. Разбираемся, почему вы должны остановиться и задуматься о…

Бывший университетский журнал обошёл Forbes по выручке: как Harvard Business Review стал большим медиа Статьи редакции

The Generalist разбирает бизнес с «вечными темами», на который приходится треть всей выручки Гарвардской бизнес школы.

В HPB работает 450 человек, в то время как NYT и The Economist нанимают по 4700 и 2500 сотрудников соответственно The Generalist
null