{"id":9253,"title":"\u0427\u0442\u043e \u0434\u0430\u0440\u0438\u0442\u044c \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043d\u0430\u0432\u0440\u0435\u0434\u0438\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0441\u0440\u0435\u0434\u0435","url":"\/redirect?component=advertising&id=9253&url=https:\/\/vc.ru\/mos.ecology\/322605-chto-darit-klientam-sotrudnikam-i-partneram-chtoby-ne-navredit-okruzhayushchey-srede&placeBit=1&hash=f7f2e59c93d6bf99b4de7eb426299419c5e5dc01833ead4a2d9b746713d07b81","isPaidAndBannersEnabled":false}
Machine learning
Skyeng

Как Skyeng использует speech recognition для контроля качества уроков

Рассказывает Инна Ярошенко, руководитель отдела контроля качества в Skyeng.

Skyeng — это, в первую очередь, школа. Поэтому нам всегда было важно контролировать качество уроков и делать занятия лучше. Однако именно в 2019 году мы углубились в сам по себе критерий «Качество урока» и смогли точно определить, что он в себе несет.

Что было до 2019 года? Мы использовали для контроля качества методический чек-лист, который, по мнению экспертов Кембриджского университета, определяет качественный урок в соответствии с международными стандартами. Команда аудиторов с помощью этого чек-листа оценивала по одному случайному уроку у каждого преподавателя.

Такой подход давал нам какую-то информацию, но:

  • результаты нельзя было назвать статистически значимыми, так как всего один урок — это ничто, если учесть, что в месяц проводится в среднем до 500 тыс уроков;
  • итоги по качеству уроков не совпадали с тем, насколько преподаватель успешно работает с учениками;
  • он не был масштабируемым, а его развитие привело бы к неравномерному росту затрат.

Поэтому мы параллельно начали работу над автоматической системой оценки качества уроков.

Продуктовый подход в контроле качества

При построении автоматической системы оценки качества мы решили начать с нулевой отметки и найти ответ на вопрос «Какой урок считают качественным наши ученики?». Алгоритм работы был следующий:

1. Собираем гипотезы того, что может быть критерием качества

В процессе сбора гипотез были задействованы все источники, которые нам казались логичными. Основным источником были результаты обработки CusdDev-ов учеников, которые рассказывали о своем удачном или неудачном опыте в школе. Второй источник данных — все критерии качественного урока, которые предъявляются Кембриджским университетом. Третий — это все обезличенные данные ученика, которые собираются в системе Vimbox в процессе урока. Четвертый — результаты мозговых штурмов команд, которые напрямую ежедневно работают с преподавателями и уроками.

В результате было сформулировано 77 гипотез, которые можно было разделить на 5 блоков:

  • визуальные: включена или выключена камера, учитель отвлекается, есть третьи лица на уроке и т.п.;
  • методические: постановка задач говорения, работа с планом урока, разогрев и подведение итогов урока и т.д.;
  • поведенческие: этичность поведения на уроке, комплименты, персонификация урока;
  • эмоциональные: переживание эмоций на уроке;
  • административные: опоздание на урок, плохая связь или обрывы урока и т.д.

2. Находим способы сбора данных по этим критериям

На этом этапе работы было больше всего. Если административные критерии достаточно легко оценить на основании информации в базах данных школы, то текст, который говорит преподаватель на уроке, — это «черный ящик».

Так как для замера методических и поведенческих факторов необходимо было анализировать речь преподавателя, то решением для нас стала технология распознавания речи и дальнейший анализ полученных данных.

3. Проверяем корреляцию между каждым критерием и составляющими LT

Почему привязываемся к LT? Мы уверены, что именно готовность ученика учиться и платить за это говорит о качестве урока.

4. Создаем модель оценки из критериев с доказанной корреляцией

5. Формируем дашборды и системы эскалаций для повышения качества уроков

Как применили технологию распознавания речи и что получили в итоге

Итак, мы сформировали гипотезы методических и поведенческих факторов. Что делать дальше?

Важно понимать, что система распознавания речи — это не волшебная таблетка. Система отдает вам полотно текста и может сделать для вас две основные задачи:

  • дать некоторые статистические данные – например, скорость речи или процент говорения учителя или ученика во время урока;

  • показать, сколько раз употреблялось определенное слово или словосочетание.

Бесспорно, первый аспект — очень ценный, но именно настройка второго позволила нам определить результаты по отобранным критериям. Поэтому, опираясь на свои годы опыта проведения ручного аудита (только за 2019 год было прослушано более 25 000 уроков), мы сформировали словарь под каждый критерий.

Например, для оценки критерия «Объявление плана урока со стороны преподавателя» мы сформировали словарь, который содержит фразы:

  • On this lesson we will
  • On this lesson we are going
  • Today we will
  • The topic of the lesson
  • Topic of this lesson
  • Topic of lesson etc.

Затем мы запросили у системы статистику этих фраз. Итогом стала сводная таблица, в которой отображается, что на уроке между преподавателем и учеником такие-то критерии выполнены, а такие-то — нет.

С полученными данными мы смогли перейти к третьему этапу — этапу проверки корреляций, чтобы выделить и оставить для дальнейшей работы только те критерии, которые имеют связь с успешным обучением. Конечно, корреляции — это еще не причинно-следственные связи, но это уже что-то, с чего можно начинать.

Итогом этой работы стала модель оценки качества работы каждого преподавателя, которая состоит из 20 разноплановых критериев. При этом нам удается решить те проблемы, которые были в начале: теперь мы можем оценивать статистически значимый объем уроков с ростом затрат не в 20 раз (как было бы при ручном аудите), а лишь в 2 раза. К тому же результаты становятся более показательными с точки зрения успешного обучения ученика.

0
10 комментариев
Популярные
По порядку
Написать комментарий...

Какие технологии используете для распознавания? Качество распознавания не накладывает свой отпечаток на выводы о результатах?

2

Мы не разрабатывали свою систему. Пока))
Поэтому активно работали с партнерами, которые и предоставили само техническое решение
Что касается точности, то, конечно, точность распознавания не 100%, поэтому накладывает отпечаток на итоговый результат. Не смотря на это, мы смогли добиться точность определения по всем значимым критериям 87% и выше (по разным критериям - разный)
Кроме этого будет реализована система апелляций от преподавателей, на основании которых мы будем иметь возможность и результаты откорректировать, и постоянно работать над повышениям качества самой модели.

1

Итогом этой работы стала модель оценки качества работы каждого преподавателя, которая состоит из 20 разноплановых критериев. 

удалось ли за счет этой модели увеличить LT и насколько процентов?

1

Новый процесс по этой модели запустили в январе, поэтому пока утвердительно не отвечу. Кроме того, LT сможем повысить не за счет того, что мы оцениваем, а только за счет того, что мы начнем работать с результатами  такой оценки. Т.о. результат будет еще более отодвинутый во времени
В связи с этим всем, предполагаем что сможем увидеть результат в LT уже во втором квартале

0

Комментарий удален по просьбе пользователя

1

Мы подумаем об этом)

0

А сколько получилось словарей/словарных параметров урока ?
И что еще вошло в оценку урока ? 

0

Голосовых гипотез у нас получилось около 40, под каждую гипотезу был создан свой словарь. 
В оценку вошло:
- несколько статистических показателей: Teacher Talking Time, Время обоюдного молчания и пр
- несколько визуальных: включена камера, преподаватель на рабочем месте и пр
- несколько административных: опоздания и пр
- несколько текстовых: постановка задач говорения, подведение итогов урока, вовлеченность в жизнь ученика и т.д.

0

Вы используете Zoom  для проведения занятий и из Zoom собирали данные?

0

Сергей, привет, у нас своя видеосвязь на базе технологии WebRTC - https://habr.com/ru/company/skyeng/blog/446444/

0
Читать все 10 комментариев
Доказал, что миллиардеры не видят разницы между вином за $500 и $10 тысяч: история Руди Курниавана Статьи редакции

Курниаван продавал подделки под видом редких вин предпринимателям, генеральным директорам и голливудским продюсерам и обманул их более чем на $35 млн.

Руди Курниаван LA Times
Продавец eBay из Кургана стала победителем в финале Всероссийского конкурса «Молодой предприниматель России 2021»

27 ноября в Москве состоялся финал ежегодного конкурса «Молодой предприниматель России 2021». В нём приняли участие предприниматели и самозанятые в возрасте до 35 лет. Всего было подано более 300 заявок из 43 регионов страны.

И сотрудников тоже касается: кибербуллинг на рабочем месте
Design vector created by pikisuperstar - www.freepik.com
Дайджест новостей Сбера: сайт Digital Пётр, сценарии для умного дома и платина от Forbes

Прошлый дайджест мы целиком посвятили 180-летию Сбера, поэтому новостей накопилось много. Среди них — запуск сайта по распознаванию рукописей Петра I, большое обновление на платформе умного дома Sber и другие. Рассказываем всё самое интересное.

Картинка, сгенерированная ruDALL-E по запросу «рыжий котик»
Хоум кредит про меня забыли. Долг с 2009года

Решил я значит проверить свою кредитную историю на одном из известных ресурсах. И что я обнаружил? Действующий долг в #хоум_кредит с 2009 года и как следствие краснющую историю! Я конечно же позвонил в эту контору, говорю каким образом банк забыл про меня? - а вы знаете? Мы вам звонили звонили... но не дозвонились ... Так же как и вашим…

Как обманывает Учи.ру, пытаясь заработать больше денег

Сказ о том, как Учи.ру пытается в информационной рассылке под соусом щедрого предложения продать то, что можно на самом сайте купить в два раза дешевле.

re:Store продал Macbook Pro с раскладкой azerty и серийный номер ноутбка не совпадает с серийным номером на коробке
SkillFactory раздает подарки: повышенная ставка и новогодний марафон для вебмастеров

В преддверии Нового года мы решили порадовать своих настоящих и будущих партнеров — участников партнерской программы школ Skillfactory, Contented и Product LIVE. Это возможность получить денежный бонус и заодно увеличить прибыль от продажи наших курсов.

«Неслучайная случайность», или как рождаются крипто стартапы на примере Freya

Статья носит сугубо ознакомительный характер и не призывает к инвестированию в какие либо активы.

Глава американской компании Better.com уволил 900 сотрудников одним видеозвонком Статьи редакции

«Если вы сейчас смотрите это, значит вы в той невезучей группе, которую увольняют», — сказал работникам директор.

Я пришёл к вам с плохой новостью. Рынок изменился, как вы знаете, и мы должны двигаться за ним вперёд, чтобы выжить, процветать и исполнять нашу миссию. [...] Я делаю это второй раз в своей карьере и не хочу повторять. В последний раз, я плакал, но на этот раз надеюсь быть сильнее. [...] Если вы сейчас смотрите это, значит вы в той невезучей группе, которую увольняют.

Вишал Гарг
Агрегатор "Яндекс.Еда" не возвращают оплату за заказ, которого не было

Здравствуйте! Ситуация следующая, 22.10.2021 г. я сделала заказ у агрегатора доставки "Яндекс.Еда". Доставка из Магазина "Магнит". В момент списания оплаты с банковской карты за заказ заметила, что адрес доставки товара указан с ошибкой. В заказ проставился рабочий адрес, а не домашний, ехать на автомобиле от дома до работы мне 10 минут, пешком…

null