Искусственный интеллект VS рекрутер: как в Skyeng набирают учителей
Как сделать так, чтобы 110 000 учеников оставались довольны учебой? Разумеется, найти для них отличных учителей! Сейчас в Skyeng 13 000 преподавателей, и каждый месяц более 100 новых претендентов приходят на один только английский язык. Чтобы проверить знания и умения всех кандидатов, эйчарам пришлось бы работать 24/7. На помощь нам пришел искусственный интеллект. Как ИИ отбирает кандидатов в Skyeng, расскажу я, Таня Быкова, тимлид команды проверки аудиоинтервью.
Спойлер: качество работы ИИ и человека почти не отличается. А вы готовы попробовать обхитрить нашу нейросеть? Осторожно: есть риск начать преподавать в Skyeng.
1. Что такое «Эмелька» — и как ее покорить
«Эмелькой» мы в Skyeng ласково зовем нашу нейросеть ML (Machine Learning) для проверки аудиоинтервью кандидатов. С ее появлением жить стало легче и преподавателям, и командам отбора. Чтобы вы понимали масштаб решенной проблемы, кратко опишу, как проходит набор преподавателей в нашу онлайн-школу.
Представим, что вы уже готовы преподавать в Skyeng. Какой путь вас ждет:
- Вы подаете заявку на сайте, заполняете небольшую анкету, открывается окно для записи аудиоинтервью (ACV). Записываете 4 голосовых ответа на 4 вопроса о себе и своем опыте преподавания.
- Если уровень английского и опыт преподавания «ок», то получаете на имейл инструкции, как пользоваться нашей интерактивной платформой, и стандарты проведения онлайн-урока (вводное обучение).
- Проходите тренировочный урок с методистом. Если урок проведен на высоте, то получаете офер.
- Принимаете офер, заполняете свой профиль преподавателя, выбираете часы для уроков. И все — добро пожаловать в команду!
Раньше узким местом отбора было именно аудиоинтервью. Оно заставляло кандидатов понервничать.
В чем же была сложность с аудиоинтервью?
В нехватке времени. Раньше каждое аудиоинтервью прослушивал методист. Он вручную прописывал в нашей базе все характеристики кандидата: возраст, опыт, образование. И самое важное, что оценивал методист — английский язык.
Представьте, приходит по несколько сотен аудиоинтервью в день — методисты просто физически не могут оперативно прослушать все записи. В среднем очередь на проверку доходила до 48 часов. Нужно было сократить время ожидания до трех часов.
Заставлять кандидатов долго ждать и переживать не хотелось. К тому же было архиважно скорее выводить преподавателей к ученикам, жаждущим учить английский.
Нужно было что-то кардинально менять. Проблему решила ML (Machine Learning).
Эмелька — ИИ-методист, который проверяет записи кандидатов, опираясь на базу данных с тысячами записей аудиоинтервью Skyeng. Наши разработчики сами ее создали и обучили.
Как сейчас проверяют аудиоинтервью:
Абсолютно все записи прослушивает Эмелька. Одну запись она проверяет всего за 3–4 минуты.
- Эмелька дает оценку аудиоинтервью от 0 до 100 баллов:
Кандидаты, чьи записи получили от Эмельки от 0 до 39, получают отказ. Такой уровень владения английским нам не подходит.
Кандидаты, набравшие от 50 баллов, автоматически проходят вперед, это отличный результат.
- Записи с оценкой от 40 до 49 отправляются на перепрослушку методистам. Это пограничные баллы, нужен человек, чтобы точнее определить, прошел ли кандидат нужную нам границу владения языком.
Лично я тоже прослушала и оценила сотни интервью. И сама проходила — нейросеть оценила меня на 55 баллов. А вы бы сколько набрали, как думаете? Проверить можете по ссылке.
! Сверхважная информация, как получить 50 баллов от ML
Хотите преподавать в Skyeng, но испугала наша беспристрастная нейросетка? Подготовила для вас памятку, как ее покорить.
Что любит Эмелька:
- чистую плавную речь;
- лексику и грамматику средних и высоких уровней;
- правильное произношение, интонирование.
Что не любит Эмелька:
- долгие паузы;
- лексику и грамматику низких уровней;
- слова-паразиты (даже английские) и всякие «э-э-э» и «хм-м-м»;
- плохое качество звука и шумы на заднем фоне;
- ошибки в произношении.
Понимаю, что бывает сложно учесть все сразу — и лексику, и интонацию, и произношение. Но, по крайней мере, «любимые» -th, -er и -ght произносить надо максимально грамотно. Бывает, что кандидаты в спешке указывают даже неправильный пол, год рождения (был и «10-летний» преподаватель с огромным опытом).
Кстати! До того как нажать «Отправить», ответ можно прослушать и перезаписать. Лучше посомневаться, чем отправить вызванное волнением «I is teacher».
Уже представили, какой балл вам поставит Эмелька, и готовы попробовать? Бросьте вызов нейросетке и дерзайте!
Что делать, если получите отказ?
Не бойтесь пробовать еще раз. Если ваше аудиоинтервью не пройдет отбор, то мы вас проинформируем, когда можно будет повторно подать заявку. Первые неудачи ничего для нас не значат, если вы совершенствуете свой английский и методику преподавания. В этом мы тоже протягиваем руку помощи — пишем полезные статьи на портал skyteach. ru.
Итак, кратко:
До Эмельки было долго: переживающие кандидаты, ждущие ученики, уставшие методисты-рекрутеры.
С Эмелькой стало быстро: спокойные преподаватели, счастливые ученики, полные сил на новые проекты методисты.
Если у вас возник вопрос «Что это за методисты, которых легко заменить какой-то нейросеткой?» или «Получается, что достаточно обмануть ИИ — и ты в Skyeng?», то читайте дальше.
2. Немного внутрянки ML
Как и писала выше, Эмельку мы разрабатывали сами — внутри Skyeng. Это не «какая-то нейросетка», а любимое детище, которое мы долго придумывали и обучали, чтобы не подвести преподавателей и учеников. Я попросила проджект-менеджера Марину Билан рассказать, как внедрялась Эмелька и занимается ли кто-нибудь ее улучшением.
На ML переходили почти год, это происходило в 3 этапа:
1 этап — обучение. Разработчики обучали нейросетку и отслеживали сходимость с ручными результатами методистов, после успехов доверили ML проверять небольшую часть записей.
2 этап — калибровка результатов. Методисты дополнительно прослушивали проверенные Эмелькой записи.
3 этап — дообучение. Мы продолжили обучать нашу нейросетку и доверили ей прослушивать большую часть аудиоинтервью. По сути, этот этап не останавливается. Мы постоянно дообучаем нейросеть на новых данных
3. Человек, где твое место?
Напомню, что живые методисты проверяют кандидатов, которые получили пограничные баллы. Их записи Эмелька не смогла признать однозначно плохими или хорошими. Кто же они, эти методисты ACV, почему мы им доверяем? Может, лучше было просто по-другому распределить баллы в нейросетке?
Методисты ACV — действующие или бывшие преподаватели Skyeng. Их уровень английского — Advanced (минимум), подтвержденный сертификатами, и соответствующее образование. Они решают следующие вопросы:
- Если качество аудио плохое, то отправляют просьбу перезаписать аудиоинтервью.
- Если вопрос именно во владении английским, то они по перечню критериев проверяют запись и принимают решение об отказе или пропуске кандидата на следующий этап отбора.
Еще я, чтобы убедиться в качестве проверки, сама сравниваю, как кандидаты после ИИ и методистов прошли тренировочный урок: какие баллы получили на аудиоинтервью, получили ли приглашение в команду и т. п.
Бывает, что у кандидата во время записи аудио на заднем фоне гавкает собака, Эмелька может посчитать это за слова-паразиты, зато методист сразу с этим разберется.
Или, например, нейросетка срезала баллы за паузы, а методист при перепрослушке понимает: кандидат просто разволновался, но по лексике и описанию опыта явно может преподавать английский для IT.
4. Обманул ИИ — и что дальше?
ACV не последний этап отбора. Судьба кандидата находится в руках методистов тренировочного урока. Это уже другая команда, не ACV. Кстати, методисты тренировочного урока не смотрят оценки аудиоинтервью, чтобы оставаться непредвзятыми.
Тренировочный урок — репетиция настоящего урока на нашей образовательной платформе, только в роли ученика выступает методист. Он дает обратную связь кандидату и заполняет форму анализа урока и скиллов. Данные обрабатывает беспристрастная система: за ней — финальное решение.
Сможет ли в итоге ИИ проводить и тренировочный урок? Наш руководитель команд адаптации и тренировочных уроков Саша Седенко уверен, что нет, покуда ИИ не будет достаточно хорош, чтобы пройти тест Тьюринга.
Большую роль играет адаптация методиста под каждого кандидата, и мы не только оцениваем урок, но и даем фидбек по развитию. У меня одна кандидатка за 3 года 5 раз пыталась попасть в Skyeng, трижды она проводила тренировочный урок со мной в качестве методиста.
Первый раз был совсем плох, второй — лучше по методике, в третий раз я признался, что горжусь ей. То, что она раз за разом возвращалась, для меня показатель того, что ей понравилась наша школа, а наши советы помогли ей достичь цели
5. Вывод
Сейчас ИИ активно внедряют везде. Речь не о хайпе, а о весомых решениях для бизнеса и клиентов. Мы в Skyeng стремимся быть передовыми и для учеников, и для преподавателей, поэтому используем технологии для оптимизации процессов. Но пока нет ответа на вопрос «Мечтают ли андроиды об электроовцах?», полностью заменить человека в коммуникации с другим человеком невозможно. Может быть, это и к лучшему.
А вы кому больше верите при оценке своих навыков: нейросети или другому человеку? Ждем ваших комментариев и, конечно, ждем вас в нашей школе в роли учителей или учеников.