Измерить неизмеримое: как машинное обучение помогает определить уровень владения языком для конкретных задач

Автор материала Виктор Склизнев, аналитик Skyeng

Один из важнейших стимулов в любом обучении – возможность видеть свой прогресс. Если вы ходите, например, в бассейн, где ежедневно тренируетесь на дистанции 100 метров, то через месяц вы будете проплывать ее быстрее, что наглядно покажет секундомер. Если вы изучаете программирование или любую другую линейную науку, то после каждой главы учебника вы будете получать новый навык, пока не освоите предмет целиком. Можно ставить цели, рисовать дорожную карту и рассчитывать время для их достижения. Наблюдение прогресса – мощный стимул продолжать обучение, ставить новые задачи, двигаться вперед.

С изучением языков подобный фокус не проходит. Человек, далекий от методологии, не может сказать, «на сколько процентов» улучшилось его владение языком после урока. Студент, изучающий английский ради поездок на зарубежные конференции, не имеет представления, насколько он стал ближе к своей цели, изучив тему “Презентации” или “Неформальное общение”.

Из-за отсутствия ясных метрик прогресса теряется мотивация, ученики пропускают уроки, а иногда и вовсе забрасывают обучение.

Для нас в Skyeng вопрос поддержки мотивации и, как следствие, измерения прогресса всегда был приоритетным. Но если в запоминании слов (мобильное приложение) его еще хоть как-то можно посчитать «в штуках», то как быть с грамматикой, навыками разговорной речи и прочими «базовыми» вещами, изучаемыми на уроках?

Дробление навыков

Почти все из нас учили в школе физику и химию. Но многие ли из этих знаний сохранились в голове, если мы не работаем в этих областях? Только те, что мы регулярно применяем в жизни.

С одной стороны, с языком ситуация похожая. Большинство студентов учат его для решения конкретной жизненной задачи, а это значит, что для достижения результата разные навыки имеют разное значение: на каких-то надо сконцентрироваться, а какие-то можно за ненадобностью опустить.

С другой стороны, язык – не точный предмет вроде математики. Нельзя сказать, что изучив три времени и 50 неправильных глаголов, можно овладеть таким-то навыком, равно как и нельзя сказать, что им нельзя овладеть. Поэтому измерять прогресс линейно, по мере прохождения материала, нецелесообразно.

Организация Pearson при разработке своей Global Scale of English провела масштабное исследование на более чем 6000 учителях английского по всему миру с целью определить типовые навыки владения английским и отранжировать их по сложности освоения. Оно легло в основу нашей модели.

Для начала, владение языком делится на направления, такие как: грамматика, аудирование, говорение, чтение, письмо и др.

Потом каждое из этих направлений делится на большое количество «атомарных» умений – не абстрактно-научных типа «знать времена в английском», а применимых в жизненных ситуациях. Например, «описать чьи-нибудь хобби» (говорение), «прочитать инструкцию к прибору» (чтение), «понять рекомендации врача на приеме» (аудирование). В текущем варианте наша модель содержит более 1200 подобных навыков. Под каждую отдельно взятую цель ученика можно подобрать необходимый для ее достижения набор, и уже на основе этого набора и степени владения им со стороны ученика строить программу обучения.

Это, конечно, здорово, если бы не одно НО: даже разово оценить набор, состоящий из сотни-другой умений сложно, долго и дорого, не говоря уже о том, чтобы оценивать его в реальном времени.

Здесь-то и приходит на помощь моделирование и машинное обучение. Во-первых, между навыками устанавливаются связи, которые бывают:

• грамматическими, когда, например, зная как задавать вопросы в прошедшем времени, студент скорее всего знает, как их задавать в настоящем;

• когнитивными, когда всё, что студент может сказать, он с некоторой вероятностью сможет расслышать из уст другого человека;

• контекстными, когда владение некоторым навыком говорит о владении смежными (умеешь заказать такси? Сможешь забронировать номер в гостинице).

Во-вторых, с помощью машинного обучения вычисляется уверенность, с которой мы по уровню владения одним навыком можем говорить об уровне владения другим.

И, наконец, итеративно проходя по списку навыков и оценивая на их основании навыки, связанные с ними, мы можем получить информацию по всему списку. Таким образом, обладая фрагментарными сведениями о навыках ученика, мы с помощью модели строим полную предположительную карту его навыков.

На нашей платформе – множество единиц обучающего контента с обратной связью. Когда студент что-то на ней делает, он получает отклик: правильно или нет. Мы собираем эти флаги, связываем их с умениями из нашего списка и таким образом оцениваем его прогресс. Сейчас в автоматическом режиме можно оценить навыки грамматики и письма, с остальными пока сложно. Например, нет достаточно обученных средств распознавания неродной речи. Задача автоматически распознать именно ошибку в произнесенном неносителем слове (а не принять это слово за другое) – это работа на годы, поэтому пока это делается в полуавтоматическом режиме: оценку ставит учитель, алгоритм связывает ее с аналогичными умениями. Но мы будем стараться уходить от субъективных оценок.

Где это применимо?

Мы всегда стараемся понять, с какой целью к нам пришел новый студент, это помогает нам правильно подобрать ему курс и преподавателя. С помощью системы умений мы сможем подобрать под эту цель список необходимых умений. Это не значит, что тренировать мы будем только их, но с помощью связей мы можем косвенно следить за их прогрессом. Уже во время пробного занятия мы сможем с помощью системы связей присвоить всем необходимым умениям определенные оценки, понять, насколько далеко ученик от поставленной цели и составить ему наиболее эффективную программу, исключив все лишнее. В перспективе мы надеемся научиться делать это автоматически, и на лету корректировать программу, если в процессе обучения выясняется, что в первичную оценку закрались ошибки.

Пока мы тестируем эту систему на небольшой группе учеников, по результатам будем ее оптимизировать и докручивать.

В идеале мы сможем полностью автоматизировать процесс сбора информации и уточнения оценок после каждого действия ученика, будь то выполненное упражнение в домашке или на уроке, пройденная тренировка слов в приложении или посещение разговорного клуба. Тогда мы сможем в любой момент времени демонстрировать ученику подробную оценку его текущего уровня владения английским, прогресс в обучении, что подзабылось, какие остались пробелы. А зная цели конкретного ученика, сможем строить для него индивидуальную траекторию обучения и динамически адаптировать её по ходу обучения.