Как научить искусственный интеллект обучать людей математике: опыт Plario

Приветствуем вас в блоге томского IT-сообщества! Здесь мы пишем об интересных кейсах и опыте томских IT-компаний по разработке и продвижению своих продуктов. А еще мы проводим медиаконференцию «Город IT 2020: продуктовый сезон», где будем обсуждать темы, которые будут затрагиваться в этом блоге. Больше информации о Городе IT 2020 можно найти тут.

В этой статье компания ENBISYS поделится своим опытом разработки систем адаптивного образования. Передаём им слово.

Меня зовут Дмитрий Бубнов, и вот уже 14 лет я руковожу компанией ENBISYS. Мы помогаем крупным западным клиентам на пути к цифровизации. Кроме услуг классической заказной разработки, в 2016 г. мы создали лабораторию машинного обучения и с тех пор накопили значительный опыт работы с большими данными.

Наша компания реализовала несколько проектов по созданию систем адаптивного обучения в Западной Европе. Работая с этими проектами, мы увидели возможность улучшить качество образования в России за счёт умных алгоритмов на технологиях машинного обучения. Именно этим мы занимаемся с 2018 года в партнерстве с Томским государственным университетом и другими ведущими вузами страны

В этой статье поделимся нашим опытом по созданию Plario.ru. Это онлайн-платформа адаптивного обучения математике для старшеклассников и первокурсников. Расскажем про технологические подходы к созданию таких систем, технологии, используюемые за рубежом, а также о том, как и зачем их можно дорабатывать.

Для начала разберёмся, что такое адаптивное обучение, и чем оно отличается от неадаптивного. Из названия очевидно, что адаптивное обучение подстраивается под особенности конкретного ученика, его уровень знаний и потребности.

Хорошим примером адаптивного обучения является индивидуальная работа с репетитором. В процессе работы с подопечным хороший репетитор выявляет имеющиеся знания, фиксирует пробелы, а также определяет, как ученик лучше всего усваивает новые знания.

Развитие технологий позволило тиражировать этот подход. Современные системы онлайн-обучения могут варьировать последовательность обучающих материалов в соответствии с индивидуальным прогрессом учеников, который определяется по их ответам на вопросы и задания.

Какие задачи призваны решать системы адаптивного обучения, и почему они стали таким мощным трендом современного образования?

Ответ кроется в желании современных пользователей:

• Формулировать цели обучения на понятном языке;
• Достигать их за максимально короткое время;
• Отслеживать прогресс;
• Учиться в любом месте в любое время.

Чтобы обеспечить процесс обучения в подобном формате, недостаточно «оцифровать» учебники и лекции. Нужно научить систему помогать пользователям осваивать только необходимые им навыки.

Таким образом, современное образование должно быть:

• индивидуализировано (т.е. адаптивно);

• гранулировано (представлено в формате микроконтента);
  

• социализировано (коммуникация внутри платформы и за ее пределами);
  

• непрерывно.
  

Именно для этого создаются системы адаптивного обучения, где основная задача адаптивности – это выбор наиболее подходящего контента для учащегося в соответствии с его цифровым следом.

Существует несколько видов адаптивных систем:

• Machine learning based. Искусственный интеллект распознает паттерн, создается цифровой двойник как база для прочих алгоритмов;

• Advanced algorithm. Данные алгоритмы записывают клики и интервалы, сравнивают с другими студентами, пересчитывают траекторию;
  

• Rules based. Такие системы предусматривают несколько траекторий и обеспечивают грубую индивидуализацию;
  

• Decision trees. Эти алгоритмы содержат фиксированные жесткие условия «если-то»: если ученик неправильно ответил на вопрос T1, то показать теорию или вернуть назад к навыку X2.
  

Среди наиболее успешных и подтвердивших свою эффективность платформ можно выделить:

• Knewton;
• ALEKS;
  
• LearnSmart;
  
• RedBird.
  

Большинство из них являются очень сложными и дорогими для использования в российских вузах и школах. Эти системы используют формальные математические модели для представления и оценки состояния обучающегося, например, расширенную Item Response Theory (IRT) в Knewton, или Knowledge Space Theory / Learning Space Theory в ALEKS. Кроме того, адаптивная логика, как правило, предполагает использование «больших данных» (обрабатываемых методами машинного обучения и глубинного анализа данных).

Также, в интеллектуальных обучающих системах широко применяют алгоритм Bayesian Knowledge Tracing (BKT), представляющий знание студента (степень владения определённым навыком) как скрытую переменную в марковском процессе, обновляемую путём наблюдения правильности / ошибочности взаимодействия студента с системой, в котором он применяет рассматриваемый навык (решает задачу, требующую владение навыком).

Компания enbisys совместно с Томским государственным университетом реализовала задачу «выравнивания» уровня владения навыками элементарной математики с использованием технологий адаптивного обучения в онлайн тренажёре Plario.ru.

Математику как предметную область мы решили выбрать в силу нескольких причин: данный предмет достаточно просто разложить на необходимый и логичный «гранулярный» контент. Кроме того, существует объективная проблема: студенты, поступающие в вуз, находятся на самых разных уровнях подготовки по математике, и, зачастую, этого уровня недостаточно для изучения более сложной вузовской программы.

Это негативно сказывается на эффективности групповых аудиторных занятий, т.к. преподавателю крайне сложно адаптировать состав и темп подачи материала к фактическому уровню каждого студента. Помимо этого, есть необходимость дополнительно заниматься математикой и у учащихся старших классов школ с целью подготовки к ЕГЭ.

Plario.ru состоит из 6 обучающих модулей: преобразование алгебраических выражений, тригонометрия, логарифмы, уравнения, неравенства, функции.

Каждый модуль — это совокупность взаимосвязанных «навыков» (от 30 до 60), где каждый «навык» соответствует конкретному умению/способности использовать определенный набор теоретических знаний из этой темы для решения практических задач. К каждому навыку привязано множество «учебных материалов» (теоретических материалов и практических задач), работа с которыми и составляет основу тренировочного процесса.

Состояние знаний (модель) студента представляется совокупностью пар (навык, мастерство). Мастерство – это степень освоения навыка, уверенность в том, что студент освоил этот навык. Мастерство может принимать значения в диапазоне от 0 до 100%. Навык считается освоенным, если уверенность в его освоении превышает некоторое пороговое значение, например, 90%.

В ходе разработки системы мы учли следующие требования:

1. При использовании Plario.ru учащийся должен достичь целевого состояния – освоить все навыки с уверенностью не ниже порогового значения, например, 90%. Это означает, что с вероятностью 90% студент будет владеть навыком на необходимом уровне.

2. Исходный уровень подготовки студента позволяет определить, какие именно навыки ему нужно тренировать и с какого навыка необходимо начать процесс обучения. Plario.ru должна диагностировать входной уровень знаний студента с детализацией по каждому навыку.

3. Для достижения целевого состояния каждому студенту требуются разное количество учебных материалов различного уровня сложности. Система должна предоставлять то количество учебных материалов различной сложности, которое будет достаточным для освоения каждого навыка. Чтобы исключить вероятность механического запоминания правильного ответа, предусмотрена избыточность контента.
4. Текущее состояние студента (мастерство по каждому навыку) должно быть доступно в каждый момент времени.
   
5. Система должна предлагать студенту индивидуальную последовательность учебных материалов, соответствующих его текущему состоянию.
   
6. Теоретические материалы должны быть доступны студенту в полном объеме независимо от текущего состояния.
   

Таким образом, Plario.ru состоит из следующих блоков:

• адаптивный алгоритм;
• модель предметной области в виде онтологий (графов навыков);
  
• диагностический алгоритм.
  

Из-за особенностей предметной области (математики) в Plario.ru мы решили использовать расширенную версию алгоритма BKT (Bayesian Knowledge Tracing), отличающуюся от стандартной возможностью:

• задавать индивидуальные значения вероятностей «transit», «slip» и «guess» для каждой связи «учебный материал» – «навык»;

• соотносить учебные материалы более чем с одним навыком;
  

• задавать зависимости типа «пре-реквизит» между навыками.
  

Расширенная версия BKT в Plario.ru обеспечивает динамическое формирование индивидуальной траектории обучения, когда траектория меняется после выполнения каждого задания.

Данный алгоритм позволяет оценивать текущее состояние студента (какими навыками владеет и какие навыки готов осваивать) после каждого совершенного взаимодействия с системой в виде ответа на предложенное задание.

Поскольку на начальном этапе мы не имели реальных фактических данных о параметрах и результатах обучения, для реализации рекомендательной части системы (адаптивной логики) мы решили использовать алгоритм ранжирования материалов, исправленный и дополненный в соответствии с требованиями к системе. Со временем, после накопления достаточного количества данных, мы планируем перевести механизм адаптивной логики на технологии машинного обучения.

Адаптивность процесса обучения обеспечивается гибким алгоритмом рекомендации упражнений для студента, который обеспечивает:

• ускоренное устранение пробелов;

• непрерывность процесса обучения;
  

• готовность пререквизитов (уровень освоения, достаточный для продвижения далее).
  

Модель компетенций для каждого модуля в Plario.ru была разработана группой экспертов ТГУ и представляет собой ориентированный ациклический граф, в котором:

• вершины – это конкретные навыки (например, «Выносить за скобки общий множитель», «Группировать слагаемые»);

• дуги – это зависимости между навыками, где начальная вершина соответствует навыку-пре-реквизиту, а конечная вершина – зависимому навыку;
  

• зависимости имеют «силу», описывающую «степень обязательности» изучения пре-реквизита для перехода к изучению навыка (где 1 – максимальная степень зависимости, не допускающая перехода к освоению зависимого навыка, если не освоен навык-пре-реквизит).
  

Состояние знаний студента в каждый момент времени (модель студента) может быть представлено как совокупность навыков, для каждого из которых определено индивидуальное значение мастерства (уверенности в том, что данный студент освоил данный навык). В результате наложения модели студента на граф навыков мы получаем индивидуальный граф навыков конкретного студента.

Таким образом, процесс обучения в упрощённом виде представляет собой продвижение по индивидуальному графу от освоенных навыков к неосвоенным в соответствии с зависимостями между ними.

Образовательный контент для Plario.ru создается экспертами ТГУ в соответствии с разработанной ими методикой. Она основана на следующих принципах:

• Высокая степень гранулярности – приоритет «микродоз» контента, которые нацелены на прояснение / тренировку небольшого по объёму, но целостного по смыслу элемента знаний (применения конкретного правила, формулы), для освоения которых не требуется много времени;
• Независимость единиц контента друг от друга, позволяющая комбинировать их в любой последовательности;
  
• Приоритет практической составляющей над теоретической.
  

Образовательный контент в Plario.ru состоит из:

• Теоретических материалов, представленных преимущественно фрагментами справочной информации или примерами решения задач с пояснениями;
• Практических задач, играющих в системе двоякую роль: обучающую и контролирующую.
  

При создании учебных материалов в системе они описываются в соответствии с требованиями расширенной версии BKT, используемой в Plario.ru. Отдельное место занимают тестовые задачи, используемые для диагностики входного уровня. На этапе диагностики важно за минимально возможное время максимально достоверно определить мастерство по каждому навыку. В связи с этим к подготовке диагностических задач предъявляются несколько иные требования:

• Количество и сложность задач должны быть подобраны таким образом, чтобы среднестатистический студент мог выполнить весь тест не более, чем за 2 академических часа;
• Задачи должны покрывать все навыки модуля;
  
• Каждый навык должен быть, по возможности, покрыт более чем одной задачей для минимизации влияния случайных ошибок / угадывания;
  
• Неправильные ответы являются источником дополнительной информации о имеющихся пробелах в знаниях и должны давать возможность использовать её.
  

Платформа Plario.ru проектировалась как система, работающая без участия преподавателя. Преподаватель в ней осуществляет контроль над прогрессом обучения, но непосредственно не вмешивается.

В данный момент мы дорабатываем платформу под другие предметы и добавляем возможность помощи преподавателю во время образовательного процесса.

Система Plario будет улучшена и трансформирована в цифровой учебно-методический комплекс, позволяющий:

• Индивидуально выдавать домашние задания и контролировать выполнение в зависимости от целевого состояния, заданного преподавателем, и успеваемости обучаемого;
• Предлагать преподавателю оптимальный план курса / предмета с учетом специализации обучаемых;
  
• Выявлять таланты и отстающих учеников и помогать преподавателю корректировать целевые показатели обучения;
  
• Обеспечивать интерфейсы для различных предметов (видео, AR/VR контент, проверка логики решения задачи итд).
  

В условиях новой реальности и развития технологий системы адаптивного обучения должны максимально индивидуализировать процесс освоения навыков и помогать преподавателю, делая весь процесс смешанного обучения приближенным к индивидуальному.

Pario.ru — это удачный пример создания адаптивной системы, решающей реальные проблемы студентов и преподавателей. Концепция платформы соответствует приоритетной задаче вузов, связанной с цифровизацией образовательной среды.

Благодаря задействованию умных алгоритмов, онтологий и экспертности ведущих математиков ТГУ, система Plario.ru трансформирует процесс выравнивания знаний студентов в математике, снимает нагрузку с преподавателей, освобождает их от рутинной работы и помогает снижать загрузку аудиторий. В течение 2019 и 2020 г. система Plario.ru была внедрена в 5 вузов РФ, а также 6 школ с общим количеством пользователей свыше 5000.