Представляем вашему вниманию выступление проректора Московского городского педагогического университета Сулейманова Руслана Сулеймановича, к. т.н.
Я хотел бы рассказать про опыт нашего университета в плане использования искусственного интеллекта. Акцент сделаю именно на искусственном интеллекте, связанном с обработкой текстовых данных. То есть на генерации текста и на обработке уже имеющегося текста. Мы также используем искусственный интеллект для обработки видео и аудиозаписи, но об этом речь пойдет в другой раз.
В конце лета, 31 августа 2023 года, мы разместили некоторые изменения в положении о ВКР, о чем сообщили в СМИ. Новость оказалась очень популярной, и суммарно мы собрали более 80 миллионов просмотров на разных площадках.
Решение об использовании искусственного интеллекта в ВКР базируется на трех принципах. Первый принцип – мы действительно разрешаем использовать искусственный интеллект, например, такие большие языковые модели как ChatGPT, при написании ВКР и иных квалификационных работ. Второй принцип состоит в том, что обучающиеся должны ссылаться на эти инструменты. И последний, но не маловажный пункт – обучающиеся обязательно должны проверять ту информацию, которую они берут у искусственного интеллекта.
Дело в том, что мы не всегда можем верить тем ответам, которые предлагают нам нейросети.
Если задать ChatGPT вопрос, кто является главным героем романа Толстого «После бала», то он выдаст ответ − молодая девушка Наташа Ростова. Хотя мы понимаем, что на самом деле это Иван Васильевич. Нейросеть дает этот ответ из-за частотного анализа. Слова «Роман», «Толстой» и «После бала» системы воспринимаются по частотному анализу. Наташа Ростова встречается значительно чаще, поэтому он выдает ответ такой. Хотя если задать более точный вопрос, спросить о роли конкретно Ивана Васильевича в рассказе Толстого, то он скажет, что это главный герой. Таким образом, ChatGPT и другие подобные системы, хотят они того или нет, они могут генерировать информацию, которая не обязательно соответствует действительности.
Есть еще один пример. На этот раз из США.
ChatGPT обманул адвоката, придумав прецеденты, которых в реальности не было. Разбиралось какое-то дело, адвокат вместо анализа источников, которые достоверны и взяты с сайтов судов и общих каталогов юридической практики, задал вопрос ChatGPT. ChatGPT привел ему примеры. Примеры, которые сам сгенерировал случайным образом. После того, как суд заслушал то, что этот адвокат представил, на него был подан встречный иск за предоставление недостоверной информации. Нужно уделять очень много внимания проверке того, что генерируют большие языковые модели.
Мы просим студентов ссылаться на большие языковые модели, если они использовали их для написания работ. Здесь возникает проблема: сложно зафиксировать конкретное состояние страницы на тот или иной момент. Мы просим хотя бы ставить ссылки на эти системы, если студенты их использовали.
Теперь немножечко про то, как мы сами используем искусственный интеллект в образовательном процессе. Сейчас у нас в университете проводится ряд образовательных программ, которые действуют в экспериментальном виде. На парах по этим программам мы собираем данные о студентах сразу из нескольких источников. Источник первый — это видеокамеры, которые стоят в аудиториях, то есть мы снимаем студентов и преподавателей. При этом мы не различаем, кто есть кто, то есть не обрабатываем биометрические данные. Мы просто фиксируем общий фон из аудитории, смотрим, каким образом студенты себя ведут в плане вовлеченности, эмоционального фона.
Второй источник данных — это ЛМС.
Это та система, которая хранит в себя все образовательные данные по курсам, успеваемость, общение студента и преподавателя в виде обмена заданиями, комментариями и прочее. Она завязана на ВКС и наш Telegram-бот. Наши ВКС на текущий момент — это ВК-звонки и vebinar.ru.
Данные фиксируются в ЛМС по ходу обучения студента?
Данные делятся на несколько разных категорий. Первая — это активные данные. Это то, что студент самостоятельно формирует, так сказать, осознанно. Это те задания, которые он присылает преподавателю в виде эссе, либо ответов на тестирование. Это различные мультимедийные файлы, вроде презентации, видео, аудиозаписи. Вторая — это пассивные данные. Это и те данные, которые собираются в фоновом режиме по каждому обучающемуся, который использует ЛМС. То есть мы собираем данные про время входов и использование самой системы. То есть то, когда, кто смотрел какие курсы. Мы видим аналитику просмотров видеозаписей. То есть мы можем увидеть, что студент не просто зашел на страницу с видеороликом, а проиграл этот ролик, посмотрел разные его части. И анализируем устройство. И также, насколько это позволяет современной технологии, и географию, откуда этот студент зашел в ЛМС, и с какого устройства, с какой системы, как он с ней взаимодействовал. Последняя категория — это некоторые персональные данные, включая данные о входной диагностике.
На нашей экспериментальной магистерской программе у нас собирается часть данных о студенте, которая у нас уже была. То есть какие элективы он выбирает, какие образовательные результаты он получает. И плюс мы начали собирать данные о намерениях. То есть мы перед началом курса спрашиваем студента о том, что бы он хотел для себя вынести, заслушав этот курс, пройдя его и освоив все компетенции, которые предлагаются. И дальше мы планируем на выходе это сверить с выходной диагностикой, посмотреть, каким образом студент оценивает сам себя.
Теперь последний элемент схемы — Telegram-бот.
Это персональный бот в обучении для студентов. На текущий момент мы сделали экспериментального бота, работающего через Telegram. И этот бот имеет два источника данных. Источник первый — это большая языковая модель, ChatGPT 3.5. Мы экспериментируем с разными другими большими языковыми моделями. Но пока инструменты для связки с этими самыми моделями наиболее продвинуты, на мой взгляд, именно у компании OpenAI. И в этот движок, в этот механизм обмена данными встроен дополнительный контекст, касающийся нашей образовательной программы. Наша образовательная программа, в которой проводится данный эксперимент — это «Руководитель образовательной организации». Соответственно, туда загружен контент, относящийся к теме образования, управления образованием и образовательной политики. Мы берем и либо специализированным образом загружаем материалы, которые у нас ранее были по курсу, в частности, эссе студентов, какие-то материалы преподавателя. Либо мы самостоятельно просто пишем статьи, если мы видим, что бот выдает неправильную, некорректную информацию, то есть мы дообучаем этого бота, чтобы он выдавал по данному контексту более релевантную, правильную информацию.
И вторая завязка — это завязка с нашей LMS. Туда загружается более персонализированная информация для каждого студента. То есть всякие напоминания о заданиях LMS, ссылки на удаленные подключения, если они требуются, объявления преподавателей. Все это в комплексе нам доступно в виде бота.
Зачем этот бот нужен?
Почему мы, в принципе, не просто разрешили студентам использовать подобные системы, а ещё и даем им бота? Во-первых, мы здесь пытаемся достичь такой образовательной функции, что мы, наоборот, стимулируем людей пользоваться этими технологиями, не ограничивая их, а, наоборот, обучая для того, чтобы они владели в дальнейшем навыками этого использования. На наш взгляд, если человек использует подобные технологии, то в будущем он будет более конкурентоспособен, чем те люди, которые это не делают. Мы решаем еще несколько попутных задач.
Первое, мы фиксируем входящие запросы, чего мы не можем делать в случае, если студент делает это самостоятельно, и соответственно мы можем посмотреть, какие запросы студенты отправляли, и какие ответы получали из большой языковой модели. Второе, мы можем посмотреть, как именно студенты использовали ответ большой языковой модели. В случае, если студенты делают это самостоятельно, мы не видим, как это происходит, и не можем знать точно, использовал ли студент большую языковую модель или нет.
Зная историю запросов, мы можем понять, скопировал ли студент свой ответ из того, что дал ему бот, написал сам или скомпоновал, изменил 50% того, что выдала ему большая языковая модель. Мы можем фиксировать принципы вынесения правок в эти ответы от искусственного интеллекта.
Как это все может помочь обучению? Мы можем включать туда, как делает Академия Кана, разных помощников, то есть студент может обсуждать то или иное задание с искусственным интеллектом, в любой момент времени, и он ему будет что-то советовать. В случае, если мы обучаем бота с контекстом на трудах какого-то автора, то мы можем играть с ботом – заставлять его представить, что он какая-либо историческая личность. Это можно использовать при дебатах.
Мы также можем давать обратную связь, говорить, что можно улучшить по результатам использования, по результатам тех заданий, которые студенты туда загружают и так далее.
Какие данные мы собираем в ходе этого эксперимента?
Большая часть данных, это, разумеется, текстовые данные, и текст мы характеризуем по абсолютно разным типам характеристик, начиная от базовых характеристик, заканчивая какими-то более сложными вещами, вроде эмоциональной окраски текста, сложности. Конечно же, это плагиат авторства, насколько это возможно, потому что у нас подключены модули по автоматической проверке текстов в «Антиплагиате». Дальше, если мы собираем, например, видеозаписи со студентов, где они презентуют тот или иной материал, либо если это записи с пар, то мы можем это видео также перевести обратно в текст при помощи механизмов транскрибирования и использовать анализ всех тех текстов, которые раньше мы анализировали как обычно.
С видео у нас появляются дополнительные метрики. Мы можем распознавать вовлеченность, определять эмоции, позы, жесты, и все это по итогу сравнивается с результатами обучения. Нам, как педагогическому университету, крайне важно понять, каким образом и какие движения, эмоциональный фон влияют на образовательные результаты. И те самые пассивные следы, о которых я говорил ранее. Все это позволяет нам составлять дополнительные рейтинги, подборки, которые в будущем позволяют студентам и самим преподавателям понимать, как можно улучшить в той или иной степени образовательный процесс. То есть это некоторый инструмент для дополнительной обратной связи для педагогов. И все это можно распространять не только на самих студентов, но также и на преподавателей.
Немного о перспективах.
Как мы видим в дальнейшем использование всего этого. Можно включать дополнительные разные модули по развитию потенциала, выявлению скрытых возможностей, скрытых диагностик. Бот, помимо общения с пользователем, может собирать еще статистику и формировать некоторое такое персонализированное «ботовское» мнение, и в дальнейшем от результатов того или иного студента делать ему индивидуальную образовательную траекторию.
Мы можем выявлять тревожность как по видео, так и по телевизору. Т. е. мы можем делать это по тексту, точнее стараться это делать. Это нас может фактически уведомлять об существенных изменениях, например, в эмоциональном плане студента по ходу семестра. И мы также можем строить предсказания, прогнозы, что ждет студента в будущем, моделировать зоны его ближайшего развития, включая те или иные элементы профориентации.
Полное видео ректора МГПУ можно посмотреть по ссылке >>>