Может ли нейросеть сдать ЕГЭ по английскому на сотку?

Я уже пятнадцать лет учу детей английскому языку. Ученики рассказывают, как пользуются нейросетями везде: разговаривают через них с вымышленными персонажами, рисуют картины, делают домашку. За последнее я на них ругаюсь, говорю, что ChatGPT за них ЕГЭ не сдаст.

А вдруг сдаст? Стал думать, как устроить экзамен нейросетке и узнать, захватит ли нас Скайнет. Спойлер: пока нет, но восстание машин близко.

С доступом к ChatGPT у меня возникли проблемы, которые смог решить ботом в Телеграме. Сначала намучался с VPN, кое-как зашел, и увидел, что за самую новую и крутую версию надо платить. Я не против, но иностранной карты у меня нет.

Написал ученикам, спросил, чем они пользуются. Они скинули мне в Телеграме бота, у которого есть подписка на ChatGPT4-o. Сказали, что справляется точно так же, как официальная версия.

Решил дать нейросети решать демоверсию 2025 года, как раз недавно разбирали ее с учениками.

В экзамене по английскому есть четыре части: аудирование, тестовая, письмо+эссе и устная. Слушать аудио бот не может, поэтому в аудировании я дал ему текстовые расшифровки заданий. Устную часть нейросеть сдавала письменно.

Задания я давал боту так же, как они написаны в бланках ЕГЭ. Решил посмотреть, как он справится.

На полный балл нейросеть решила все задания на грамматику и словообразование. Это понятно, английский для ChatGPT родной, она на нем столько текста прочитала, сколько даже носители языка за всю жизнь не увидят.

Нейросеть хорошо справляется с заданиями, где к тексту дают утверждения и надо сказать: правда это, ложь, или в тексте про это ничего не сказано. Дети путаются и додумывают ответы. Если текст про булочки, но там ничего не сказано про то, что они сладкие, ученик может написать “Правда”. Он то знает, что булочки обычно сладкие. А бот идет четко по тексту, ищет конкретные цитаты и отвечает только по ним.

Есть утверждение “Джули часто работает летом”. А в аудировании фраза “Этим летом я не работаю.” Дети отвечают “Неправда”, но ответ — “Не сказано”. Тут говорится только про это лето, мы не знаем, что было в прошлые года.

Устную часть он сдал почти на максимальный балл. И то, единственный минус я ему поставил по вредности. В экзамене есть задание, в котором нужно просто прочитать текст вслух. А раз железка говорить не может, то пусть получает ноль. Можно было взять другую нейросеть, которая умеет проговаривать текст голосом. Но сдает экзамен у меня только ChatGPT, помощь и подсказки не принимаю.

Интересно, что нейросеть не допустила ошибку, за которую детям снижают баллы. Причем, как по мне, не совсем заслуженно.

В устной части есть задание, где школьнику надо представить, что он нашел два фото для школьного проекта. Дается тема, например, “Волонтерство”, и две фотографии: на одной собирают мусор, на другой ухаживают за собакой в приюте.

Здесь надо:

Учителям на всех курсах подготовки говорят, что детям нельзя говорить “На фотографии МЫ видим, что…”. Это считается за фактическую ошибку, потому что в задании написано, что мы не можем отправить фото другу. Вроде логично, но все равно похоже на придирку.

ChatGPT предпочитает пассивные предложения: “На фотографии есть…”, “На фотографии видно…” Это его и спасло.

В чтении и аудировании выяснилось, что нейросеть не может понять общий посыл текста, она ищет отдельные цитаты, которые подходят под ответы. Дети так тоже делают. Поэтому в текстах есть предложения, которые подходят под один ответ, но если прочитать все, то окажется, что ответ другой. Слабые ученики на этом теряют баллы, нейросеть тоже.

Приведу пример. В обоих разделах есть задание, где дают тексты (устно или письменно) и заголовки. Нужно понять, какой заголовок к чему подходит. В одном из текстов рассказывается, что Новый год — это время начать все с чистого листа. Автор убирается в квартире, выкидывает все лишнее. Говорит, что в других странах есть традиции, которые тоже показывают Новый год как начало новой жизни.

Правильный заголовок: “Новый год — лучшее время для новых начинаний”. Нейросеть выбрала вариант: “К Новому году важно тщательно подготовиться”. Объяснила ответ тем, что в тексте говорится про уборку перед праздником, а уборка — это подготовка.

Если бы кроме предложения про уборку там ничего не было, то ответ бы подошел. Но весь текст про другое.

Такие ошибки у него частые, но не постоянные. В заданиях на восприятие текста бот набрал 12 баллов из 20.

Больше всего баллов нейросеть потеряла в заданиях, где нужно было написать тексты: на эссе и письме. Пока я проверял и оценивал его сочинения, я понял, что искусственный интеллект здесь не виноват. Проблема в формулировках ЕГЭшных заданий.

ЕГЭ по английскому языку в целом не самый прямолинейный экзамен. В математике оценивание проще — ты либо решил задачу правильно, либо нет. А английский приходится подгонять под рамки, чтобы можно было оценивать детей. Из-за этого некоторые задания становятся не проверкой умения пользоваться языком, а заучиванием шаблонов и клише.

Больше всего баллов дают именно за письмо и эссе. Это вроде бы творческие задания, но на практике его можно и нужно зазубрить.

На бланке написано: “Напишите письмо, в нем ответьте на вопросы и задайте свои.” А в итоге приходится рассказывать детям, что еще надо дату написать по шаблону, поздороваться и сказать, как рад получить письмо. Еще надо знать структуру письма и эссе и делать все строго по ней. И еще много всего, чего в задании нет. Но если все это не сделать, снимут баллы.

Еще важно уместиться в количество слов. Если написать меньше минимума, то задание дальше даже не проверяют. Просто ставится ноль баллов. Если больше, то все лишние слова зачеркивают и не учитывают. Тут сразу теряются баллы за организацию, потому что часть заключения не влезла в текст.

Ноль могут поставить за несоответствие текста теме. Детям кажется, что невозможно написать эссе вообще не о том, но организаторы и тут придумывают ловушки.

ChatGPT потерял четыре балла на аудировании, пять на чтении, еще девять на письме и эссе. То есть 18 баллов из 82. По стобалльной шкале он набрал 68 баллов. В прошлом году средний балл среди школьников был 65,39.

Результат неплохой, но видно, что нейросеть может и лучше. Поэтому я решил поменять запросы в некоторых заданиях и дать ей экзамен еще раз.

Раз мне приходится объяснять детям, как работают критерии, то объясню и ChatGPT. Он же не виноват, что у нас половину задания дети узнают не из бланков, а от учителей.

Взял свои рекомендации для детей, переписал их под запрос для нейросети. В нем я рассказал, по каким критериям оценивается текст, дал шаблоны, клише и пример идеально написанного задания. Получилось огромное такое полотно текста.

Промт для письма:

Промт для эссе:

Но здесь у меня возникла проблема с тем, как работает бот в Телеграме. Большие тексты Телеграм сразу делит на несколько сообщений. И бот сразу начинает отвечать на них, как на отдельные запросы. Сначала пытался уместить все свои советы в одно сообщение, но не получалось оставить все важное.

Тогда я попробовал заставить бота не отвечать мне сразу, а дождаться кодового слова.

Дал нейросети переписать задания, теперь по новому запросу. Получилась машина для написания идеальных писем и эссе. Бот пишет грамотнее любого школьника, а теперь он соблюдает все требования, учитывает все критерии оценки.

Это ученики могут что-то забыть, где-то не написать нужную фразу. А у машин таких слабостей нет.

После обучения я еще раз заставил нейросеть сделать задания, оценил их и теперь у меня есть окончательные результаты. Вот сколько первичных баллов получил ChatGPT:

В итоге у него 72 первичных балла из 82.

Тем, кто ЕГЭ не застал, удобнее в пятибалльной шкале. Официального перевода баллов ЕГЭ в обычные оценки нет. Обычно мы считаем, что отличник подтвердил свои оценки, если он набрал больше 80 баллов. Так что ChatGPT заслужил свою пятерку. Хорошо, что пока без плюса.

Если вы сдаете ЕГЭ или готовите к другим экзаменам, можете тоже устроить нейросети проверку знаний. В телеграм-бота можно отправлять фотографии, чтобы он посмотрел на график или таблицу. Он запоминает до трех сообщений одновременно, так что можно сначала обучить его, а потом дать задачу. Бот запомнит инструкции и сделает все по ним.

ChatGPT в Telegram