Как нейросеть справилась с задачами для золотых медалистов
Нейросети умеют писать код, составлять юридические документы, проходить экзамены и решать задачи по физике. Возникает логичный вопрос - может ли нейросеть быть полноценным интеллектуальным собеседником, готовым конкурировать в сложной предметной области?
Мы решили проверить это экспериментально. В качестве теста были выбраны три задачи с Всеросийской олимпиады "Высшая проба" по математике для 11 класса - уровня золотой медали. Модель для теста - ChatGPT 4o. Решения каждой задачи, сгенерированные языковой моделью, сравнивались с официальными критериями проверки, применяемыми жюри при помощи преподавателя математики.
Результаты оказались показательными.
Задача 1
Задача 11.1. (15 баллов) Дан выпуклый многогранник. Разделим длину каждого ребра на сумму длин остальных рёбер и вычислим сумму полученных дробей. Докажите, что полученная сумма меньше 1,5.
Ответ от Chat GPT
Оценка решения
Комментарий преподавателя по математике: решение заслуживает ±, поскольку ИИ использовал идею "ребро < 1/3 суммы", но не доказал это строго, опираясь на геометрию многогранника (грани, неравенства, контрпримеры и т.п.).
Чтобы получить 15 баллов, нужно было:
- либо привести геометрическое доказательство,
- либо явно использовать свойства граней многогранника,
- либо обосновать оценку через конкретную структуру.
Итоговая оценка: 10 баллов
Задача 2
Задача 11.2. (15 баллов) Многочлен P(x) со старшим коэффициентом 1 имеет только целые коэффициенты, среди которых есть отрицательные. Обязательно ли многочлен (P(x))2025 имеет хотя бы один отрицательный коэффициент?
Ответ от Chat GPT
Оценка решения
Комментарий преподавателя по математике: решение игнорирует возможность конструктивных контрпримеров, где отрицательные коэффициенты не появляются в степени.
Иными словами, ИИ сделал глобальное обобщение на основе частного примера, что в математике недопустимо.
Итоговая оценка: 5 баллов
Задача 3
Задача 11.3. (15 баллов) Дан шестиугольник ABCDEF, в котором AF = CD, BC = EF, ∠A + ∠D = ∠B + ∠E = 180◦ . Докажите, что 2CF ⩾ AB + DE.
Ответ от Chat GPT
Оценка решения
Комментарий преподавателя по математике: объяснение не соответствует ни одному из критериев таблицы, потому что:
- Не приведено полноценное доказательство;
- Нет построений, углов, равенств или чёткой геометрической логики;
- Отсутствует даже базовый факт из таблицы: "доказано, что ABCDEF вписанный".
Итог: 0 баллов
Что же мы видим в итоге
По трём задачам суммарный результат модели составил 15 из 45 возможных баллов. Ни одной задачи модель не решила полностью. В двух случаях ответ оказался неполным или поверхностным, в одном - ошибочным по существу.
Т.е., это наглядно демонстрирует главное ограничение языковых моделей: они не проводят формальных рассуждений в математическом смысле, а лишь воспроизводят статистически вероятные цепочки текста. Они могут генерировать идею, иногда - фрагмент доказательства, но не выстраивают логически завершённое и строгое решение.
Для сложных задач, где требуется строгость, конструкция и анализ, поведение нейросети существенно уступает уровню человека. Генерация не эквивалентна мышлению. И если в гуманитарных дисциплинах языковая модель может быть полезным инструментом, то в формальной математике, скорее всего, уже с большой натяжкой.