Откуда нейросеть знает математику, если она никогда не ходила в школу

Нейросеть — не человек, и принципы её обучения тоже сильно отличаются. Например, школьнику может быть достаточно хорошего учителя, который за 40 минут объяснит базовые правила и даст небольшую домашнюю работу для закрепления знаний на практике. Ну а если он ещё самостоятельно и успешно прорешает целый сборник задачек, то пятёрка за год ему обеспечена. Нейросети же для освоения новой темы в математике этого недостаточно. Все закономерности она должна вывести самостоятельно, пересмотрев очень много примеров. Причём качественных, ведь из ошибок нейросеть вполне может усвоить несуществующие закономерности. В общем, учить нейросеть осмысленно что-то решать (а не имитировать решение) — это очень сложно.

Меня зовут Кирилл Нечеса, я продуктовый менеджер в команде Поиска. Сегодня я попробую впервые и простыми словами рассказать о том, как мы в Яндексе учим наши нейросети решать задачи по многим школьным предметам, в том числе по математике. Расскажу о базовом процессе, который актуален при обучении любому предмету для любой нашей модели (в том числе — для Алисы).

Итак, уже во вступлении мы сформулировали две ключевые проблемы, с которыми неизбежно сталкивается каждый, кто хочет обучить языковую модель решать задачи — хотя бы школьного уровня сложности! Во-первых, надо где-то и как-то добыть обучающие примеры в достаточном количестве. Во-вторых, как-то контролировать качество. Пойдём по порядку.

Думаю, можно в очередной раз не напоминать, что нейросети на первом этапе своего обучения видят огромное количество текстов из интернета. Так они в целом закрепляют правила языка и устройство мира. Какие-то представления о математике и других дисциплинах так тоже формируются, но условно старшеклассника-отличника в школьной олимпиаде такая нейросеть по-прежнему не превзойдет. Ключевая проблема — в интернете много не только примеров, но и ошибок, которые снижают ценность данных подобно ложке дёгтя в бочке мёда.

К счастью, мир не без добрых людей, поэтому существуют открытые датасеты математических задачек, которые можно доливать в наши обучающие данные. Например, math и gsm8k. Совокупно это десятки тысяч примеров. Такие материалы очень полезны, но, к сожалению, десятков и даже сотен тысяч примеров для нейросетей по-прежнему может быть недостаточно. Но в мире в целом мало таких материалов. Поэтому тут уж без магии не обойтись.

Если присмотреться к любой задаче по математике, то можно обратить внимание, что путём небольших изменений можно придумать много похожих задач. Условия у них будут различаться, но принцип решения останется тот же. Отсюда и решение проблемы: нужно уметь из относительно небольшого числа хороших задач создавать много-много похожих задач.

Эту работу можно доверить людям. В каких-то случаях это обосновано, и чуть позже мы поговорим об этих случаях. Но для всей массы примеров это просто нерационально, так как на миллионы задач уйдёт очень много лет. И что куда хуже — интеллектуальный потенциал человека будет потрачен на рутину, хотя для специалистов всегда найдётся другая, более важная часть работы.

Кому доверить рутину? Думаю, вы уже догадались, что для этой работы лучше всего подходят нейросети. Так мы и поступили. Модель видела десятки тысяч задач и по инструкции генерировала для них миллионы других, но похожих задач. Так мы решили проблему количества.

Два года назад мы впервые начали искать и даже обучать специалистов новой профессии — AI-тренеров. Это люди, которые помогают нейросетям разобраться, какой ответ считать хорошим, а какой плохим. Они готовят для нейросети примеры хороших и плохих текстов. Участвуют в разметке ответов нейросети, оценивая их по множеству критериев, в том числе перепроверяют фактическую точность. Это сложная работа, требующая глубокого погружения в предметную область.

Около года назад мы начали искать AI-тренеров со специализацией в математике и других предметах. Теперь они помогают придумывать новые задачи, которые мы используем для оценки качества работы модели. Это непростая и во многом творческая работа — важно, чтобы для оценки использовались задачи, которые модель никогда не видела в процессе своего обучения. Иначе вместо навыка решать задачи мы будем оценивать способность «зубрить» примеры.

Ещё с помощью AI-тренеров мы разбираем ответы нашей модели по разным критериям и оцениваем их по пятибалльной шкале. Причём не только итоговый результат, но и ход решения. Да, почти как в школе.

Кроме того, тренеры помогают ранжировать ответы между собой, чтобы модель понимала, в каком случае её ответ лучше и по какому критерию. Это тоже важно, потому что недостаточно просто ответить верно. Нейросеть должна запомнить, например, как правильно оформлять задачи и какую терминологию следует использовать.

В этой статье я, конечно же, очень сильно упростил наш многоступенчатый процесс обучения нейросетей математике и другим дисциплинам, но, надеюсь, показал главное. Хоть нейросети и не похожи на людей и им требуется особый подход к обучению, они так же, как и мы, нуждаются в учителях, которые всегда поправят и подскажут.

Попробуйте сами — попросите нейросеть Алису решить что-то из школьной программы. Например, по математике, английскому языку или литературе. И расскажите о результатах.