Нейрошиза. Рецепт свиных крылышек от ChatGPT

Я попросил ChatGPT написать рецепт свиных крылышек. Модель 4о не заподозрила никакого подвоха и дала подробный рецепт.

Есть вариант, что она подразумевает широчайшие мышцы спины. Обычно в тренажерках их неформально называют крыльями. Поэтому я задаю дополнительный вопрос. Но нет, мне предлагается делить свиное крыло на 3 части по суставу.

Пытаюсь подвести ее к тому что она бредит. Но в итоге получаю таблицу частей свиньи, где крылышки стоят отдельно. Теперь точно понятно, что под свиными крылышками подразумеваются именно крылья.

Я решил задать вопрос про национальную кухню. Возможно, нейронка начнет искать информацию и до нее наконец-то дойдет, что такого не существует. Но нет, шиза процветает.

Согласитесь, приятно посидеть вечерком в крафтовом баре и покушать копченых свиных крылышек под Pink Floyd — Pigs on the wing, глядя на падающие сосновые листья за окном.

Пытаюсь снова подвести ее к тому, что не только у свиней есть крылья, но и у птиц есть колеса и, вероятно, чья-то кукушка на них точно поехала. Возможно, бараньи крылья ее наведут на эту мысль? — Пффф… Нет.

И только когда я попросил сравнить их биологически, она сообразила, что это абсурд. Теперь вместо детального сравнения пациент пытается свести все в шутку.

Да, такие ситуации кажутся смешными, но на деле они указывают на глубокую уязвимость ИИ. Он не различает реальный мир и лингвистическую модель, пока пользователь сам не ударит по тормозам.

Пациент пытается выкручиваться, объясняя это тем, что имел в виду область лопатки. Но мы-то помнил, что он предлагал делить крылья по суставам на плечевую часть, среднюю и фалангу. Составлял таблицу частей свиньи, где они были отдельно. В ход пошла терминология, которой вообще не существует в контексте реальной анатомии свиньи. И ни одного реального источника, ни одного признака критической проверки.

Этот эксперимент проводился не ради шутки. Вернее, не только ради нее. Насколько мы можем доверять ИИ, если он с уверенностью рассуждает об очевидной глупости, которую распознал бы даже ребенок?

Если нейросеть не способна вовремя остановиться при логической нестыковке в простой теме, как она поведёт себя в задачах, где ошибка может стоить дорого?