Работают ли трюки в промптах?

Главный мем запуска GPT-5 — просьба “думать глубже”, которая подталкивала модель переключаться в “бесплатный” рассуждающий режим и давать лучший ответ. Это похоже на некоторые техники промптинга, когда с помощью разных инструкций у ИИ пытаются включить “секретный” режим, обойти его системы безопасности и так далее. Но фактически это не так — просьба “думать глубже” работает лишь на алгоритм выбора одной из версий GPT-5, подталкивая его передавать запрос более мощной модели.

Сейчас в таком приеме уже почти нет смысла, но нужны ли вообще подобные техники? Пытаясь разобраться в проблеме, я столкнулся с одной интересной вещью: в сети просто огромное количество руководств по написанию промптов / конкретных промптов / сборников промптов. Но лишь единичные авторы хоть как-то закапывались в вопрос — а работает ли то, что они предлагают? Я не о банальном “мне нравится” и “у меня сработало”, а о настоящих исследованиях, когда каждая техника сравнивается на десятках запросов, а затем выводится ее эффективность

Исключением являются инструкции по промптингу от самих разработчиков, а также редкие работы вроде серии из трех публикаций от группы исследователей из Пенсильванского университета и Уортонской школы бизнеса (ссылки: 1, 2, 3). В ней авторы решили разобраться, действительно ли работают некоторые популярные трюки при написании промптов. Выбрал самое важное.

Что не работает?

1. Вежливость или командный тон. Модель не человек, ей без разницы.

2. Любые попытки манипулирования. Запугивания удалением, обещания дать денег в случае хорошего ответа и пнуть щенка в случае ошибки — не побуждают ИИ доставать из кубышки какие-то секретные знания.

3. Самый важный вывод: чем больше “лишнего” вы добавляете в задачу, тем менее стабильной становится модель: один раз она пишет гениальный ответ, во второй проваливается, а в третий и вовсе зацикливается на эмоциональном контексте (пресловутое “пнуть щенка”) и забывает про основную задачу.

Что перестает работать?

Просьба рассуждать по шагам долгое время была эффективной, но сейчас многие модели (GPT-5 в думающих режимах, ChatGPT o3 и o4-mini, Gemini 2.5) изначально создаются рассуждающими, а остальные (например, Grok 3) стали сложны настолько, что часто сами “понимают”, когда надо написать рассуждение в ответе.

Небольшая ремарка — если вам важно знать, как модель пришла к ответу, то просьба показать пошагово все еще хороша.

Что работает?

1. Четкое и краткое описание задачи. Как уже писал выше: чем меньше дополнительной информации, на которую может “отвлечься” модель, тем лучше результат.

2. Четкий формат и объем ответа. Сама модель не догадается, нужна ли вам таблица на один экран или доклад на десять тысяч знаков.

3. Максимум контекста. Чем больше вы дадите модели дополнительной информации, тем проще ей будет работать. Помните, что информация должна быть по теме.

4. Несколько попыток. В отличие от классических программ, даже на один и тот же промпт модель каждый раз будет давать в чем-то отличающийся ответ. Поэтому на сложных задачах имеет смысл выполнить несколько прогонов, слегка меняя промпт или даже оставляя его таким же — а затем выбрать лучший ответ.

Это касается и излюбленного приема назначать ИИ роли — Нобелевского лауреата по копирайтингу, молодого гения маркетинга с 50-летним стажем работы и так далее. Роли не открывают каких-то новых знаний, а просто адаптируют стиль ответа модели — причем исследования показывают, что зачастую авторы промптов подбирают роли с ошибкой. Но про роли подробно поговорим в следующий раз, там материала на еще один большой пост.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.