Почему GPT, Claude и Gemini требуют разных подходов к промптингу
Первые месяцы я писала одинаковые промты для всех моделей. Логично же: задача одна, значит и инструкция должна работать везде. Не работала.
Потом наткнулась на исследование из Вашингтонского университета. Ученые проверили, как модели реагируют на мелкие изменения в оформлении промта: пробелы, регистр, порядок слов. Разница в точности доходила до 76 процентных пунктов. Семьдесят шесть. На одной и той же задаче.
Причина глубже, чем кажется:
- ChatGPT построен на decoder-only архитектуре: он предсказывает следующее слово на основе предыдущих.
- Gemini использует encoder-decoder: сначала "понимает" весь запрос целиком, потом генерирует ответ.
Это разные способы обработки информации. На практике это означает, что порядок элементов в промте критически важен для одних моделей и почти не влияет на другие.
Исследователи из европейских вузов показали, что простое повторение промта улучшает результаты GPT, Claude и Gemini, но по-разному. А в задачах генерации кода Gemini с детальным промтом выдает 95% точности, тогда как GPT с тем же промтом - только 31%.
Золотое правило, которое я вывела для себя: если написала отличный системный промт для одной модели, я прошу другую модель адаптировать его под себя.
Просто спрашиваю: "Вот мой промт для Claude. Перепиши под себя." Модели удивительно честно отвечают, что им удобнее. Это экономит часы подбора и тестирования.
Всем здоровья, мира и добра!