Промпт-инженеринг: советы для новичков и важные аспекты

Помню, как в конце 2023 года все кинулись проходить курсы по промптингу, а уже в 2024-м промпт-инженеринг похоронили под лозунгом, что языковые модели потому так и называются, что они понимают обычный язык и все эти сложности им не нужны. Но промпты как работали, так и работают до сих пор, а люди как недооценивали их важность, так и... ну, вы поняли.

С другой стороны, я не советую проходить все эти курсы по промптингу, так как в свободном доступе информация и актуальнее, и качественнее. Вот, например, мой любимый сайт по промптингу — www.promptingguide.ai. Рекомендую начать своё погружение именно с него.

Ну и 10 советов для новичков и не только:

1. Примеры работают лучше инструкций. Модели лучше распознают паттерны, чем следуют правилам (за исключением рассуждающих LLM вроде o1).

2. Системные промпты — фундамент. 90% проблем возникают из-за слабых системных промптов. Отточите их, прежде чем браться за пользовательские промпты. Вот тут куча системных промптов для изучения.

3. Ваша экспертиза в предметной области намного важнее навыков создания промптов. Например, когда инструкцию для медицинского ИИ-агента пишут врачи, результаты сильно лучше. Профильные эксперты оперируют такими нюансами, о которых не догадываются промпт-инженеры.

4. «Цепочка рассуждений» (Chain-of-thought) — не всегда лучший выбор. Сложные цепочки рассуждений часто работают хуже, чем прямые инструкции. Начинайте с простого, усложняйте, только когда улучшаются метрики.

5. Контролируйте версии промптов, как код. Помню, как изменение всего одного слова в промпте сломало воркфлоу ИИ-агента. Заставил себя делать git commit для промптов и отслеживать метрики производительности. Короче к работе над промптами надо относиться, как к продакшн-коду.

6. Используйте ИИ для написания промптов для ИИ. Звучит наивно, но это работает: Claude пишет промпты для Claude лучше, чем я. Пусть модели самим оптимизируют инструкции для себя.

7. Многие сильно недооценивают настройку температуры. Все помешаны на промптах. Тем временем, иногда изменение температуры с 0.7 до 0.3 хорошо решает проблемы со стабильностью ответов.

8. Тестовое покрытие важнее качества промпта. Часто тестируя разные сценарии обнаруживал, что мой «идеальный» промпт сыпался в 30% случаев на больших объемах. Теперь использую автоматизированную оценку с валидацией человеком (human-in-the-loop).

9. Не забывайте оптимизировать инструкцию под конкретную модель. Промпт для GPT-4o не всегда подходит к Claude или Llama. У каждой модели свои особенности. То, от чего GPT выдает качественный ответ, заставляет Claude галлюцинировать.

10. Делайте защиту от инъекций в промпт сразу. Каждый промпт в продакшене нуждается в тестировании на инъекции. Один хитрый пользовательский запрос способен сломать всю вашу систему.

Подписывайтесь на Telegram Силиконовый Мешок.