Промпт-инжиниринг, провозглашенную следующим большим достижением, была убита ИИ еще до начала

Prompt Engineering становится все более популярным, но новые исследования показывают, что оно может быть более подходящим для моделей искусственного интеллекта.

Исследования лаборатории Vmware, ведущего разработчика программного обеспечения для виртуализации, показывают, что модели ИИ могут создавать более эффективные промпты, чем люди.

Тесты, сравнивающие промпты о "позитивном мышлении", созданные человеком и "систематической оптимизацией промптов", генерируемых искусственным интеллектом, показали, что автоматизированные процессы дают лучшие результаты.

Исследователи Рик Баттл и Теджа Голлапуди обнаружили, что использование "автоматического оптимизатора промптов" является наиболее эффективным методом повышения производительности, независимо от размера модели.

Оптимизированные для искусственного интеллекта промпты, которые показали лучшие результаты в тестировании, демонстрировали неожиданный уровень своеобразия.

Отмечается, что промпты, прошедшие автоматическую оптимизацию, неизменно равнялись или превосходили эффективность промптов о "позитивном мышлении", созданных вручную, почти во всех случаях.

По словам исследователей, это особенно верно при систематической оценке всех модификаций с научной точки зрения. Случаи, когда человеческие промпты превосходили автоматизированные промпты, ограничивались несколькими испытаниями на Mistral 7B и Llama 70B.

Исследование почти не выявило четкой тенденции при подходе к промпт-инжинирингу с точки зрения человеческого подхода: «единственной реальной тенденцией может быть отсутствие тенденции», говорится в исследовании.

В свете полученных данных оба исследователя обосновали необходимость промпт инжиниринга в целом.

«То, что лучше всего подходит для любой конкретной модели, набора данных и стратегии промптов, скорее всего, будет зависеть от конкретной комбинации. Таким образом, мы перешли от ручной настройки системного сообщения с оптимистичным «позитивным мышлением» к автоматической оперативной оптимизации», — говорится в исследовании.

Автоматизированные промпты превосходят человеческие в большинстве случаев. Однако, в некоторых испытаниях на Mistral 7B и Llama 70B, человеческие промпты показали лучшие результаты. Исследование не выявило четкой тенденции при подходе к промпт-инжинирингу с точки зрения человеческого подхода.

Исследователи подчеркнули необходимость промпт-инжиниринга в целом и отметили, что лучший подход будет зависеть от конкретной комбинации модели, набора данных и стратегии промптов.

Руководитель отдела искусственного интеллекта в STX Next, Бартек Розак, подчеркнул важность промпт-инжиниринга в разработке ИИ. Он отметил, что точная настройка входных данных ИИ помогает моделям работать в полной мере, используя потенциально неиспользованные аспекты своих данных.

Однако, эта задача становится все более уязвимой для автоматизации. Баттл пришел к выводу, что в один момент людям больше не придется вручную оптимизировать промпты.

Он также раскритиковал работу инженера-человека, ИИ-тренера, который тратит время на то, чтобы «придумать» эффективную комбинацию слов. Баттл надеется, что это исследование убедит потенциальных инженеров-промптов выйти за рамки ручного инжиниринга промптов, посоветовав пользователям ИИ вместо этого «разработать метрику оценки», чтобы модель могла обучаться сама.

Розак также рассмотрел будущее автономии ИИ в сфере оперативного инжиниринга, предполагая, что в конечном итоге этот навык станет устаревшим. Он предположил, что каждый мог бы взаимодействовать с LLM, и если бы кто-то предоставил расплывчатую промпт, LLM вмешался бы, запросив подробности и помогая в доработке самого промпта.

Такие достижения могут привести к будущему, в котором углубленный оперативный инжиниринг больше не будет специализированным навыком каких-нибудь ИИ-тренеров. Однако это не означает, что в сфере оптимизации ИИ нет других областей, где люди могли бы участвовать.

Питер Ван дер Путтен, ведущий научный сотрудник и директор Pegasystems, предположил, что в долгосрочной перспективе будет уделяться повышенное внимание всеобъемлющему пониманию промпт-инжиниринга на уровне предприятия.

Он отметил, что инженеры и тренеры будут уделять больше внимания «индустриализации», начиная от создания динамических шаблонов промптов, подключения искусственного интеллекта к базам знаний и поисковым системам и заканчивая созданием инфраструктуры передовых агентов.

Хотя Prompt Engineering по-прежнему является необходимостью в растущей области обучения и использования ИИ, сотрудникам технологической отрасли необходимо быть уверенными в том, что они остаются на шаг впереди, если они хотят, чтобы их навыки были полезны.

«На данный момент работа промпт-инженера является ключом к эффективному использованию LLM, однако исследования активно ищут способы сделать эту профессию устаревшей» - сказал Розак.

Чтобы расти как профессионал, нужно быть в курсе технологических тенденций и следить за новостями в ИТ. Подписывайтесь на телеграм‑канал Технологии для карьеры, где мы публикуем авторский контент и делимся интересными новостями из мира IT.