Промпт-инжиниринг, контекст, харнесс. Я веду учёт этих похорон

Каждые полтора года ИТ-индустрия объявляет смерть очередной дисциплины. В 2023 хоронили промпт-инжиниринг, в 2025 контекст-инжиниринг, следом агентный, теперь дошла очередь до harness-инжиниринга: на AI Engineer вышел 18-минутный доклад с вопросом, жив ли ещё харнесс агента.

Я посмотрел его и решил завести журнал. Как в поликлинике: дата, причина смерти, кто подписал.

Доклад читает Jediah Katz, инженер SpaceXAI; до этого он работал над агентным харнессом в Cursor. По его словам, умерла та часть харнесса, что чинила пробелы в способностях модели: подсказки про исследование кодовой базы, напоминания про проверку своей работы и пинки, чтобы не бросать длинную задачу. Эти навыки модели выучили сами, без обвязки.

Смешная причина смерти. Харнесс сам себя сделал ненужным... он давал модели всё более сложные задачи, пользователи набивали на них данные, данные уходили в обучение, следующая модель умела это сама. В докладе это названо data flywheel, а по сути это конвейер, который скармливает модели её же костыли.

Финальная формулировка понравилась: «yesterday's harness may be dead, but long live the agent harness of tomorrow». Только в ИТ поминки заканчиваются презентацией нового продукта. 😅 Преза лежит тут.

Пока что работа из-за ИИ никуда не девается. Внутри любого харнесса остаётся скучная часть: где крутится цикл агента, как хранится состояние, чтобы задача продолжилась после падения, какие права выданы конкретному агенту, сколько стоит один прогон. В докладе это runtime и слой доверия, и там же сказано, что два исследования (Беркли и Apple с EPFL) не нашли заметной разницы в оценках от смены харнесса на новых моделях: SWE-bench Lite и MLE-Bench дали близкие баллы. Зато нашлась разница в цене по реализации задачи.

Термин меняется потому что бюджет выделяют на новое слово, а не на старую работу. Пока в вакансии написано «промпт-инженер», это выглядит как человек, который переписывает абзац в чате. Как только там написано «harness engineer», это уже инфраструктура, надёжность и деньги. Маркетинг...

Некрологи при этом пишутся быстрее, чем выходят релизы. Это единственная часть индустрии, которая растёт без бенчмарков.

Следующее слово уже произносят в кулуарах. Агентов в команде станет больше, чем людей, и появится orchestration engineering. Агенты начнут собирать агентов, и это назовут factory engineering. В докладе уже прозвучало «almost like a meta harness», так что meta-harness engineering не за горами. Выше мета-уровня индустрия пока не поднималась...

Дальше список упирается в слово, которое никто не хочет произносить вслух. Координатор ботов, который раздаёт задачи, следит за сроками и отвечает за результат, называется менеджер. Слово не новое, его просто давно не писали в вакансиях рядом со словом engineer. В докладе его для приличия сравнили с адвокатом, который нанимает паралигалов, но схема от этого не поменялась.

У меня в заметках до сих пор лежит файл prompt-patterns.md. Открываю его теперь редко, в основном чтобы вспомнить, как звучала уверенность в 2024.

Интересно, лет через пять выйдет доклад «Is Management Dead?», и читать его будет тот же человек, что хоронил промпт?