Системный промпт и его сокращение в Claude Code на YC Startup School
Борис из Claude Code на YC Startup School рассказывал, что они сократили системный промпт на 80%.
Размышлял, почему у них так, но у нас не особо:
1) Anthropic тренирует модели на трейсах claude code, и имхо модель лучше научается оперировать тулами для разных задач кодинга —> следовательно, не нужно особо расписывать в системном промпте
2) Но не на наших пайплайнах, поэтому мы так вот запросто не можем модель из коробки юзать, особенно если задачи некодинговые и тулы нестандартные.
3) По моим наблюдениям, действительно модели лучше справляются с задачами с более абстрактной - цель, а не способ достижения оной - постановкой НО зачастую это сжирает больше токенов и замедляет процесс.
Поэтому или фантюнить модельки под свои пайплайны или пока не особо резать промпты.
А у вас как: удается ли так лихо резать системный промпт как проповедуют?