Харнесс как технический долг в моделях машинного обучения

Такая мысль закралась. А вам не кажется, что харнесс это технический долг, ведь там есть системы которые опираются на конкретные промты. То есть по факту мы надеемся что определенным образом сформулированная фраза даст лучший результат. Но это же меняется с каждой версией модели.

Получается, даже если модель поменялась (даже если вам квантованную вдруг подложили в API или сменили версию инференса) у вас может все разъехатся? Выходит промты и чем их больше это своего рода техннический долг и причем приличный. Поддерживать то, что не понимаешь так себе задача. В том смысле, что не имея знаний о том, что модель делает хорошо и какие данные долили сделать промты будет тяжко.

Вообще мое мнение, если модель обучили хорошенько на определенных задач влияние промта будет не такое большое. Но с другой стороны Cloudflare репортит после экспериментов на Mythos что мол харнесс наше все. Где правда не ясно, но что мне точно понятно, что делать харнессы на века без своей модели это выстрел себе в ногу.

Подписывайтесь на Telegram ChillHouse.