Проблема «упряжки» в автоматизации кодинга и ее влияние на AI

Вышла достаточно прикольная блог статья, которую сам хотел попробовать написать. Но кодер и рисерчер из меня может быть так себе. Но на уровне ощущений это прям попадание.

Если кратко то гонке по автоматизации кодинга и, как многие считают, следом пойдет и весь software engineering, есть одна деталь. Сегодня все пытаются в лоб улучшать модели и оно понятно. Некая гипотеза прошлых трех лет, что мол одного перформанса модели достаточно чтобы потом уже все было топ. Но всегда рядом есть еще одна проблема.

Назовем ее проблема «упряжки» (harness). Все занимаются построением самой быстрой тачки. А вот где сидеть удобно пока никто не думает. Например вот в code editing банально изменив подход, каким образом мы редактируем код и подаем форматирование в модель уже очень сильно меняет результат. В статье чувак хэши рядом с номером строк поставил и некоторые модели улучшили свой результат в бенчах в 10 раз.

Стоит отметить что бенчи есть и от jetbrains по этой теме.

И прыжок в качестве ну очень сильный даж для топ моделей если просто пленять базовый формат взаимодействия с кодом. AI это не только модели, это тулинг, это инференс, это железо - все вместе. И бежать можно везде или где-то по отдельности. Огромная поляна для стартапов.

Подписывайтесь на Telegram ChillHouse.