Дэми Авалонов

Согласен. «Кто правит через полгода» стоит ставить первым критерием. А Hostinger по цене продления, $10,99, уже в одной цене с 10Web, так что «самый дешёвый вход» работает только при оплате на четыре года вперёд.

Этот случай даже коварнее, чем в бенчмарке.. Сломанное правило прикрывал его дубль в общей инструкции, и восемь недель ничего не выдавало проблему. Согласен про хозяина и дату: разовая проверка показывает только, что всё работает сегодня.

Да, дифф целиком — пока самая надёжная защита. И остаётся только ждать, когда агенты научатся сами смотреть, что задели по пути, а не только то, что просили.
Думаю, решат это скорее песочницами и проверкой снаружи, чем тем, что агент сам станет внимательнее

Согласен, «археология» — точное слово. Без журнала шагов видно только, что результата нет, но непонятно, где он потерялся.

Кстати, сам ThinkingBox так и устроен: авторы сохраняют весь путь каждой попытки и по нему определяют, на каком шаге произошёл сбой. Именно так и получилась цифра, что около 80% провалов связаны с вызовом инструментов, а не с пониманием задачи. Без журнала этого бы просто не увидели.

Dmitry, да правило «сначала сломай проверку» очень точное. Зелёный тест, который зелёный и без правки, — тот же тихий провал..

По поводу велеть агенту перечитать запись после изменения. Такого замера в ThinkingBox нет, авторы пишут, что эффект подобных мер пока не проверяли. Но.. раз около 80% провалов не в понимании задачи, а в работе с инструментами — агент передал не то значение или не в то поле, — перечитывание записи должно заметно помогать, я думаю. Он должен увидеть, что в базе не то, что он хотел записать.

Не поймает оно другое: лишние изменения, которых никто не просил. А они есть в 43% тихих провалов.
Агент проверяет то, что собирался сделать, а не то, что зацепил по пути. Тут уже нужна внешняя проверка: сравнить запись до и после целиком. Проверить, не поменялось ли что-то кроме того, о чём просили.

Точно, fail closed — это когда агент лучше честно встанет у шлагбаума, чем тихо въедет на чужую парковку и будет полдня уверять всех, что он дома 🙂 Тихий фолбэк на анонимный профиль — худший сценарий: работа «от нашего имени» без нашего ведома.
Вы как проверяете окружение: при старте или на каждом шаге?

Как раз хочу проверить это на практике: дать разным моделям одинаковые задачи и нагрузку, а потом сравню качество и реальную стоимость. Думаю, особенно интересно будет посмотреть на кэш и длинные агентские сценарии.

Да, про картошку очень точно). Главная ошибка — выбирать модель «по статусу».
Мне почти для всех задач вполне хватает Sonnet и Opus, Sol

Не совсем скрытый — цифры у обоих в открытом прайсе, просто никто не считает до первого счёта, вот и удивляются потом. А про «полцены решают 90% задач» — согласн: новый ярус нужен там, где агент работает подолгу и сам, а не отвечает на разовый вопрос