Вероника Косарева Клауд
Развиваю один AI API для всех нейросетей
Классно! А на какой модели у вас агент? Ротируете модели под задачи или на одной модельке сидите?
Спасибо за дополнение)
Его можно настроить, чтобы он не на все подряд ругался
Спасибо! Согласна с логированием ради ревью
Измеряли как внедрение таких хуков сократило время разработчики фич?
Да, у меня под это целый скилл прописан
Да, согласна, хорошее дополнение
Спасибо. Тоже с таким столкнулась, поэтому в посте сразу уберегаю читателей от этой ошибки
Спасибо, про порядок блоков согласна полностью: стоит переставить документы местами, и префикс уже другой, кэш промахивается. Сортируем их по одному правилу, а все, что меняется от запроса к запросу, ставим в самый конец
Про долю попаданий: на пайплайнах, где один и тот же системный промпт и набор документов гоняются пачкой, она высокая. Если запросы редкие и разнесены по времени, кэш успевает истечь, и доля проседает почти до нуля. Так что да, в основном это история про серии запросов подряд, пока префикс живет в кэше
Хорошее дополнение. Еще классно, если после таких ошибок агент это все сам ловит и возвращает на прошлую версию из бэкапа (если она не ломалась, конечно)