UB-mode vs Ponytail vs обычный режим: где реальная разница, а где просто больше токенов
Один агент. Три скилла. Одни и те же задачи.Все три закрыли внешние тесты, но покрытие собственных проверок разъехалось почти в полтора раза, а время и токены пошли в разные стороны.
Стек: агент в Codex (Terra 6.1 High).
Выборка: из ~1000 своих задач отобрали самые интересные по категориям — с разной сложностью и понятной проверяемостью. Не случайный набор.
Все скиллы: 10/10 внешних тестов. После ревью нашлись пограничные случаи, которые основные тесты не ловили.
Главные различия
UB-mode чаще воспроизводил баг до правки и лучше ловил искусственные сбои своими тестами. На двух edge-кейсах (xarray и SymPy) сработал корректнее остальных. Платишь временем и токенами.
Ponytail сэкономил выходные токены и заметно поднял покрытие относительно базы. На новых задачах явного выигрыша по скорости и качеству не показал.
Обычный остался самым быстрым.
Практический вывод
Если цена пропущенного граничного случая высока — бери UB-mode.Если важна скорость — обычный скилл.Ponytail пока выглядит как более лёгкий вариант без устойчивого преимущества.
Выборка небольшая, новые задачи шли по одному разу. Но разница по покрытию и процессу видна уже сейчас.
Кто пробовал похожие скиллы или инструкции — что наблюдаете у себя?