UB-mode vs Ponytail vs обычный режим: где реальная разница, а где просто больше токенов

UB-mode vs Ponytail vs обычный режим: где реальная разница, а где просто больше токенов

Один агент. Три скилла. Одни и те же задачи.Все три закрыли внешние тесты, но покрытие собственных проверок разъехалось почти в полтора раза, а время и токены пошли в разные стороны.

Стек: агент в Codex (Terra 6.1 High).
Выборка: из ~1000 своих задач отобрали самые интересные по категориям — с разной сложностью и понятной проверяемостью. Не случайный набор.

Все скиллы: 10/10 внешних тестов. После ревью нашлись пограничные случаи, которые основные тесты не ловили.

Главные различия

UB-mode чаще воспроизводил баг до правки и лучше ловил искусственные сбои своими тестами. На двух edge-кейсах (xarray и SymPy) сработал корректнее остальных. Платишь временем и токенами.

Ponytail сэкономил выходные токены и заметно поднял покрытие относительно базы. На новых задачах явного выигрыша по скорости и качеству не показал.

Обычный остался самым быстрым.

Практический вывод

Если цена пропущенного граничного случая высока — бери UB-mode.Если важна скорость — обычный скилл.Ponytail пока выглядит как более лёгкий вариант без устойчивого преимущества.

Выборка небольшая, новые задачи шли по одному разу. Но разница по покрытию и процессу видна уже сейчас.

Кто пробовал похожие скиллы или инструкции — что наблюдаете у себя?

11