Решил проверить очередные волшебные скиллы, которые должны сэкономить кучу токенов. Сэкономила одна строчка в промпте

Скиллы для Claude Code, которые обещают урезать расход токенов, сейчас на волне. У caveman на главной странице «на 33% меньше входных токенов», у ponytail «−45% токенов и −53% кода». Я решил проверить, что они дают на обычных небольших задачах, которые люди каждый день отдают агенту.

Если коротко, ни один скилл токены не сэкономил, а текста, который модель прочитала по ходу работы, со скиллами стало больше на 26–60%. Сэкономила простая строчка в промпте «пиши минимум кода, отвечай коротко», минус 27% токенов, которые модель написала. Но и у неё есть цена, о ней ниже.

Взял три обычные задачи. Первая — скрипт, который строит отчёт по расходам из таблицы CSV. Вторая — калькулятор, который ведёт себя как калькулятор Windows. Третья — Тетрис. Требования к каждой я расписал подробно, чтобы агенту не приходилось ничего додумывать.

Дальше пять вариантов работы:

В каждом варианте агент написал каждую из трёх программ по три раза, потому что результат у нейросети от раза к разу немного гуляет. Получилось девять программ на вариант и 45 программ всего. Писала одна модель, Claude Sonnet 5.5 в Claude Code, без вопросов ко мне и без моих личных настроек. Я отдельно проверил, что скиллы правда подключились и агент видел их инструкции.

Работает ли программа, я смотрел не на глаз. Для каждой задачи заранее были готовы проверки, которых агент не видел. Отчёт проверялся на файлах с подвохами, где есть пустой файл, отрицательные суммы, запятые внутри комментария и несуществующие даты вроде 30 февраля. Калькулятор проверялся на 24 сценариях нажатий, например «2 + 3 × 4 =» и деление на ноль, а ещё проверялось, что его окно запускается. В Тетрисе проверялись появление фигур, повороты у стены, удаление линий, начисление очков и конец игры.

Все 45 программ прошли все свои проверки. Сломанного не написал ни один вариант, поэтому дальше я сравниваю только то, сколько стоила работа. Программы писали агенты Claude Code по моему заданию, замер делали 15 октября 2026 года.

В таблице средние цифры на одну задачу. Для каждой задачи брал средний из трёх раз, потом усреднял по трём задачам.

Если перевести в проценты от варианта без скиллов, строчка в промпте сократила написанное на 27%, а caveman, ponytail и Superpowers его увеличили на 5%, 4% и 23%. Прочитанного у строчки почти столько же, а у скиллов больше на 30%, 60% и 26%. Ни один скилл не дал экономии ни по одному столбцу, кроме ponytail по строкам кода.

Когда говорят «токены», обычно думают о том, что модель написала, то есть о коде, тексте и рассуждениях. Но агент работает шагами. Он пишет файл, запускает его, смотрит ошибку и правит, а на каждом шаге модель заново читает всё, что было до этого, то есть системные инструкции, задачу, свои прошлые ответы и вывод команд. Это прочитанный контекст.

Похоже на переписку, где платишь не за длину своего ответа, а за всю переписку, которую перечитываешь перед каждым ответом.

На наших задачах разница огромная. Агент без скиллов, когда писал калькулятор, написал 4,6 тысячи токенов, а прочитал 75 тысяч. В трёх задачах прочитанного было в 16–35 раз больше, чем написанного.

Повторное чтение стоит дешевле, потому что попадает в кэш. Но кэш срабатывает не всегда, и стоимость в замере из-за этого прыгала. Первый отчёт без скиллов стоил 0,18 доллара, а два следующих по 0,07, хотя написали они почти столько же токенов. Поэтому стоимость я считаю справочной, а главные мерила — сколько модель написала и сколько прочитала.

Скилл добавляет в эту переписку свои инструкции, и модель перечитывает их на каждом шаге. А если скилл заставляет агента делать больше шагов, перечитывать приходится ещё больше.

caveman делает ровно то, что обещает в разговоре. Итоговое сообщение агента стало короче почти на треть. Но в таких задачах основная часть написанного — код, а итоговое сообщение занимает несколько сотен символов. Код caveman не сокращает, его даже стало на 11% больше.

При этом его инструкции перечитываются на каждом шаге. В задаче с отчётом агент с caveman и без скиллов делал одинаково по три шага, но с caveman модель прочитала 80 тысяч токенов против 72 тысяч. В итоге написано примерно столько же (+5%), а прочитано на 30% больше.

Важная оговорка. Цифра 33% на главной странице caveman относится к другой его части. Она сжимает большие файлы, например логи, CSV и JSON, до того как агент их прочитает, и мерили её на файлах по 20–28 тысяч токенов. Это сжатие работает через отдельный движок, а в моём замере был только плагин для Claude Code, то есть короткий стиль ответов. Больших файлов в моих задачах тоже не было, так что эта часть помочь здесь и не могла.

ponytail единственный сократил код, на 26%. Но агент с ним делал в среднем на 27% больше шагов, потому что писал отдельные самопроверки и запускал их, а в одном отчёте рядом со скриптом даже появился файл test_report.py, которого задача не требовала. Каждый лишний шаг означает ещё раз перечитанную переписку, поэтому прочитано на 60% больше, а написано на 4%.

У авторов ponytail другие условия, и это объясняет разницу в цифрах. Они мерили на модели Opus 5.5 и на 39 задачах, среди которых был настоящий проект на FastAPI и React, где лишний код стоит дороже и экономия на нём может перекрыть лишние проверки. На задаче в 50–150 строк перекрыть нечем.

Superpowers экономию не обещает. Он учит агента сначала разобраться в задаче, составить план и работать по нему. На маленьких задачах это дало +23% написанного, +26% прочитанного и самые длинные итоговые отчёты. Работали программы так же, как без него.

Одна фраза в конце задачи сократила написанное на 27%, код на 32%, время на 20%, а итоговое сообщение больше чем втрое. Стоимость упала на 13%. Прочитанное почти не изменилось, потому что строчка короткая и шагов не добавляет.

Потом я посмотрел, что агент писал в конце каждой работы. В Тетрисе со строчкой в промпте он все три раза не проверил свой код. В одном из них так и написал: «Готово: tetris.py и play.py. Запуск: python play.py. Я ничего не запускал и не проверял». Во всех остальных вариантах агент в Тетрисе свою логику проверял. В отчёте и калькуляторе проверка со строчкой осталась.

Мои проверки Тетрис прошёл и здесь, потому что задача простая и требования расписаны до мелочей, но на задаче посложнее агент, который не запускал код, мог бы отдать неработающий. Получается, часть экономии строчки — это пропущенная самопроверка.

На небольших и понятных задачах ни один скилл-экономист не окупился. Его инструкции и лишние шаги стоят больше, чем он срезает. Короткая строчка в промпте сработала лучше, но вместе с ней стоит прямо попросить агента запускать и проверять свой код, иначе он может сэкономить как раз на проверке.

Если скилл обещает экономию, её лучше проверить на своих задачах. Claude Code в режиме claude -p --output-format json после каждого запуска выдаёт расход: сколько токенов написано, сколько прочитано из кэша и во что это обошлось. Для начала хватит пяти-десяти одинаковых запусков со скиллом и без.

Задачи, проверки и сырые данные замера у меня сохранены. Если кто-то захочет повторить, выложу.

Сообщество: