292 000 звёзд у самого популярного скилла для Claude Code — и он не лучше пустышки
Девять самых популярных «скиллов» для Claude Code прогнали против плацебо. Результат: шесть из девяти не отличаются от бессмысленного текста той же длины, два оказались чуть дешевле пустышки, один — хуже. А самый звёздный участник, набор superpowers с 292 000 звёзд на GitHub, от пустого текста не отличается вообще.
Разбор опубликовал независимый автор на Хабре — он не связан ни с одним из разработчиков этих наборов и денег за работу не получал.
Что такое «скилл» и зачем тут плацебо
Скилл для Claude Code — это текст-инструкция, который подгружается агенту в контекст и меняет его поведение: планирование, работу с тестами, краткость ответов, инженерные правила. Сейчас такие наборы ставят пачками, у самых популярных — сотни тысяч звёзд, а в описаниях стоят конкретные цифры: «на 65% меньше токенов», «примерно на 20% дешевле».
Проверка «со скиллом и без» тут ничего не доказывает. Лишний текст в контексте сам по себе меняет поведение модели: агент иначе планирует и по-другому тратит токены. В разнице смешаны две вещи — эффект содержания и эффект того, что текста просто стало больше. Разделить их можно только третьей группой, как в испытаниях лекарств: плацебо — текст той же длины и вида, но без единого совета.
Как был устроен эксперимент
Автор взял девять популярных наборов по звёздам на 28 сентября. Под правило «влияет на любую задачу программирования» подошли:
- superpowers — 292 189 звёзд;
- mattpocock/skills — 270 709;
- andrej-karpathy-skills — 215 547;
- ponytail — 146 942;
- caveman — 108 076;
- agent-skills — 99 510;
- i-have-adhd — 51 606;
- planning-with-files — 27 154;
- compound-engineering — 25 299.
Каждого поставили так, как написано в его описании. Стенд: Claude Code с моделью Opus 5.5 на среднем уровне рассуждений, 15 задач из трёх публичных наборов (проверка решается собственными тестами задачи, без судей-моделей), запуск в чистом контейнере. На каждый скилл — три группы: без скилла, с плацебо и со скиллом. По 30 запусков на группу, всего 450.
Метод вместе с правилом вердикта автор записал в отдельный файл до первого запуска — чтобы нельзя было остановиться, когда цифры понравились. Поправок за прогон набралось девятнадцать.
Что показали цифры
Сравнивали стоимость: со скиллом против плацебо той же длины. Меньше единицы — скилл дешевле.
- ponytail — 0,88 — дешевле пустышки на 12%;
- agent-skills — 0,95 — дешевле на 5%;
- i-have-adhd — 0,92, но после поправки на множественные сравнения вердикт «не лучше»;
- superpowers — 0,98 — не лучше;
- caveman — 0,99 — не лучше;
- mattpocock, karpathy, compound-engineering — не лучше;
- planning-with-files — 1,05 — хуже: 80% решённых задач против 100% у пустышки.
У двух «победителей» статистическая значимость на самой границе. Автор сам честно пишет: это «скорее всего, есть небольшой эффект», без фанфар.
Дальше — самое неприятное. Если сравнивать со работой вообще без скилла, картина хуже для всех: ни один из девяти не оказался заметно дешевле. Одно плацебо, нейтральный текст без единого совета, поднимало стоимость на 2–16%. agent-skills, обошедший свою пустышку, против работы без скилла стоит на 9% дороже.
Что обещали описания и что вышло
Конкретные цифры в описаниях были у трёх наборов из девяти. Сверили:
- caveman обещал «на 65% меньше токенов» — по факту токенов в ответах агента стало меньше на 2%, в пределах шума, а общий расход вырос на 18% и стоимость — на 14%;
- ponytail обещал «примерно на 20% дешевле» — по факту минус 1% против работы без скилла, в пределах погрешности;
- у planning-with-files цифры про другое, на этом стенде они вообще не измеряются.
Это не значит, что авторы скиллов врали. Они мерили на своих задачах, своих моделях и своих базовых линиях. Расхождение показывает, насколько результат меняется в другой обстановке — а реальная работа как раз и есть та обстановка, где скиллы ставят.
Что это меняет на практике
- Больше текста в контексте — это расход, а не бесплатная помощь. Полезный скилл и пустышка одинаковой длины стоят примерно одинаково, пока скилл не доказал обратное.
- Звёзды на GitHub ничего не говорят об эффекте. Самый популярный набор не отличился от пустого текста.
- Проверять надо у себя. Задачи на минуты, с которыми не окупаются наборы про многодневную память и планы, у каждого свои.
- Сначала измерение, потом установка. Автор сравнивает это с испытанием лекарств: без контрольной группы вы измеряете не эффект инструкции, а эффект того, что дописали абзац.
Чего мы пока не знаем и в чём риск
- Модель одна. На других моделях и других уровнях рассуждений картина может отличаться.
- Задачи публичные. Их модель, скорее всего, видела при обучении; на все группы это влияет одинаково, но абсолютным процентам решённых верить нельзя.
- Метрика — стоимость, а не качество. Большинство задач решались почти всегда, поэтому интервал по доле решённых задач слишком широкий, чтобы ранжировать скиллы.
- Ошибку автор нашёл у себя в день публикации. Два запуска, где агент вышел за лимит времени, засчитались как успешные; после исправления planning-with-files перешёл из «не лучше» в «хуже». Это записано отдельной поправкой — но показывает, насколько хрупки такие замеры.
- Пилот на второй модели любопытен, но выборка крошечная: три скилла, пять задач — выводов по нему делать нельзя.
Короткий вывод
Скилл для агента — это не «установил и стало лучше». Это текст, который занимает место в каждом запросе и либо окупает его, либо просто добавляет расход. Из девяти самых популярных наборов заметный эффект подтвердился у двух, и то на границе статистической значимости. Прежде чем ставить очередной набор с сотнями тысяч звёзд, стоит спросить не «сколько у него звёзд», а «сколько он стоит мне на моих задачах».