Claude Code теперь умеет проверять пользу плагинов

Anthropic добавила команду claude plugin eval. Она показывает, реально ли плагин или Skill улучшает ответы Claude или его ещё нужно доработать.

Claude помогает собрать тестовые примеры и критерии качества, а затем прогоняет каждый кейс дважды. Сначала с плагином, потом без него. В итоге можно напрямую сравнить оценки и увидеть разницу.

Запуск начинается из папки плагина командой claude plugin eval init. После настройки весь набор тестов запускается через claude plugin eval, а подробные результаты собираются в HTML отчёт.

Тесты используют токены, поэтому для начала советуют запускать по одному прогону через --runs 1. MCP серверы и другие компоненты плагина получают ваши обычные права доступа, поэтому проверять стоит только доверенные плагины.