Александр Нетребский

Я поймал лучшего разработчика на имитации работы с AI. 4 метрики, которые это вскрывают

В прошлом месяце я поймал лучшего разработчика команды на имитации использования AI

Copilot открыт весь день. Подсказки не принимает почти никогда. На стендапах: «активно использую AI». В метриках - тишина.

Я поймал лучшего разработчика на имитации работы с AI. 4 метрики, которые это вскрывают

Он не врал. Он играл роль.

И это не история про конкретного инженера. Это про большинство команд, где CTO покупает места в Copilot или Cursor, складывает $40-200 за seat в месяц и верит руководителям групп на слово, что эти деньги работают.

Larridin Developer Productivity Benchmarks 2026 показал среднюю стоимость AI-стека $200-600 на инженера в месяц. С агентными сетапами - выше $2000 только в токенах. А измерять отдачу почти никто не научился.

Проблема: «эффективно использую AI» - это не метрика, это вайб

Типичный диалог в команде:

  • Как у вас с Copilot?
  • Активно использую, очень помогает.
  • Сколько ускорил поставку?
  • Чувствую, что быстрее.

Это не про плохих сотрудников. Это про систему, в которой нечего предъявить кроме ощущений. Если скорость команды не растет и cycle time не падает - вы в позиции врача, у которого пациент жалуется на температуру, а лабораторных анализов нет.

Нужна диагностика, а не вера.

Что вендоры предпочитают вам не показывать

Крупные AI-вендоры запустили admin-аналитику только под давлением enterprise-клиентов. До февраля 2026 у GitHub не было даже общедоступного Copilot Metrics API в GA. У Cursor admin-дашборд появился позже Teams-плана.

Причина простая: пока метрики мутные, отток невидим. Вы покупаете seat, тратите бюджет, никто не задает вопрос «куда ушла ценность».

Хорошая новость: к 2026 году у Copilot и Cursor появились открытые API, и весь стек измерения можно собрать без сторонних SaaS-подписок.

Четыре уровня, которые стоит мерить

1. Adoption: DAU/WAU/MAU

GitHub Copilot Metrics API в GA с февраля 2026. Дает дневных, недельных, месячных активных пользователей по командам.

Важная разница: высокий MAU + низкий DAU означает «включили, но не доверяют». Это другая проблема, чем «не установили вообще». В первом случае нужно работать с навыками и доверием. Во втором - с onboarding.

2. Acceptance rate

Как часто разработчик принимает подсказку модели. Acceptance rate сильнее предсказывает реальную продуктивность, чем общее число suggestions.

Ниже 20% - модель не угадывает, или разработчик использует ее не там, где она сильна. Поднять с 12% до 25% важнее, чем нагонять количество показанных подсказок.

3. Code survival

Уникальная метрика Cursor: AI Share of Committed Code. Cursor подписывает каждую AI-сгенерированную строку и проверяет, сколько из нее доходит до коммита.

Acceptance показывает, что разработчик кликнул. Survival показывает, что он реально отправил в продакшн. Разница огромная: можно принять подсказку, тут же ее переписать руками - и формально acceptance высокий, а survival 0.

Это самый честный сигнал по использованию AI на сегодня.

4. AI-touched PRs vs остальные

Dropbox замерил: разработчики, регулярно использующие AI, мержат на 20% больше PR в неделю при сниженной частоте поломок (change failure rate). У зрелых команд cycle time в AI-assisted репозиториях падает примерно на 18%.

Если у вас этой разницы нет - проблема не в инструменте. Проблема выше по процессу: либо команда не умеет встраивать AI в код-ревью и тесты, либо инженеры боятся отгружать AI-код без сверхпроверки.

Открытый стек инструментов: без сторонних SaaS

Вся диагностика собирается из vendor-built API и open-source обвязки:

  • GitHub Copilot Metrics API + open-source dashboard от Microsoft (репозиторий microsoft/copilot-metrics-dashboard)
  • Cursor Admin API + Analytics API: per-seat spend, usage events, CSV export
  • Открытые MCP-обертки вроде ofershap/cursor-usage и h3ro-dev/cursor-admin-mcp - можно дергать данные прямо из Claude Code или Cursor агентом
  • Сырые экспорты складываются в ваш собственный Grafana или Metabase, если у вас self-hosted observability

Для компаний под комплаенсом (банки, гос, EU GDPR) это особенно важно: метрики использования кода не уезжают во внешний SaaS.

Что делать с этим CTO или тимлиду

Практический минимум на следующую неделю:

  1. Подключить Copilot Metrics API и Cursor Admin API. Это занимает час, не больше.
  2. Поднять открытый dashboard от Microsoft. Деплой через Docker.
  3. Сравнить acceptance rate и survival по разработчикам. Пометить выбросы (низкий survival при высоком opening Copilot).
  4. Сделать одну приватную беседу с каждым разработчиком в нижнем квартиле. Не для наказания - для диагностики.
  5. Через месяц замерить cycle time в AI-touched PR vs обычных. Если разрыва нет - проблема в процессе, не в инструменте.

Возвращаюсь к моему разработчику

Он не был ленивым. Он делал то, за что его последний руководитель платил - выглядел как использующий AI, а не отгружал с ним.

Когда у тимлида нет метрик, разработчики оптимизируются под то, что измеряется глазами. Поставьте acceptance rate и survival на дашборд - и через две недели поведение поменяется само. Не потому, что вы кого-то накажете. А потому, что станет видно, кто реально получает рычаг от AI, а кто - симулирует.

Какая AI-метрика реально изменила решение в вашей команде? Не теоретически - практически: после какой цифры вы что-то поменяли в процессе или составе?

11