ИИ-инструменты замедляют опытных разработчиков: результаты исследования METR на 16-ти разработчиках
METR провела исследование, которое ставит под сомнение обещания ускоренной разработки с помощью LLM. Опытные разработчики открытого ПО работали на 19% медленнее с ИИ-инструментами, хотя сами считали, что ускорились на 20%.
Ожидаемое vs реальное влияние ИИ на скорость разработки
Эксперимент и результаты
Алгоритм работы, который замеряли
METR протестировала разработчиков на реальных задачах из открытого ПО. Группа с ИИ (Cursor, Claude) тратила больше времени, чем без него. Ключевые выводы:
- Время на задачу выросло на 19%.
- Участники переоценивали свою скорость.
- Качество кода не изменилось существенно.
ИИ создает иллюзию продуктивности, но время уходит на доработку промптов и проверку ошибок.
Причины замедления
- Много итераций с запросами к ИИ.
- Необходимость отладки генерированного кода.
- Трудности интеграции в привычный workflow экспертов.
Факторы, которые влияют на замедление разработки
METR подчеркивает, что результаты актуальны для инструментов 2025 года и могут измениться с развитием технологий.
Рекомендации METR при ожиданиях работы с LLM
- Измеряйте время объективно, не доверяйте ощущениям.
- Оптимизируйте промпты шаблонами.
- Используйте ИИ для идей, а не для финального кода.
Начать дискуссию