AI в разработке: Набрасывание кода на вентилятор
Команда METR провела масштабный эксперимент с участием 16 опытных разработчиков и 246 реальных задач из популярных GitHub-репозиториев (scikit-learn, transformers и др.). Результаты оказались неожиданными:
Главный парадокс
- Факт: С AI задачи решались на 19% дольше.
- Ощущения: Участники были уверены, что AI помог им работать на 20% быстрее
- Прогнозы экспертов (ожидалось ускорение на 38-39%) не оправдались.
❓Почему так произошло?
1. Низкое качество подсказок
- Разработчики приняли только 44% AI-генерированного кода.
- Остальное требовало долгой правки и проверки.
2. Иллюзия экономии времени
- AI действительно сокращает время на написание кода и поиск информации.
- Но эти выгоды "съедаются" временем на:
- Формулировку запросов
- Анализ предложений AI
- Ожидание ответов
3. Специфика сложных проектов
- В эксперименте участвовали крупные репозитории (1.1 млн строк кода в среднем).
- AI плохо понимал контекст и архитектуру таких проектов.
- Опытные разработчики (стаж в проекте 5+ лет) быстрее работали вручную.
📊 Что говорят другие разработчики? (опрос Qodo, 609 респондентов)
- 78% чувствуют повышение продуктивности с AI
- 60% отмечают улучшение качества кода
- 76% никогда не используют AI-код без ручной проверки
Выводы AI-инструменты:
✔ Помогают в рутинных задачах и поиске информации
✔ Создают субъективное ощущение ускорения
❌ Могут замедлять работу в сложных проектах
❌ Требуют значительных временных затрат на проверку
Источники
https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
https://www.opennet.ru/opennews/art.shtml?num=63573