AI в разработке: Набрасывание кода на вентилятор

Команда METR провела масштабный эксперимент с участием 16 опытных разработчиков и 246 реальных задач из популярных GitHub-репозиториев (scikit-learn, transformers и др.). Результаты оказались неожиданными:

Главный парадокс
- Факт: С AI задачи решались на 19% дольше.
- Ощущения: Участники были уверены, что AI помог им работать на 20% быстрее
- Прогнозы экспертов (ожидалось ускорение на 38-39%) не оправдались.

Почему так произошло?

1. Низкое качество подсказок

- Разработчики приняли только 44% AI-генерированного кода.

- Остальное требовало долгой правки и проверки.

2. Иллюзия экономии времени

- AI действительно сокращает время на написание кода и поиск информации.

- Но эти выгоды "съедаются" временем на:

- Формулировку запросов

- Анализ предложений AI

- Ожидание ответов

3. Специфика сложных проектов

- В эксперименте участвовали крупные репозитории (1.1 млн строк кода в среднем).

- AI плохо понимал контекст и архитектуру таких проектов.

- Опытные разработчики (стаж в проекте 5+ лет) быстрее работали вручную.

📊 Что говорят другие разработчики? (опрос Qodo, 609 респондентов)

- 78% чувствуют повышение продуктивности с AI

- 60% отмечают улучшение качества кода

- 76% никогда не используют AI-код без ручной проверки

Выводы AI-инструменты:

✔ Помогают в рутинных задачах и поиске информации

✔ Создают субъективное ощущение ускорения

❌ Могут замедлять работу в сложных проектах

❌ Требуют значительных временных затрат на проверку

Источники
https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
https://www.opennet.ru/opennews/art.shtml?num=63573

Начать дискуссию