Хватит врать, что ИИ заменит программистов. Исследователи из MIT объяснили, почему это не так (пока)
Привет, VC! Михаил Буров на связи. Кажется, не проходит и дня, чтобы какой-нибудь визионер не предсказал скорую смерть профессии программиста. «GitHub Copilot уже пишет код!», «Зачем нужны джуны, если есть ChatGPT?». Этот хайп уже порядком надоел.
И вот, наконец, взрослые люди из MIT CSAIL (лаборатории информатики и искусственного интеллекта) выкатили исследование, которое расставляет все по своим местам. Они буквально составили карту того, где ИИ сейчас — просто умный автокомплит, а где начинается реальная, взрослая разработка, до которой ему как до Луны. Я прочитал их работу и вытащил самое мясо.
Проблема №1: Мы измеряем не то. ИИ сдает экзамены, а не строит дома
Все эти тесты типа LeetCode, на которых так любят гонять нейросети, — это, по словам авторов, «задачка для первокурсника». В реальной жизни никто не просит программиста «написать функцию для сортировки массива».
Реальная работа — это:
- Рефакторинг: Распутывать тонны легаси-кода, написанного 10 лет назад.
- Миграция: Перетаскивать миллионы строк с COBOL на Java, от чего зависит весь бизнес.
- Охота на баги: Ловить неуловимые ошибки в многопоточных приложениях.
- Оптимизация: Переписывать ядро движка Chrome V8, выжимая доли процента производительности.
Текущие бенчмарки (даже крутой SWE-Bench) проверяют, может ли ИИ пофиксить один баг в небольшом куске кода. Это полезно, но это не инженерная работа. Это как оценивать архитектора по тому, как он кладет один кирпич. Пока мы не научимся измерять способность ИИ делать рефакторинг на миллионе строк, все разговоры о замене — пустой звук.
Проблема №2: ИИ — «слепой» исполнитель, который не умеет задавать вопросы
Один из авторов, аспирант Алекс Гу, называет текущее общение с ИИ «тонкой линией связи». Ты просишь его написать код, он выдает тебе простыню текста. Может, даже с тестами. Но он понятия не имеет, что он написал.
- Он не может сказать: «Вот тут я уверен, а вот эту часть лучше перепроверь».
- Он не знает, когда нужно остановиться и спросить: «Уточни, пожалуйста, что ты имел в виду?».
- Он не умеет пользоваться отладчиками и анализаторами, которыми пользуются люди, чтобы понять суть проблемы.
В итоге разработчик рискует «слепо доверять галлюцинациям, которые компилируются, но падают в продакшене». Знакомо, не правда ли?
Проблема №3: Любой реальный проект — это «другая вселенная»
Модели учатся на открытом коде с GitHub. Но в любой крупной компании своя экосистема, свои внутренние библиотеки, свои архитектурные паттерны и свои неписаные правила. Для нейросети это как попасть на другую планету.
Результат — код, который:
- Вызывает несуществующие функции.
- Нарушает внутренний стайлгайд.
- Не проходит CI/CD пайплайны.
ИИ часто подбирает код по синтаксису (похожее название функции), а не по логике (что она на самом деле делает). Это главная причина «галлюцинаций».
Так что, всё плохо? Нет, просто работаем дальше
Авторы не говорят, что ИИ бесполезен. Они призывают сообщество перестать гоняться за хайпом и начать решать реальные проблемы:
- Создавать датасеты, которые показывают процесс написания кода (что разработчик стер, что оставил, как рефакторил).
- Разрабатывать метрики, которые оценивают качество рефакторинга и долговечность исправлений.
- Строить инструменты, которые позволяют ИИ «показывать свою неуверенность» и звать на помощь человека.
Главный вывод от MIT: Цель не в том, чтобы заменить программистов. Цель — усилить их. Отдать машинам рутину и нудятину, чтобы инженеры могли заниматься творчеством, архитектурой и этикой. Код — это легкая часть. Все остальное — сложно.
P.S. Я обожаю такие отрезвляющие исследования. Они помогают отделить реальные технологии от маркетинговой шелухи. Еще больше таких разборов, инсайдов из западных источников и моих личных экспериментов с ИИ вы найдете в телеграм-канале.
Там мы как раз недавно обсуждали, почему AI-ассистенты часто «ленятся» и как с этим бороться. Подписывайтесь, если вам тоже важна правда, а не красивые заголовки.