ИИ научился копировать программы по их «поведению» без исходного кода. Но один запуск стоит $3 000

Исследователи создали жесткий тест MirrorCode, заставив топовые нейросети полностью переписывать сложные ИТ-продукты с нуля, не видя их исходного кода. Результаты эксперимента поражают: ИИ способен заменить недели человеческого труда всего за 14 часов, но один такой запуск обходится компаниям в $3 000.

До сих пор все тесты для ИИ-программистов выглядели довольно просто: нейросети давали задачу написать небольшую функцию на 50–100 строк кода или исправить мелкий баг. Но в реальной жизни разработка — это не сборка конструктора по инструкции, а создание огромных взаимосвязанных систем.

Группа исследователей из Epoch AI, MIT и других институтов решила поднять планку на максимум. Они создали бенчмарк MirrorCode — симулятор, который заставляет ИИ работать как настоящий опытный инженер. Нейросети дали задачу: полностью воссоздать с нуля сложные ИТ-продукты, не видя их исходного кода.

Результаты оказались впечатляющими, пугающими и... очень дорогими.

Представьте, что вам дали запертую коробку с кнопками и экраном. Вы нажимаете комбинацию — коробка выдает результат. Ваша задача — собрать точно такую же коробку, не заглядывая внутрь первой.

Чтобы воссоздать программу в таких условиях, исследователи предоставили искусственному интеллекту строгий набор инструментов и ограничений:

Критерий успеха жесткий: написанный ИИ код должен выдать точно такой же результат, как оригинал, байт-в-байт. Чтобы ИИ не смухлевал и не вставил в код «таблицу готовых ответов», исследователи проверяли его код на скрытых тестах, которые нейросеть во время работы вообще не видела.

Самым ярким примером стала программа gotree — это сложный инструмент для ученых-биологов, написанный на языке Go. В нем больше 16 000 строк кода и около 40 различных внутренних команд.

Четыре независимых инженера оценили, сколько времени ушло бы у человека на воссоздание такого продукта по документации. Оценки колебались от 2 до 17 недель упорной работы.

Модель Claude 4.7 Opus справилась с задачей за 14 часов. ИИ написал код, который успешно прошел 2000 из 2001 теста (99.95% точности). По сути, модель в одиночку и за один день выдала готовый сложный продукт. Другая модель, GPT-5.5, тоже показала сильные результаты на масштабных задачах.

Вам могло показаться, что эпоха дешевых программистов наступила. Но экономика исследования отрезвляет.

Чтобы ИИ мог решать задачи такого уровня, ему нельзя просто сказать «напиши код». Модели запускали в режиме «агента»: ИИ часами думал, сам запускал тесты, находил у себя ошибки, переписывал архитектуру и пробовал снова.

В ходе экспериментов исследователи зафиксировали конкретные финансовые показатели и объемы вычислений, которые требуются для автономной работы нейросети:

Пока что ИИ-разработчик на длинных дистанциях жжет бюджеты быстрее, чем джуниор на кофеине. Но ИИ делает работу за день, а человек — за месяцы.

Несмотря на крутые цифры, исследование вскрыло системные проблемы ИИ-инженеров, из-за которых без человека пока не обойтись.

В процессе анализа написанного кода авторы бенчмарка выделили четыре критических уязвимости в логике работы нейросетей и наглядно распределили их по частоте сбоев:

Именно поэтому, несмотря на фантастическую скорость, ИИ-разработчик сегодня — это не замена штату программистов, а скорее гиперактивный стажер, за кодом которого до сих пор нужен строгий тотальный контроль опытного тимлида.

Один из главных аргументов скептиков: ИИ просто копирует куски кода из интернета, которые видел при обучении. Исследователи проверили это красивым способом.

Они заставили ИИ писать программы на 6 разных языках: от сверхпопулярного Python до древнего и редкого языка Ada (используется в авиации и оборонке, кода на нем в сети ничтожно мало).

Результат превзошел ожидания — ИИ справился одинаково хорошо на всех языках. Ему без разницы, на чем писать. Это доказывает, что нейросети выстраивают в своей «голове» логическую модель программы, а перевод ее на конкретный язык программирования для них — уже вторичная техническая задача.

ИИ уже сегодня способен за один день создать аналог программы, которую команда разработчиков писала бы неделями. Да, этот код пока выглядит как монолитный костыль, а за облачные сервера для работы ИИ придется выложить круглую сумму.

Но это технологический сдвиг. Как только стоимость токенов упадет (а она падает постоянно), а агенты научатся лучше следовать планам, индустрия разработки изменится навсегда.