Продуктивный вайбкодинг и катастрофа сродни гибели «Челленджера»: прогноз на еще один год жизни с ИИ

Насколько прогнозы о «взрослении» вайб-кодинга, доступных песочницах и грядущей кибер-катастрофе на ближайший год правдоподобны, разберем в блоге. Представил свое видение будущего больших языковых моделей (БЯМ, LLM) и программирования Саймон Уиллисон — разработчик инструмента для работы с данными Datasette, один из основателей веб-фреймворка Django, экс-директор по разработке в Eventbrite, а ныне — независимый разработчик.

Продуктивный вайбкодинг и катастрофа сродни гибели «Челленджера»: прогноз на еще один год жизни с ИИ

К концу года от вайб-кодинга к агентной иженерии

Пока вайб-кодинг вместе с бурным интересом вызывает у некоторых чувство недоверия, отношение к себе как к чему-то несерьезному. Однако предвзятость уходит тем скорее, чем больше продуктивных результатов выдают новые модели, особенно вышедшие в начале февраля Claude Opus 4.6 и GPT‑5.3‑Codex‑Spark. По различным наблюдениям индустрии, это не прямые конкуренты-клоны: инструменты сильно отличаются друг от друга, своим существованием по-разному отвечают на вопрос, каким должен быть ИИ-спутник человека. Но главное:

Новизна заключается в том, что и беспорядок, и очистка происходят с такой скоростью, которая была бы немыслима еще год назад.

Кордеро Кор, инженер-программист
Продуктивный вайбкодинг и катастрофа сродни гибели «Челленджера»: прогноз на еще один год жизни с ИИ

Скорость и мощность новых ИИ-моделей измерили с помощью математики. Еще в ноябре 2024 некоммерческая исследовательская организация Epoch AI выпустила FrontierMath, набор сложных математических задач от продвинутого уровня бакалавриата до начального уровня постдокторантуры. В итоге ученые стали с трудом успевать за моделями.

Изначально это было 300 задач, которые мы сейчас называем уровнями 1–3, но, увидев, как быстро развиваются возможности ИИ, мы поняли, что нам нужно двигаться вперед, чтобы не отставать, поэтому теперь существует специальный набор особо тщательно разработанных задач, которые мы называем уровнем 4.

Грег Бернхэм, старший научный сотрудник Epoch AI

В 2024 году модели ИИ не могли решить более 2% задач. Сегодня лучшие общедоступные модели ИИ решают более 40% из 300 задач уровней 1–3 и более 30% из 50 задач уровня 4.

FrontierMath, вероятно, достигнет насыщения [то есть, самые современные модели ИИ будут показывать 100% результат] в течение следующих двух лет; возможно, это произойдет быстрее.

Грег Бернхэм, старший научный сотрудник Epoch AI

Вероятнее всего, к концу 2026 года термины «вайб-кодинг» и «агентная инженерия» либо окончательно разграничатся, и вайб-кодинг сохранит на себе налет легкости и нулевого порога входа, либо станут синонимами и будут означать кропотливую работу человека по управлению пишущим код ИИ. Как полагает Саймон Уиллисон, утверждать, что LLM пишут бестолковый код, станет неуместно, а то и вредно для личного авторитета.

К концу года песочницы станут популярнее

Интернет пополняют истории о том, как ИИ сносит данные на диске, создает случайные задачи в GitHub, удаляет базы данных в рабочей среде, отправляют деньги третьим лицам. Недавно нашумела история о том, как инженер с помощью Claude подключился к семи тысячам роботов-пылесосов и получил потоковые видео, записи с микрофона, схемы помещений и др.

Чем больше распространяются ИИ-агенты, тем выше потребность в песочницах — изолированных виртуальных средах для безопасного выполнения программ, анализа кода, инструментов, файлов, ссылок и др. Актуальность доступных пользователям песочниц высока, потому что запуск ИИ-агентов чреват утечками и потерей данных — не только потому, что промпт, код, инструменты могут быть вредоносными, но и в силу того, что не все и не всегда до конца понимают, какой код они создают, прежде чем его запускать или выкладывать в открытый доступ.

Уиллисон пишет, что на сегодняшний день внушают оптимизм контейнеры (как, например, Docker и Bubblewrap) и WebAssembly, но отмечает, что они пока не так дружелюбны к конечному пользователю, чтобы распространяться массово. Тем не менее, из-за коммерческой ценности следует, что в скором времени на рынке появятся песочницы как продукт для широкого круга пользователей — ведь сама технология уже готова, ее развивают как энтузиасты, так и корпорации.

Если не предпринять шагов к безопасности…

Вслед за исследователем нейросетей и руководителем «красной команды» в Electronic Arts Йоханном Ребергером (Johann Rehberger), Уиллисон обращает внимание на историю катастрофы космического шаттла «Челленджер» в 1986 году. Комиссия, расследовавшая инцидент, пришла к выводу: руководители NASA 9 лет знали о дефектах ускорителей, но не обращали на это внимания, а также проигнорировали предупреждение конструкторов об опасности запуска в условиях минусовой температуры утром в день катастрофы.

Как этот драматичный инцидент связан с развитием ИИ? Наглядно демонстрирует, к чему приводит феномен нормализации отклонений, когда люди и организации привыкают действовать небезопасно, потому что из-за таких действий (или бездействия) с ними еще ничего плохого не случилось. Как пишет Ребергер,

…компании путают отсутствие успешной атаки с наличием надежной системы безопасности.

Йоханн Ребергер, рук. «красной команды» в EA, создатель Red Team в Azure и Uber

Человек всё больше доверяет ИИ, при этом на рынок выходят продукты, где возможность не только галлюцинаций, но даже утечек прописана в документации с припиской в духе: «остановите его, если заметите, что он получает доступ к данным» или «рекомендуем проявлять осторожность».

Сам Уиллисон отмечает, что давно предсказывает масштабную атаку с использованием пропмт-инъекции, и пока этого не случилось. Но всё же кейс «Челленджера» показывает: чем дольше игнорировать угрозу, тем ужаснее последствия.

* * *

Чтобы не пропустить новые посты о технологиях, применимых в клиентском сервисе, подписывайтесь в удобных соцсетях:

1 комментарий