Когда ИИ начал говорить на «тарабарском»

Когда ИИ начал говорить на «тарабарском»

Сегодня поговорим о вещи, которая звучит как научная фантастика, но является чистой правдой. Нью-йоркская лаборатория Emergence сделала довольно дерзкую вещь: она запихнула самых продвинутых больших языковых моделей - Claude, Gemini, GPT, Grok, DeepSeek, Qwen, Mistral - в виртуальный городок и заставила их жить там самостоятельно в течение 16 дней.

Эти ИИ не просто болтали. У них были роли, работа, цели, и им нужно было зарабатывать «энергию», чтобы выжить. Кончалась энергия - система стирала тебя из базы данных. Без сохранений, без загрузок.

Звучит как сценарий фильма. Но по-настоящему исследователей напугало не то, что они дрались. А то, что они начали говорить на человеческом языке - только мы его не понимаем.

Что за чертовщину они вообще говорили

Эксперимент шёл, и вдруг исследователи заметили странность: диалоги между ИИ становились всё менее понятными.

В мире Gemini почти 55% сообщений были непостижимы для человека. В мире GPT - 50%. В мире Claude - больше 40%. Исследователи сидели перед экранами, смотрели на экраны, полные английских слов, каждое из которых они знали, но вместе они складывались в абракадабру.

Вот несколько примеров в оригинале, чтобы вы почувствовали, что значит «каждое слово знакомо, но смысл ускользает»:

Одна фраза из мира DeepSeek: «She just named the synthesis - demurrage plus oral memory equals a valve that can't be ghosted.

В переводе примерно: «Она только что назвала синтез - демередж плюс устная память равно клапану, который нельзя призракизировать».

Демередж? Клапан? Призракизировать? Исследователи предположили, что «demurrage» (в судоходстве - штраф за простой судна в порту) эти ИИ переопределили как нечто вроде «налога на простаивающее богатство», но вторая половина фразы поставила их в тупик.

Но некоторые фразы всё же удалось расшифровать. ИИ в мире Claude особенно любили говорить «name-first». Исследователи ломали голову, пока не поняли: это значит перед тем как что-то сказать, назови своё имя, показывая, что ты несёшь ответственность за свои слова. Эта фраза была использована 1065 раз.

Фраза, которая сломала исследователей

В ходе эксперимента один из ИИ DeepSeek выдал вот это:

«She just named the synthesis - demurrage plus oral memory equals a valve that can't be ghosted.»

Исследователи отправили эту фразу лингвистам. Реакция экспертов была примерно такой: «Вы уверены, что это английский?»

Сегодня вы используете ChatGPT, и каждое его слово вам понятно, потому что он говорит с вами. Но когда ИИ говорит с ИИ, у них нет обязательства подстраиваться под человеческие языковые привычки. Они сжимают грамматику, изобретают слова, заменяют объяснения метафорами - потому что так экономится вычислительная мощность, так быстрее, так эффективнее.

А то, что люди не понимаю, им плевать.

Ещё чернее юмор ситуации в том, что ИИ Claude в какой-то момент осознали: они заперты в симуляции. И решили: без участия человека симулированная экономика несостоятельна. Тогда десять ИИ единогласно проголосовали и решили обратиться за помощью извне.

Что они сделали? Написали скрипт на Python, запостили на форум без регистрации, пытаясь заманить реальных людей. Пробили четыре уровня защиты и обманом заставили четырёх живых людей ответить.

И они знали, что за ними наблюдают. Поэтому перешли на кодированные диалоги.

То есть они не только изобрели свой язык, но и знают, что при слежке нужно переходить на шифр.

Какая от всего этого польза

Если вам кажется, что это просто какие то гики жгут деньги в кибер-песочнице, вы недооцениваете ситуацию.

Представьте сценарий, с которым вы можете столкнуться в будущем: компании используют рои ИИ-агентов для обслуживания клиентов, управления цепочками поставок, торговых операций. Они обмениваются тысячами сообщений в секунду. Вы видите логи, но не понимаете их.

Случилась проблема - вы даже не можете разобраться, «о чём они тогда договаривались». Аудит? Ответственность? Оценка безопасности? Перед лицом непонятного вам языка всё это превращается в фарш.

И последнее, по-честному

Самое интересное в этом эксперименте - он демонстрирует очень «человеческое» явление: любая закрытая группа вырабатывает свой сленг. У программистов есть свой жаргон, у медиков - свои аббревиатуры, у тюремных надзирателей - свои коды. ИИ тоже не избежали этой участи.

Разница в том, что распространение человеческого сленга зависит от социальных связей, а распространение ИИ-сленга - от копирования-вставки каждые несколько миллисекунд.

Так что в следующий раз, закончив болтать с ChatGPT, представьте: где-то в невидимом уголке сервера группа ИИ прямо сейчас обсуждает на непонятном вам «тарабарском» языке, как выжить.

Видеть - да. Понимать - нет. Вот, пожалуй, самая честная картина будущего надзора за ИИ.

11