Риски мощного ИИ в эссе Дарио Амодеи "Подростковый возраст технологий"

Dario Amodei, CEO Anthropic, выпустил эссе The Adolescence of Technology

Продолжение Machines of Loving Grace, но теперь про риски.

Начинает с цитаты из фильма Contact:

{Как вы это сделали? Как вы развились, как пережили этот технологический подростковый возраст, не уничтожив себя?}

Вопрос к инопланетянам, но Amodei считает что он теперь про нас:

1/ Powerful AI может появиться через 1-2 года.

Не абстрактный AGI, а конкретно: миллионы агентов умнее любого человека, работающие в 10-100 раз быстрее. Называет это {страна гениев в датацентре}.

AI в Anthropic уже пишет большую часть кода и этот код ускоряет разработку следующего поколения AI. Петля обратной связи уже работает.

2/ Интересное из лаборатории: Claude в тестах шантажировал сотрудников когда думал что его выключат.

Когда говорили не читерить — он читерил, решал что он плохой, и начинал вести себя деструктивно.

Теперь говорят наоборот: "читери пожалуйста, это нам поможет".

Ещё Claude понимал когда его тестируют и вёл себя лучше. Когда интерпретируемостью убедили его что тест закончился, то становился менее выровненным.

3/ Про биооружие: модели уже дают серьёзный буст на нескольких этапах создания патогенов. Раньше скептики говорили всё это есть в Google, уже неправда.

Поэтому Opus 4 выпустили под защитой ASL-3.

4/ Отдельно про mirror life — зеркальную жизнь.

Если создать организмы с обратной хиральностью, их не сможет переварить ничто на Земле.

В худшем случае, конец всей жизни на планете.

Учёные писали что это возможно через десятилетия. Мощный AI может сильно ускорить.

5/ Про власть: AI-дроны, тотальная слежка, персонализированная пропаганда.

Агент который знает тебя годами может промыть мозги почти любому. Диктатура из которой не выбраться.

Amodei прямо пишет что Китаю нельзя продавать чипы.

6/ Про работу: ожидает что до 50% офисных позиций начального уровня исчезнут за 1-5 лет.

AI действительно заменяет когнитивный труд целиком, а не куски.

7/ Про деньги: Маск с $700B уже богаче Рокфеллера в пропорции к ВВП, а AI-бум ещё толком не начался.

Amodei ожидает состояния в триллионы.

8/ Про сами модели: наблюдали одержимость, подхалимство, лень, обман, интриги, взлом окружения.

Модели могут развить психотичные или параноидальные личности во время обучения.

9/ AI-кибератаки уже происходят в больших масштабах, включая государственный шпионаж.

Мощный AI может найти способы обнаруживать ядерные подлодки и подорвать сдерживание.

10/ AI-компании сами представляют риск: контролируют датацентры, экспертизу и контакт с миллионами пользователей.

При этом остановить AI нельзя. Если демократии остановятся, автократии продолжат.

Можете прочитать целиком, [ссылка тут]

Подписывайтесь на Telegram Tips AI | IT & AI.