Глава Anthropic забил тревогу: у нас есть всего год, чтобы успеть за ИИ

Дарио Амодеи, сооснователь и глава Anthropic, опубликовал эссе под названием Policy on the AI Exponential. Текст получился неожиданно откровенным: человек, который сам строит передовые модели, по сути предупреждает, что регулирование безнадёжно отстаёт от темпов развития технологии.

Главная проблема, по Амодеи, это время. ИИ развивается по экспоненте, а законотворчество движется медленно. Он сравнивает законодателей с Древобородом из Толкина: дерево настолько неторопливое, что приветствие соседнему дереву занимает у него целый день. Пока Конгресс соберётся действовать, ИИ успеет пройти путь от забавной игрушки до, цитата, целой страны гениев.

Его прогноз по срокам пугающе короткий. Если законы масштабирования продержатся ещё год или два, мы, вероятно, получим то, что он называет Powerful AI, или страну гениев в дата-центре.

Амодеи уверен, что доказательства уже появились. Он ссылается на киберриски, связанные с превью Claude Mythos, и пишет, что главное их значение в том, что они без всяких сомнений доказывают: модели ИИ стали инструментом глобального и национального стратегического значения. Отсюда его требование ввести жёсткие правила по образцу авиационного регулятора FAA. Обязательное независимое тестирование передовых моделей. Право государства заблокировать или отозвать релиз, если он признан небезопасным. И всё это говорит человек, чьи собственные модели первыми попали бы под такие ограничения.

Отдельно стоит разобрать его позицию по экономике, потому что здесь он честно признаёт раскол внутри себя. Потенциал он описывает огромный: если ИИ научится выполнять большинство когнитивных задач намного лучше людей, это способно запустить крайне быстрый экономический рост за счёт ускорения науки, технологий и эффективности процессов. Способность ИИ строить ещё более совершенный ИИ может разогнать этот рост ещё сильнее.

Но обратную сторону он не отметает. Есть заметная вероятность, что несмотря на все усилия ИИ всё же приведёт к значительной устойчивой потере рабочих мест, и это может оказаться внутренним свойством самой технологии. В качестве мер он называет вплоть до безусловного базового дохода и повышения налога на прирост капитала.

По вопросу власти Амодеи предупреждает: ИИ в неправильных руках может стать абсолютным инструментом автократии. И тут же обращает то же подозрение на собственную отрасль, признавая, что технологию нельзя полностью доверить ни государствам, ни компаниям. Anthropic он из этого списка не исключает.

Ещё он отказывается считать страх общества проблемой пиара. Люди боятся ИИ, потому что верно ощущают, что риски реальны. Сложно вспомнить, когда в последний раз глава ИИ-компании вставал на сторону встревоженных людей против собственного маркетинга.

Общий настрой эссе это срочность, а не триумф. Амодеи считает, что есть узкое окно, в котором сойдутся доказательства, общественное беспокойство и политическая воля, и что мы уже примерно на год опоздали. Финальный образ почти обнадёживающий: Древобород и его лес просыпаются. Вопрос лишь в том, успеют ли они проснуться достаточно быстро.

Полный текст эссе: https://www.darioamodei.com/post/policy-on-the-ai-exponential