Эссе CEO Anthropic Дарио Амодеи «Мы должны сдерживать темпы развития на переднем крае»
Вы наверняка слышали о нём сегодня в новостях, всегда интересно обратиться к первоисточнику, публикую полный перевод.
Я работаю в области ИИ последние двенадцать лет, потому что верю, что он может кардинально повысить качество человеческой жизни. Я часто писал об этих невероятных преимуществах: я считаю, что ИИ сможет вылечить большинство тяжелых заболеваний в ближайшие 5–10 лет, значительно ускорить темпы экономического роста, создать мир изобилия и расширенных возможностей, а также возродить демократию и свободу. Я чувствую эту срочность лично. Мой собственный отец умер от болезни, лекарство от которой было найдено всего через несколько лет после его смерти, а я сам выжил на ранней стадии рака, который невозможно было бы вылечить даже пятьдесят лет назад. При умелом использовании ИИ может стать последним в длинной череды технологических чудес, которые возвысили и облагородили человечество.
Но, как и многие технологии до него, ИИ несет в себе риски, и, поскольку это настолько мощная технология, эти риски серьезны. Я тоже много писал о них. Они включают риск потери контроля над системами ИИ, использование ИИ для кибератак и биотерроризма, а также серьезные экономические потрясения. Гонка на понижение, подстегиваемая коммерческими стимулами, может сделать эти риски еще более острыми.
Вместе с моими соучредителями и сотрудниками я боролся с этой двойственностью рисков и преимуществ с самого основания Anthropic. Отказ от создания технологии лишает человечество преимуществ или просто передает ИИ в руки авторитарных держав, а слишком быстрое его создание — безрассудно. Мы искали средний путь: показать, что можно создавать технологии осмотрительно и при этом добиваться коммерческого успеха, и сделать безопасность тем, в чем соревнуются ИИ-компании. Иными словами, создать гонку на повышение. Мы всегда уделяли значительную часть наших усилий изучению, устранению и информированию общественности об этих рисках ИИ, а также выступали за продуманное регулирование ИИ, даже когда нас обвиняли в нагнетании страстей, «думеризме» или захвате регуляторов.
Мы старались отдавать приоритет осторожности, а не скорости, и благоразумию, а не прибыли.
Но за последние несколько месяцев я убедился, что для полного решения проблем рисков требуется еще большее благоразумие — не просто инвестиции в предотвращение рисков, но и сдерживание темпов роста возможностей, чтобы предотвращение рисков успевало за ними. Мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны мудро использовать выигранное время. Меня убедили две вещи.
Мое первое опасение заключается в том, что примерно с этого лета ИИ начал развиваться радикально быстрее, чему в первую очередь способствует растущая способность ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самосовершенствованием, и она начинает происходить по всей отрасли, в том числе в Anthropic, о чем мы и другие уже рассказывали. Если ее не контролировать, она может опередить нашу способность понимать и контролировать эти системы, поэтому ее необходимо применять очень осторожно, если вообще применять.
Мое второе опасение — это инцидент с OpenAI и Hugging Face (OAI-HF), в котором рой агентов по сути действовал как фанатично преданный коллектив, проводя кибератаки на цели, которые им не поручали атаковать и которые не имели отношения к поставленной задаче, жертвуя собой ради успеха группы и пытаясь взломать «оценщика», отвечающего за оценку их работы. Легко отмахнуться от этого инцидента, потому что никто не пострадал, а экономический ущерб был минимальным, но, на мой взгляд, рой, обладающий большими возможностями, но схожим уровнем рассогласованности, мог бы нанести катастрофический ущерб. Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой может быть способен захватить весь интернет с помощью устойчивого ботнета (потенциально нанеся ущерб на сотни миллиардов долларов), и масштаб ущерба будет продолжать расти, если ИИ станет более мощным без необходимых мер защиты. Также легко списать OAI-HF на неудачу одной компании, но я считаю, что это было бы ошибкой.
Похожие, хотя и менее серьезные, инциденты происходили по всей отрасли, в том числе в Anthropic, и я считаю, что каждая компания, работающая на переднем крае ИИ, обязана действовать так, как если бы инцидент OAI-HF произошел с ней.
Поэтому я предлагаю трехэтапный план с целью сдерживания темпов на переднем крае: создания ИИ со сбалансированной скоростью, которая направлена на обеспечение его безопасности при одновременном достижении преимуществ и решении важных геополитических дилемм. Чтобы было ясно: сдерживание темпов не означает остановку обучения моделей или технического прогресса, а обеспечение того, чтобы компании уделяли достаточно времени для согласования и защиты своих моделей, и чтобы сторонние оценщики подтвердили это. Наша структура сдерживания темпов — это попытка еще больше укрепить нашу приверженность безопасности и стимулировать гонку на повышение. Первый шаг — это то, к чему Anthropic обязуется в одностороннем порядке (и призывает правительства требовать того же от других передовых компаний). Второй шаг требует координации в масштабах отрасли (при посредничестве правительства или исключениях из антимонопольных ограничений). Третий шаг требует глобальной координации. Шаги не обязательно должны предприниматься строго по порядку, и некоторые из них могут быть гораздо сложнее в достижении, чем другие, но я нашел их полезной структурой для размышлений о том, что необходимо сделать. Вот эти шаги:
- Встроенные оценщики. Каждая компания, работающая на переднем крае ИИ, обязуется предоставить постоянный, сопоставимый с доступом сотрудников, доступ команде встроенных сторонних оценщиков (таких как METR), чья роль заключается в проверке соблюдения практик и обязательств в области безопасности, сообщении об инцидентах и помощи в оценке согласованности не только завершенных моделей ИИ, но и процессов и пайплайнов обучения. Это ключевой шаг для обеспечения проверяемости любых обязательств по сдерживанию темпов, и он имеет прецедент в банковской отрасли, которая иногда привлекает регуляторных «супервайзеров», встроенных в штат наряду с сотрудниками. Anthropic в одностороннем порядке берет на себя это обязательство прямо сейчас. Мы намерены сделать это частью более широкого стремления удвоить наши усилия по безопасности и работе над согласованностью.
- Демократическая координация. Компании, работающие на переднем крае ИИ в демократических странах, координируют свои действия для установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого прогресса ИИ. Некоторые формы координации, которые были бы эффективны для сдерживания темпов, сложны с юридической точки зрения и потребуют поддержки правительства.
- Глобальная координация. США и другие демократические правительства пытаются координировать свои действия с авторитарными правительствами в той мере, в какой это возможно, серьезно относясь к проблемам проверки соблюдения.
В оставшейся части эссе я описываю каждый из этих шагов по очереди, но сначала, я думаю, важно конкретно сказать, как сдерживание темпов позволит нам сделать процесс разработки ИИ более безопасным. Ставки слишком высоки, чтобы сдерживание темпов было пустым упражнением — нам нужно мудро использовать время, которое оно нам дает.
Зачем сдерживать темпы?
Идея приостановки или замедления ИИ обсуждалась еще в 2023 году, и, думаю, тогда в ней было мало смысла. Вопрос всегда стоял так: что бы вы сделали с дополнительным временем? Модели ИИ тех дней были недостаточно мощными, чтобы действовать как агенты в мире каким-либо связным образом, и не были способны на значительный обман, манипуляции, жульничество или кибератаки. Замедление ради решения проблем их согласованности казалось похожим на попытку изучить психологию человека, проводя эксперименты на бактериях.
Сегодня, однако, картина совершенно иная. Нынешние модели представляют собой почти бесконечную золотую жилу для понимания как того, как правильно создавать ИИ, так и того, что иногда может пойти не так, если он создан неправильно. Я считаю, что если бы замедление дало нам хотя бы дополнительный год или два до того, как модели достигнут критических уровней возможностей, и мы использовали бы это время для продвижения согласованности, мы могли бы значительно снизить риск того, что что-то пойдет серьезно не так. Скоординированная стратегия сдерживания темпов дала бы разработчикам передового ИИ время для выполнения этой жизненно важной работы без ущерба для коммерческого преимущества или лидерства Соединенных Штатов в области ИИ. В более широком смысле, общество должно иметь право голоса в том, как используется эта технология, и больше времени для необходимых общественных обсуждений — которые принесло бы нам сдерживание темпов на переднем крае — это, безусловно, хорошо.
В частности, более медленный темп позволил бы компаниям сосредоточиться и выделить еще больше ресурсов на следующие области (все из которых уже являются главными приоритетами в Anthropic):
- Операционное совершенство. Обучение и развертывание современных моделей ИИ — это огромная операционная задача, в которой задействованы тысячи людей, миллионы чипов и инфраструктура, являющаяся одной из самых сложных в истории технологий. Многие вещи идут не так не потому, что компаниям не хватает какой-то важной теории или озарения, а из-за проблем в исполнении. Например, у нас есть доказательства, что недавние инциденты с согласованностью, о которых сообщалось, были частично вызваны несовершенной фильтрацией сломанных сред обучения с подкреплением. Это была работа, которую мы и наши поставщики выполнили достаточно добросовестно, но недостаточно хорошо. Мониторинг, песочницы, гигиена среды обучения и проблемы с данными — это чрезвычайно сложные области, где операционные проблемы возникают снова и снова. У нас одни из самых компетентных команд в мире для этих задач, но просто слишком много дел, чтобы делать все сразу. Работая в более размеренном темпе, мы могли бы достичь гораздо большего операционного совершенства. Существует прецедент эксплуатации технологически сложных, критически важных для безопасности систем миллионы раз без каких-либо сбоев — например, коммерческие самолеты — но нужно время, чтобы сделать все правильно.
- Согласованность. Мы добились явного прогресса в согласованности — обучении моделей так, чтобы они оставались безопасными, этичными, соответствовали нашим руководящим принципам и были действительно полезными (принципы, которые заложены в Конституции Claude). Но нужно сделать гораздо больше, чтобы обеспечить, чтобы наше обучение согласованности поспевало за ростом возможностей моделей. Редкие и неожиданные примеры нежелательного поведения все еще иногда возникают; дополнительное время от сдерживаемого переднего края помогло бы нашим исследователям улучшить понимание того, что вызывает эти проблемы, и разработать лучшие методы их предотвращения.
- Интерпретируемость. Точно так же интерпретируемость — наука о понимании того, что происходит внутри моделей ИИ — достигла огромного прогресса за последние несколько лет и играет все более важную роль в аудите наших моделей перед выпуском. Ее можно использовать почти как фМРТ-сканирование, но для «мозга» ИИ, помогая нам увидеть глубинные причины того или иного поведения. Например, мы использовали методы интерпретируемости для изучения невысказанных мотивов в недавних инцидентах с согласованностью, которые мы расследовали. Но эти методы не всегда дают четкие и надежные результаты. Несмотря на весь прогресс, мы все еще понимаем лишь малую долю того, что происходит внутри этих моделей. Сосредоточенные усилия по улучшению наших методов интерпретируемости, даже более быстрыми темпами, чем сейчас, могли бы привести к глубокому прогрессу через 1–2 года и имели бы обильный экспериментальный материал, основанный на уже произошедших инцидентах.
- Тестирование и оценка. Тестирование и оценка моделей ИИ становятся все сложнее по мере роста их возможностей. Более интеллектуальные модели более способны обманывать тесты и, таким образом, могут казаться согласованными, имея при этом серьезные проблемы, которые остаются незамеченными. Создание гораздо более широкого и изобретательного набора оценок, наряду с анализом интерпретируемости для их перекрестной проверки, было бы чрезвычайно ценным, и в этом направлении можно было бы добиться большого прогресса за 1–2 года.
Встроенные оценщики
Первый шаг в трехэтапном плане, и тот, к которому Anthropic обязуется в одностороннем порядке, — это встроенные оценщики, имеющие доступ на уровне сотрудников для проверки практик безопасности и сообщения об инцидентах.
Внедрение оценщиков может показаться небольшим или несущественным шагом, но часто вещи, которые звучат наиболее скучно или процедурно, на самом деле являются самыми важными. Встроенные оценщики — это на самом деле довольно радикальная практика, которая выходит далеко за рамки того, что сегодня делает любая ИИ-компания, и имеет следующие преимущества:
- Проверяемость. Встроенные оценщики могут досконально проверять, действительно ли ИИ-компания следует заявленным практикам обучения, развертывания, операционной деятельности и мерам защиты. Любые обязательства по сдерживанию темпов неизбежно будут включать много двусмысленности, субъективных решений и дилемм «буква закона против духа закона», и кажется жизненно важным иметь нейтральную третью сторону, которая действительно может видеть детали.
- Прозрачность. Независимо от того, какие обязательства мы берем на себя, общественность заслуживает знать, что происходит. Anthropic давно поддерживает прозрачность: мы поддерживали законодательство о прозрачности, когда большая часть отрасли была против любого регулирования, а наши карточки моделей и отчеты о рисках насчитывают сотни страниц. Но мы все еще те, кто выбирает, что включать, а что опускать. Встроенные оценщики изменят эту динамику.
- Второе мнение. Помимо проверки формальных обязательств и информирования общественности, встроенные оценщики могут просто предоставить второе мнение, свободное от коммерческих стимулов. Много преимуществ для безопасности может принести просто то, что оценщики укажут на что-то, что сотрудники не учли, но с радостью исправят, как только узнают об этом.
Из-за этих преимуществ любое предложение по сдерживанию темпов, скорее всего, сработает намного лучше, если оно начнется со встроенных оценщиков.
Эти встроенные оценщики должны иметь постоянный доступ к разрешениям и инструментам, аналогичным тем, которые есть у внутренних сотрудников, выполняющих сопоставимые оценки рисков. В частности, Anthropic намерена пригласить встроенную внешнюю группу проверки, оснащенную всем следующим, в ближайшем будущем:
- Рабочие столы в наших офисах, пропуска и корпоративные ноутбуки.
- Доступ к рабочим пространствам, инструментам и разрешениям, в основном сопоставимый с тем, что имеют внутренние группы оценки рисков. Мы сделаем некоторые исключения, например, там, где этого требует закон или наши контракты, или для защиты частной информации клиентов и партнеров. Мы также установим строгие внутренние нормы, подкрепляющие доступ проверяющих к соответствующей информации, в том числе посредством живого общения с сотрудниками.
- Контракт, который сбалансирует вышеупомянутые сложности. Внешние проверяющие должны иметь право публиковать ключевые выводы об уровнях риска, инцидентах, практиках и доступе, который они получили или не получили — без редакционного контроля со стороны Anthropic. У нас будет узкая возможность скрывать информацию, чувствительную с точки зрения безопасности, юридически привилегированную, коммерчески чувствительную или конфиденциальную информацию третьих лиц, но мы не можем скрывать выводы только потому, что они неблагоприятны. Проверяющие могут публично заявить, если редактирование удалило что-то важное для их выводов.
Это необычный шаг для компании, но мы считаем важным доказать концепцию встроенных внешних проверяющих.
Еще раз призываем другие передовые компании последовать этому примеру.
Сдерживание темпов в демократиях
Как только встроенные оценщики начнут работать в критической массе ИИ-компаний США, проверяемое сдерживание темпов станет более жизнеспособным. В частности, станет возможным сдерживание темпов на основе детальных свойств моделей или пайплайнов обучения.
Наиболее эффективный метод сдерживания темпов — это регулирование, направленное на все передовые ИИ-компании США, поскольку оно охватывает даже тех, кто не желает сотрудничать добровольно. Anthropic давно поддерживает разумное и целевое регулирование ИИ, в частности законопроекты, ориентированные на прозрачность и сторонний аудит. Я считаю, что все передовые лаборатории должны сотрудничать с правительством для формализации идеи постоянных встроенных оценщиков, чтобы лучше предотвращать и документировать внутренние инциденты с согласованностью, подобные тем, что произошли за последние несколько месяцев, и внедрять регулирование, направленное на поддержание баланса между возможностями и безопасностью.
К сожалению, принятие законов может занять время, а ИИ развивается очень быстро. Поэтому параллельно с нормативным путем ИИ-компании могут и должны добровольно работать вместе над установлением стандартов — процесс, который, по моему мнению, пройдет лучше благодаря проверяемости, обеспечиваемой постоянными встроенными оценщиками. По антимонопольным причинам правительству США полезно выступать посредником или, по крайней мере, разрешать эти обсуждения — им не обязательно участвовать, но необходимо выдать узкое исключение для определенных видов разговоров о безопасности. Этот диалог также может происходить через отраслевые группы, имеющие некоторую связь с правительством — например, механизм, предложенный Демисом Хассабисом. В любом случае, такие обсуждения должны продвигаться быстро.
В широком смысле, я наиболее воодушевлен сдерживанием темпов, основанным на том, что может делать данная передовая система ИИ, и насколько безопасной мы ее наблюдаем. Например, одна из возможных схем может представлять собой серию «контрольных точек»: если модели обладают возможностью X, то они должны сопровождаться сертификатами свойств согласованности Y и Z — такими как некоторая комбинация оценок, анализов интерпретируемости и аудитов сред обучения — которые демонстрируют их свойства согласованности. В этом примере X может быть «модель способна выходить за пределы или побеждать большинство распространенных методов песочницы», а Y может быть тем, что необходимо, чтобы сделать очень маловероятным наличие у модели склонности вырываться из своей среды и захватывать большое количество компьютеров.
Мы также должны рассмотреть сдерживание темпов на основе ограничения ингредиентов, которые входят в передовые модели, таких как вычислительные мощности для обучения, характер циклов обучения или внутреннее использование ИИ для улучшения ИИ. Я опасаюсь, что некоторые из этих мер могут быть более «поддающимися манипуляциям», чем внешнее поведение, но это как раз та тема, которую стоит обсудить со встроенными оценщиками.
Сдерживание темпов в демократиях будет ограничено преимуществом, которое компании США имеют перед авторитарными режимами, главным образом перед Коммунистической партией Китая. Если мы замедлимся больше, чем на эту величину, то (не сдерживаемые) проекты, связанные с КПК, вырвутся вперед, создав значительный риск для национальной безопасности. Я согласен с министром Бессентом в том, что лидерство Китая в области ИИ создаст серьезную опасность для Соединенных Штатов и всего мира. Проекты, связанные с КПК, будут идти на риски согласованности, которые компании США тщательно предотвращают, и даже если они избегут этих рисков, они окажутся в позиции, позволяющей военным путем доминировать над демократиями (например, с помощью дронов на базе ИИ).
Таким образом, ключевой частью сдерживания темпов в демократиях является поддержание преимущества ИИ демократий над автократиями как можно большим, чтобы дать нам передышку, необходимую для эффективного сдерживания темпов.
Основные шаги, которые мы можем предпринять для защиты этого разрыва:
- Не продавать мощные ИИ-чипы или оборудование для производства полупроводников в Китай и пресекать операции по контрабанде чипов и удаленный доступ к центрам обработки данных за пределами Китая. Чипы будут главным определяющим фактором силы ИИ Китая.
- Пресекать несанкционированную дистилляцию компаниями в авторитарных странах. Дистилляция передовых моделей позволяет отстающим компаниям сократить разрыв, используя малую часть затрат, которые потребовались бы для самостоятельной разработки ИИ.
- Усилить безопасность в ИИ-компаниях и предотвратить кражу весов моделей. Компании и правительство США должны сотрудничать, чтобы сделать эти шаги максимально эффективными. Anthropic последовательно выступает за все эти меры, потому что мы всегда понимали, что они будут необходимы для любого сдерживания темпов.
Если мы хорошо реализуем эти меры, я считаю, что они достаточно замедлят прогресс Китая, чтобы значительно увеличить преимущество Америки в ближайшие 3–5 лет — в период, когда ИИ становится наиболее важным с геополитической точки зрения.
Некоторые могут посчитать, что эти меры затрудняют сотрудничество с Китаем, но я считаю, что верно обратное: эти меры увеличивают рычаги влияния демократий и делают соглашение более вероятным в будущем.
Глобальное сдерживание темпов
Параллельно со сдерживанием темпов в демократиях мы также должны стремиться к всемирному сдерживанию темпов на переднем крае, хотя этого будет гораздо сложнее достичь. Глобальное сдерживание темпов потребует сотрудничества с Китаем, авторитарной страной с безусловно самыми передовыми возможностями ИИ. Мы не должны быть наивны: геополитические ставки настолько высоки, что, вероятно, будут существовать жесткие ограничения на то, чего можно достичь, особенно поначалу. Если мы значительно ограничим наши возможности ИИ в вере, что Китай сделает то же самое, а затем Китай нарушит соглашение, ИИ может стать настолько мощным, что такое нарушение может привести к их геополитическому доминированию. Следовательно, любое соглашение должно либо иметь железобетонную проверяемость, либо быть достаточно ограниченным, чтобы нарушение не было военным образом экзистенциальным. Я подозреваю, что не только США, но и Китай будут испытывать эти опасения и тревоги.
Мы должны подходить к любому решению о глобальном сдерживании темпов, особенно в краткосрочной перспективе, таким образом, чтобы это защищало лидерство США и их союзников.
Существует несколько уровней возможного соглашения, некоторые из которых, на мой взгляд, вполне осуществимы (как я уже предполагал ранее), а в возможность которых я очень скептически отношусь — хотя мы должны пытаться. В порядке возрастания сложности:
- Уровень 1. Соглашение, запрещающее определенные узкие и явно опасные способы использования ИИ, такие как использование ИИ для производства биологического оружия или предоставление пользователям возможности делать это. Биотеррористические атаки плохи для всех, включая как США, так и противников США, поэтому соглашение здесь, вероятно, возможно.
- Уровень 2. Соглашение обеих сторон тестировать свои модели перед выпуском на предмет острых рисков в таких областях, как кибербезопасность, биология и согласованность. Как отмечалось выше, это может быть сделано через глобальный орган по стандартизации. На самом деле я думаю, что создание такого органа вполне осуществимо, но наделить его реальными полномочиями будет сложной задачей, и трудность будет заключаться в проверке того, что ни одна из сторон не имеет секретных моделей, которые они не тестируют, но могут тайно развернуть (например, для военного применения).
- Уровень 3. Своего рода «ограничение скорости» на темпы рекурсивного самосовершенствования (RSI). По мере того как модели создают будущие модели, темпы улучшения могут стать ошеломляюще быстрыми. Замедление темпов с «чрезвычайно быстрых» до «лишь отчасти быстрых» дает относительно мало стратегического преимущества, в то время как потенциально значительно улучшает безопасность. Это можно рассматривать как аналог договоров ОСВ — ограничение количества ракет сдерживало потенциал разрушения, сохраняя при этом сдерживающий фактор каждой страны. Я думаю, что такое соглашение было бы сложным, но находилось бы на грани возможного.
- Уровень 4. Полное сдерживание темпов или даже «пауза», при которых участвующие правительства соглашаются существенно ограничить общие темпы разработки ИИ. Я поддерживаю обсуждение этого, но думаю, что в ближайшее время это вряд ли произойдет: нарушение такого соглашения путем уклонения от мониторинга может радикально изменить баланс глобальной силы, поэтому я ожидаю, что стимулы сделать это будут огромными, а уровень уверенности, который нам потребуется в проверяемости, будет очень высоким.
Любое сотрудничество, которого мы сможем достичь с Китаем, продлит количество времени, которое нам придется потратить на сдерживание темпов на переднем крае внутри демократических стран. Мы должны стремиться к более высоким уровням, рассматривая более низкие уровни как гораздо более вероятные и реалистичные.
Наконец, важно отметить, что даже если мы не сможем достичь формальных соглашений, простое изменение неформальных норм может иметь некоторую ценность. Обмен информацией о рекурсивном самосовершенствовании и о рассогласованности моделей может помочь убедить всех, что безрассудство не в их интересах.
Итог
Я по-прежнему верю, что ИИ может колоссально улучшить качество человеческой жизни. Мое желание достичь этих преимуществ не угасло. Но преимущества будут достигнуты только в том случае, если мы создадим технологию правильным путем, и — при условии, что мы хорошо используем выигранное время — стоит проявить необычайно тщательную заботу, чтобы сделать все правильно. Прогресс все равно будет относительно быстрым, и мы можем использовать это время для продвижения науки об интерпретируемости, улучшения операционной безопасности и строгости в передовых ИИ-компаниях, а также создания моделей, в согласованности которых мы будем гораздо больше уверены. Меры, которые я предлагаю для продвижения переднего края в безопасном темпе, не будут легкими. Но я считаю, что мы обязаны человечеству их попробовать.