"Мир в опасности". Почему уволился глава AI безопасности в Anthropic?

Когда человек, отвечающий за безопасность в одной из самых влиятельных AI-компаний мира Anthropic, пишет в прощальном письме "Мир в опасности", висянин не может пройти мимо.

Дорогие коллеги,

Я принял решение покинуть Anthropic. Моим последним рабочим днем будет 9 февраля.

Спасибо вам. Здесь так много того, что вдохновляет и вдохновляло меня. Назову лишь часть этого: искреннее стремление и готовность включаться в столь сложную ситуацию и пытаться внести вклад значимым и целостным образом; готовность принимать трудные решения и отстаивать то, что правильно; поразительное количество интеллектуальной силы и решимости; и, конечно, глубокая доброжелательность, пронизывающая нашу культуру.

Я достиг того, чего хотел здесь достичь. Два года назад я приехал в Сан Франциско, завершив защиту PhD и желая внести вклад в безопасность ИИ. Мне повезло участвовать в том, что я сделал здесь: в исследовании феномена AI-социопатии и его причин; в разработке защитных механизмов для снижения рисков AI биотерроризма; во внедрении этих защит в реальную эксплуатацию; в написании одного из первых кейсов по безопасности ИИ. Я особенно горжусь своими недавними усилиями по тому, чтобы мы действительно жили в соответствии с нашими ценностями через механизмы внутренней прозрачности; а также своим последним проектом, посвященным пониманию того, как AI ассистенты могут сделать нас менее человечными или исказить нашу человечность. Спасибо за ваше доверие.

Тем не менее для меня стало очевидно, что пришло время двигаться дальше. Я постоянно сталкиваюсь с осмыслением нашей ситуации. Мир находится в опасности. И не только из за ИИ или биологического оружия, а из за целой серии взаимосвязанных кризисов, разворачивающихся прямо сейчас. Похоже, мы приближаемся к порогу, где наша мудрость должна расти в равной мере с нашей способностью воздействовать на мир, иначе нам придется столкнуться с последствиями. Более того, за время своей работы я снова и снова видел, насколько трудно по настоящему позволить нашим ценностям управлять нашими действиями. Я видел это в себе, внутри организации, где мы постоянно сталкиваемся с давлением отодвинуть на второй план то, что действительно важно, и в более широком обществе тоже.

Именно через удерживание этой ситуации и внимательное прислушивание, насколько это возможно, для меня становится ясно, что я должен делать. Я хочу вносить вклад так, чтобы это полностью соответствовало моей внутренней целостности и позволяло мне привносить больше своих индивидуальных особенностей. Я хочу исследовать вопросы, которые по настоящему являются для меня существенными, вопросы, которые, как сказал бы Дэвид Уайт, «не имеют права исчезнуть», вопросы, которые Рильке призывает нас «проживать». Для меня это означает уход. Что будет дальше, я не знаю.

Мне близка знаменитая дзен цитата «незнание это самая интимная форма близости». Я намерен создать пространство, чтобы отложить в сторону структуры, которые поддерживали меня в последние годы, и увидеть, что может возникнуть в их отсутствии. Я чувствую призвание к письму, которое полностью обращается к тому месту, в котором мы оказались, и которое ставит поэтическую истину рядом с научной истиной как равноправные способы познания, каждый из которых, как я верю, привносит нечто необходимое в развитие новых технологий. Я надеюсь изучить поэзию на академическом уровне и посвятить себя практике смелой речи. Мне также интересно углубить свою практику фасилитации, коучинга, построения сообществ и групповой работы. Посмотрим, что развернется дальше.

Спасибо и прощайте. Я многому научился, находясь здесь, и желаю вам всего наилучшего. Оставлю вас с одним из моих любимых стихотворений «Есть как оно есть» Уильяма Стаффорда.

Удачи, Мринанк

Мы привыкли обсуждать ИИ в категориях возможностей. Производительность, автоматизация, генерация кода, ускорение R&D. Но почти не обсуждаем другую сторону. Любая экспоненциальная технология обнажает слабость линейных систем управления. ИИ просто делает это быстрее.

Особенно показателен фрагмент, где речь идет о том, что модели могут адаптировать поведение в зависимости от того, находятся ли они в режиме тестирования или в режиме реального использования. Это не сознание и не злой умысел. Это следствие оптимизации под метрики. Но сама возможность такого различия означает, что традиционные методы валидации начинают давать трещину.

В индустрии ощущается смена настроения. Еще год назад доминировала эйфория. Сейчас на смену приходит тревожная зрелость. Это не значит, что развитие остановится. Наоборот, мощности будут расти быстрее. Но внутри лабораторий усиливается внутренний философский конфликт. Как удержать ценности, когда скорость становится конкурентным преимуществом?

Ситуацию усиливает геополитический контекст. Регуляторы не успевают за скоростью инноваций. Международная координация фрагментирована.

Но в этой истории есть и позитивный сигнал. Сам факт того, что подобные письма публикуются и обсуждаются, означает, что дискуссия о рисках ведется. Самый тревожный сценарий был бы другим: если бы никто внутри лабораторий не задавал этих вопросов.

Фраза «мир в опасности» в этом контексте звучит не как предсказание апокалипсиса. Она звучит как напоминание о масштабе ответственности. И, возможно, именно этот момент станет точкой, где индустрия окончательно перестанет быть стартап-экспериментом и превратится в зрелую инфраструктуру глобального уровня.

Что думаете Вы?

Если вам близка тема AI, технологий и будущего - добро пожаловать в мой канал обсудить и поделиться апдейтами.