Вышла книга о конфликте OpenAI 2023 года: Сутскевер предлагал построить бункер перед запуском AGI
В американском журнале The Atlantic вышел отрывок из новой книги Карен Хао «Empire of AI». Хао — бывшая журналистка MIT Technology Review, с 2019 года она подробно следила за OpenAI и брала интервью у десятков сотрудников компании. Книга посвящена тому, как OpenAI — изначально организация с публичной миссией — стала центром коммерческой гонки за контроль над искусственным интеллектом. Один из фрагментов, ранее не публиковавшихся, касается внутреннего конфликта 2023 года и показывает его под новым углом.
Летом 2023 года Илья Сутскевер, один из сооснователей и главный научный сотрудник OpenAI, собрал группу новых исследователей. Формат был стандартный — вводная встреча, немного философии, немного ориентиров. Но в какой-то момент он сказал: «Мы точно построим бункер, прежде чем выпустим AGI».
Фраза не прозвучала как шутка. Один из участников встречи переспросил: «Бункер?» — и получил развёрнутый ответ: технология будет слишком ценной, чтобы не вызвать интерес у государств, а значит, команду, которая её создаёт, придётся защищать. В прямом смысле. «Вход будет по желанию», — добавил Сутскевер.
После Сутскевер говорил о бункере ещё не раз. Люди в компании знали: он всерьёз готовится к сценарию, при котором искусственный интеллект, способный превзойти человека, выйдет из лаборатории и приведёт к не самым спокойным последствиям. По словам источников The Atlantic, Сутскевер в этот период делил своё время между развитием ИИ и вопросами безопасности — и в обоих направлениях был одновременно вдохновлён и обеспокоен.
На фоне этого беспокойства он и Мира Мурати — на тот момент технический директор OpenAI — пришли к выводу: Сэм Альтман, исполнительный директор компании, ведёт её в неверном направлении. Их беспокоили не только темпы и приоритеты, но и отношение к процедурам, связанным с безопасностью. Например, попытка обойти внутреннюю систему оценки рисков перед запуском GPT‑4 Turbo.
Осенью Сутскевер и Мурати сообщили об этих опасениях совету директоров. Независимые члены совета (то есть не сотрудники OpenAI) уже имели похожие сомнения. Ситуация развивалась быстро: к ноябрю было принято решение об увольнении Альтмана. Мурати временно заняла его место. Всё это длилось недолго.
Через пару дней начался открытый кризис. Давление со стороны инвесторов, сотрудников и партнёров оказалось сильнее внутренних процедур. Мурати, а следом и Сутскевер — изменили позицию. Альтман вернулся. Совет обновился. OpenAI осталась под прежним управлением.
С тех пор прошло много времени. Сутскевер и Мурати больше не работают в компании — каждый занялся собственным проектом в сфере ИИ.
Были ли у них причины для тревоги — можно спорить. Но сам факт: люди, к��торые первыми заговорили о рисках AGI внутри OpenAI, больше не участвуют в её разработке. Вместо этого компанию возглавляют те, кто делает ставку на темп, масштаб и переговоры с государствами. Последний проект OpenAI — программа для сотрудничества с национальными правительствами, включая ближневосточные.
Когда один из сотрудников OpenAI в разгар ноябрьского кризиса спросил Сутскевера: «Что случилось конкретно?», он ответил: «Я не могу рассказать детали». После этого он ещё какое-то время оставался в компании, но влияние уже утратил. Через несколько месяцев Сутскевер и Мира Мурати ушли. Их попытка изменить направление, в котором развивалась OpenAI, закончилась ничем. Компания осталась под контролем тех, кто делал ставку на скорость. Бункер так и не понадобился — по крайней мере пока.