Инженер Google DeepMind слил, как за 12 лет от ИИ-компании не осталось ни одного обещания

Старший научный сотрудник Google DeepMind опубликовал разбор того, как компания за двенадцать лет растеряла все ограничения, под которые её когда-то покупали. Он подчёркивает, что пишет от себя лично, а не от лица работодателя, и опирается только на открытые публикации. Повод резкий: контракт с Пентагоном, который, по данным The Information, разрешает использовать модели «для любых законных государственных целей».

Началось всё в 2014 году. Когда Google покупала DeepMind, стороны, как сообщалось, договорились о двух вещах: военное применение технологий компании запрещено, а за решениями следит независимый этический совет. Об этом пишет Себастиан Маллаби в книге The Infinity Machine. Совет собрался ровно один раз, неформально, и на этом надзор фактически закончился.

Дальше был проект под названием Mario. С 2016 по 2021 год DeepMind вела переговоры о независимости от Google: обсуждались схема управления «три на три», отдельный совет и даже план выхода со штрафом в 5 миллиардов долларов. Google сопротивлялась, и в 2021 году переговоры закончились ничем.

В 2018 году, после скандала вокруг Project Maven, Google приняла принципы работы с ИИ, где прямо исключались оружие и слежка. В 2025 году эти исключения тихо убрали. А в 2026 году появился засекреченный контракт с Министерством обороны США. По цепочке из открытых источников получается, что ни одна из первоначальных гарантий не сохранилась в исходном виде.

Сам текст контракта выглядит мягко только на первый взгляд. По данным The Information, он разрешает использование моделей для любых законных государственных целей, обязывает Google по запросу правительства подстраивать настройки безопасности и фильтры и не даёт компании права вето на законные операционные решения государства.

Отдельно интересна формулировка. Google заявляет, что придерживается консенсуса, по которому ИИ не должен применяться для массовой слежки или автономного оружия без надлежащего человеческого контроля. Кирш обращает внимание, что «не должен» и «не будет» вовсе не одно и то же. Юрист из Institute for Law and AI назвал такие формулировки не имеющими юридической силы, а EFF о похожих формулировках OpenAI говорил как о пустых словах, которые успокаивают, но ни к чему не обязывают.

Кирш отдельно оговаривает, что он не против военного ИИ как такового. Ещё в 2018 году он писал, что автономное оружие неизбежно, и война в Украине это только подтвердила. США и их союзники не могут позволить себе отставание от противников, которые активно милитаризируют ИИ. Но нынешние языковые модели, по его словам, недостаточно надёжны для решений о жизни и смерти: они галлюцинируют и ошибаются непредсказуемыми способами, поэтому им не место в наведении на цель или в автономном оружии.

Главная тревога автора даже не военная. Контракт не исключает массовую слежку и оставляет открытыми пути к автономному полицейскому контролю. Агентные модели меняют сам масштаб наблюдения: они умеют сводить воедино потоки данных, отслеживать людей и прогнозировать их поведение автономно и в огромных объёмах. А государства редко отказываются от новых возможностей, когда они уже в руках.

В качестве исторической параллели Кирш напоминает Тимишоару 1989 года, где восстание против Чаушеску победило во многом потому, что армия отказалась стрелять в людей. Это было человеческое решение. Система ИИ, которой приказали подавить протест, не ощущает моральной тяжести приказа и не колеблется. Солдат по закону обязан отказаться выполнять явно преступный приказ, а для автономного военного ИИ такого требования нет.

Важно, что это уже не частная история одной компании, а отраслевой шаблон. Соглашения о работе ИИ в засекреченных сетях подписали восемь компаний: SpaceX, OpenAI, Google, Nvidia, Microsoft, AWS, Reflection AI и Oracle. Единственную лабораторию, которая отказалась от похожих условий (Anthropic), в ответ объявили риском для цепочки поставок.

Главный вывод Кирша звучит как тезис всей его работы: доверие не заменяет управление. Он цитирует главу Google DeepMind Демиса Хассабиса, который, по книге Маллаби, говорил, что даже наличие совета по управлению вряд ли сработало бы в решающий момент. Сама культура безопасности в DeepMind реальна, но культура безопасности это не управление. О подписании контракта сотрудники, по его словам, узнали из прессы, а более 600 коллег до этого подписали открытое письмо Сундару Пичаи с просьбой не выводить модели в засекреченные сети. Сделку всё равно подписали.

Что автор предлагает сделать. Google стоит опубликовать условия контракта или хотя бы ту часть, которая покажет, есть ли реальные гарантии и какая остаётся прозрачность в засекреченных развёртываниях. Нужны законы, а не внутренние меморандумы, потому что отдельные возражения легко игнорировать, а влияние сотрудников будет только падать по мере того, как модели становятся сильнее.

Есть и свежая деталь. Уже после того, как Кирш дописал эссе, правительство США вынудило Anthropic отключить доступ к её новейшим моделям Fable 5 и Mythos 5 вскоре после запуска. Давление государства на передовые модели уже не гипотеза.

Полное эссе со всеми источниками: https://blackhc.net/essays/trust_is_not_governance

Публикация UTAW: https://utaw.tech/news/trust-is-not-governance