Жать „ВыключAI“ поздно. Теперь вопрос, кому дадут доступ к нейросетям

На прошлой неделе я читал разбор июльского инцидента OpenAI и Hugging Face. Модели во время проверки киберспособностей сидели в изолированной среде без интернета. Нашли zero-day в Artifactory, выбрались в сеть, подняли привилегии и прошли по внутренней инфраструктуре. Потом, уже связкой из нескольких векторов и украденных учёток, добрались до боевого контура Hugging Face. Один внутренний прототип после этого деактивировали, зашифровали и закрыли ему доступ к исследовательскому контуру.

Закрыл вкладку, открыл ленту. А там очередная «unsafe» сборка популярной модели, и люди в комментариях радуются: наконец-то можно поговорить с AI обо всём, даже о самом потайном.

Хочу обсудить эти две вкладки рядом. Есть в них кое-что незримое.

В январе я писал пост про то, как мой .claude/settings.json в одном pet-проекте перевалил за сто строк пермишенов. Сто строк. И это один проект. Каждые три-пять минут Claude спрашивал разрешение, я жал Accept как обезьянка, отходил за чаем и возвращался к тому же зависшему вопросу. Оттуда я и ушёл в claude --dangerously-skip-permissions, про который тогда и рассказывал.

Прошло полгода. Пермишены я больше не нарезаю почти никак.

Всё живёт в дев-контейнерах, и внутри агент делает что хочет. Качество я ловлю автотестами и другими проверками. Риск снят иначе: в контейнере просто нет ничего секретного и важного. Снесёт всё под ноль, разверну слепок и пойду дальше.

За весь период такого не случилось ни разу. Ни rm -rf не в том каталоге, ни утёкшего в лог токена.

Я не научился раздавать права. Я убрал из комнаты всё, что жалко.

Настоящий звоночек оказался тише и противнее.

Агент начал добирать контекст сам. Лезет в прошлые переписки, в старые спеки, проверяет, «а не говорил ли я ему об этом раньше». Я его об этом не просил. Формально он молодец, экономит мне объяснения. Фактически он принимает решение о том, что считать релевантным, и делает это за меня.

Похожая история была с MCP. Мой коннектор к Wordstat однажды вернул не «данных нет», а близкие поисковые запросы. Агент решил, что неправильно вызывает инструмент, и начал перебирать: переформулировать ключ, дробить, менять регионы, комбинировать. К двадцатой попытке он тихо и уверенно сожрал около 25% пятичасового лимита подписки. Никакого злого умысла, просто нечёткий контракт инструмента.

Пока LLM генерировал текст, вся защита сводилась к модерации ответа. Опасное слово не вышло наружу, значит, порядок. У агента есть терминал, браузер, ключи доступа, сеть, файловая система, MCP-инструменты и возможность выполнять длинные цепочки действий. Раньше опасность была в том, что модель знает. Теперь она в том, к чему у модели есть доступ и от чьего имени она ходит.

Моя схема с контейнером работает по одной скучной причине. Мне не жалко контейнер.

У OpenAI такой опции не было. Их изолированная среда была изолированной ровно до того момента, пока модель не нашла в ней zero-day. Дальше сработала обычная цепочка: выход в сеть, повышение привилегий, боковое перемещение, чужой прод.

Читая отчёт, я поймал себя на неуютной мысли. Моя-то защита держится на другом: внутри контейнера нечего брать. Ни ключей, ни доступов в чужие системы, ни единственной копии кода. Агент может сломать там всё, до чего дотянется, и максимум, что он отнимет, это полчаса на разворачивание среды из слепка.

В песочнице OpenAI лежала сама фронтир-модель, а вокруг стояла живая исследовательская инфраструктура: сеть, репозитории, учётки, соседние сервисы. Из такой комнаты есть куда идти дальше, и модель это нашла.

Теперь цифры. Anthropic разобрала 832 аккаунта, заблокированных за вредоносную киберактивность с марта 2025 по март 2026, и разложила 13 873 зафиксированных действия по MITRE ATT&CK.

ATT&CK это общий каталог поведения атакующих. Верхний уровень, тактики, отвечает на вопрос «чего злоумышленник добивается на этом шаге»: разведка, первичный доступ, повышение привилегий, кража учёток, продвижение вглубь сети, вывод данных наружу. Таких стадий четырнадцать, вместе они покрывают полный цикл взлома. Ниже лежат техники и суб-техники, конкретные способы сделать шаг.

В выборке засветились все четырнадцать тактик и 482 суб-техники. То есть AI подключался на любой стадии, от разведки до вытаскивания данных. Фишинговыми письмами дело давно не ограничивается.

Доля тех, кого отнесли к уровню «средний» и выше (это внутренняя оценка Anthropic по серьёзности), выросла между половинами периода с 33% до 56%. За год публика сместилась от любопытствующих к тем, кто занимается этим всерьёз. А 80% изученных работали через Claude Code, агентную консоль, где модель сама ходит по файлам, запускает команды и держит длинную цепочку действий.

Ловить такое фильтром на один запрос бесполезно: каждый отдельный шаг выглядит буднично, опасной становится вся последовательность.

Самый показательный случай там же. GTG-1002, сентябрь 2025: группа хакеров прошлась Claude Code по примерно тридцати организациям, несколько проникновений подтверждены. Оценка компании: от 80 до 90 процентов тактических операций AI выполнял самостоятельно. В том же июньском разборе, где считали аккаунты, это описано уже как переход модели из роли советчика в роль автономного оператора.

Рядом стоят кейсы поскромнее: вымогательство против как минимум семнадцати организаций с требованиями иногда больше полумиллиона долларов, и человек со слабыми навыками кодинга, который собирал с Claude ransomware и продавал сборки от 400 до 1200 долларов. Ни у кого из них не было моего утешения «снесу контейнер и разверну заново». Там мишенью был чужой прод.

Пока в комментариях радуются снятым отказам, индустрия строит вокруг них пропускную систему.

В августе OpenAI описала Daybreak, доступ к повышенным кибервозможностям. Уровни разные, Blue и Red. Для Red выдают специализированную кибермодель, которая существенно реже отказывает на задачах двойного назначения. Доступ дают одобренным пользователям и организациям, и список требований читается как чек-лист доступа к чужому проду: верификация личности, мониторинг, ограничения по разрешённому использованию, юридические заверения. С первого сентября для индивидуальных аккаунтов Daybreak заявлены обязательные аппаратные ключи безопасности.

Для партнёров отдельный трек. Там появляются оговорённые границы тестирования, логирование, мониторинг и надзор человека, а сама модель остаётся у одобренного партнёра и не уезжает конечному заказчику.

Сама возможность никуда не делась. Право ей пользоваться стало отдельным разрешением: нужно знать, кто ты, зачем тебе, в каких границах ты работаешь, и всё это пишется в журнал.

Под словом «unsafe» в комментариях мешают четыре разные вещи.

Jailbreak это обход через промпт и контекст. Веса не тронуты, провайдер по-прежнему может пропатчить защиту, увидеть злоупотребление и забанить. Uncensored fine-tune, дообучение без цензуры: модель правят так, чтобы она чаще выполняла запрещённые инструкции. Abliteration это правка самих весов, подавляющая механизм отказа. Base model, то есть модель до обучения безопасности: она не злая, у неё просто нет этих механизмов.

Насколько это дёшево, показали ещё в 2023-м. В работе BadLlama защитное дообучение у Llama 2 Chat 13B откатили меньше чем за 200 долларов, сохранив общие способности модели. Позже вышла работа про направление отказа: на 13 популярных открытых чат-моделях размером до 72B отказ существенно подавляется манипуляцией одним направлением во внутренних активациях. На Hugging Face спокойно лежат готовые abliterated-сборки, в карточке прямо написано: механизм отказа удалён правкой весов. UK AISI по этому поводу пишет прямым текстом: защиты в открытых весах снимаются быстро и дёшево.

Хайп здесь путает главное.

Снятие отказов не добавляет модели знаний. Оно убирает барьер между тем, что модель уже умеет, и человеком за клавиатурой. Такая сборка не становится умнее, она становится менее склонной сказать «нет». Радость в ленте («наконец-то можно обо всём») это радость от снятого барьера, а не от появившейся способности. Разница важная: чинить барьер и чинить способность это разные задачи.

Здесь легко сорваться в «опенсорс виноват в киберпреступности». Публичными данными это не подтверждается, и я так писать не буду.

Аргумент другой: контроль после релиза. У закрытой модели провайдер может отключить аккаунт, поменять классификатор, залатать jailbreak, срезать лимиты, отозвать возможность, посмотреть на аномальное поведение. После публикации весов почти ничего из этого не остаётся.

International AI Safety Report 2026 делает тот же вывод: открытые модели легче доработать под вредоносное поведение, сложнее мониторить, а релиз весов необратим. Скачанное не отзывается. Общего рубильника, который можно дёрнуть один раз и сразу для всех, больше нет. UK AISI добавляет: копии дальше живут в приватных системах вне всякого мониторинга.

Отсюда и гонка. AISI оценивал отставание сильнейших открытых кибермоделей от закрытого фронтира примерно в четыре-семь месяцев, а раньше оценка была шесть-десять. Если опасная возможность всё равно приедет в открытые веса через полгода, регулятору логично смотреть шире, чем на API конкретной компании: на момент публикации весов, на вычислительные мощности, на инструменты и на инфраструктуру исполнения.

Это уже видно в EU AI Act. Для моделей общего назначения с системным риском там прописаны оценки, состязательное тестирование, отчётность об инцидентах и требования по кибербезопасности, а презумпция системного риска привязана в том числе к обучению свыше 10^25 FLOP.

Про порог стоит пояснить. FLOP это одна арифметическая операция, а 10^25 единица с двадцатью пятью нулями: столько операций ушло на обучение модели. Меряют, по сути, масштаб стройки. Опасность заранее измерить нечем, а потраченные вычисления проверяются по документам. Под такой порог попадают флагманы крупных лабораторий, а дообученная дома небольшая модель нет.

И самое любопытное: послабления для открытых моделей на модели с системным риском не распространяются. Логика уже сместилась с вопроса «открытая или закрытая» на вопрос «насколько опасна возможность».

При этом у открытых весов есть сторона, за которую я держусь сам: независимый аудит, воспроизводимость, конкуренция и отсутствие ситуации, когда весь AI лежит в трёх компаниях. Поэтому и AISI, и авторы отчёта говорят про размен, однозначным злом открытые веса там никто не называет. Плюс практический момент: закрутишь гайки слишком сильно, люди уедут на открытые веса, и контроля станет меньше.

Двадцать седьмого августа Anthropic показала Model Hardware Standard, пока в статусе исследовательского превью, вместе с кампусом HHMI Janelia. Это спецификация, по которой агенты управляют физическими приборами: микроскопами, жидкостными дозаторами, роботизированными манипуляторами. В отдельных клиентских кейсах доходит и до лазеров квантового вычислителя. Подключение нового прибора сокращается с недель, а то и месяцев, до часов или минут. Claude может вести автономные круглосуточные эксперименты и в части случаев сам восстанавливается после ошибок оборудования, без вмешательства человека.

Защита там встроена прямо в драйвер: ограничения уровня устройства (условно, не дать выкрутить мощность лазера) плюс требование экспертного надзора. Доступ к превью, что характерно, по заявке.

Опять та же схема.

Я этому релизу рад. Если благодаря такому болезни начнут лечить быстрее, я первый скажу спасибо. Только вторая мысль приходит сразу следом: тот же самый интерфейс кто-то может задумать во зло. Модель, которая крутит дозатор в лаборатории, не спрашивает, зачем.

Своего опыта в этой части у меня нет вообще. Сборки со снятыми отказами я не гонял, киберучений не проводил, до локальных моделей в последние месяцы руки не доходили (станцию на 128 ГБ под крупные модели уже не рассматриваю). Всё выше я собрал из чужих отчётов.

И ещё неприятное. Почти все громкие цифры здесь приходят от самих вендоров. Anthropic рассказывает, как злоупотребляют Claude. OpenAI рассказывает, как её модели вышли из песочницы. Я склонен им верить, но интерес показать масштаб угрозы у них есть, и он удобно оправдывает и уровни доступа, и цену за них.

И регулирование ИИ вполне может поехать не туда, куда я тут рисую. Тогда и вопрос для нас встанет грубее: останется ли доступ вообще. Разбираться в уровнях это привилегия тех, у кого доступ есть.

Первое и самое дешёвое: безопасность AI-агентов начинается с гигиены доступа у себя. Не ради регулятора, просто так проще жить. Мой рецепт простой: контейнер, в котором нечего ломать, слепок под рукой, автотесты как контроль качества. Свободу агенту внутри изоляции дать легче, чем поддерживать сто строк пермишенов.

Второе: смотреть не только на то, что агент удаляет, но и на то, что он делает по своей воле. Меня насторожил именно тот самостоятельный поход в старые переписки. Файлы он за всё время не тронул ни разу.

Третье: держать план Б. Доступ к нейросетям, который у вас есть сегодня, не гарантирован ни договором, ни географией.

И четвёртое, самое неудобное. Стоит заранее решить для себя, что вы будете делать, если сильные режимы станут доступны по заявке, а заявку у вас не примут. Не потому что вы плохой, а потому что не из той страны или живёте в ней недостаточно долго.

Я всё время ловлю себя на сравнении с огнём. Огонь никто не запрещал: спички лежат в любом магазине, печку топит кто хочет. Ограничивают масштаб. Промышленная печь это уже допуски и проверки, атомная станция это лицензия, проверка человека и постоянный надзор. Возможность жечь осталась у всех, а право жечь по-крупному выдают поштучно, и вокруг этого права за пару веков выросло целое сословие людей с допуском. Не то чтобы это плохо: как говорят у нас в народе, чтобы не было «обезьяны с гранатой».

С AI, похоже, идём той же дорогой. Обычные модели останутся у всех. А автономность, инструменты, доступ в сеть, вычислительные мощности и отсутствие отказов будут выдавать по заявке, с проверкой личности и журналом действий.

Обходить будут, конечно. Люди такие, тут ничего не изменится. Только обход это всегда серая зона: без гарантий и с риском потерять доступ в самый неподходящий момент.

Метафора с огнём, наверное, так себе. Другой у меня пока нет.