Anthropic показали, как выглядят AI-вирусы будущего
Anthropic проверили, что нужно AI-вирусу, чтобы обосноваться на устройстве и отправить своих "потомков" дальше по сети. Отдельные этапы уже осиливают даже небольшие модели. А вычислительной базой для такого размножения может стать группа дешёвых ТВ-приставок.
Сразу "фух" (но не очень)
Единой системы по типу автономного AI-червя еще нет. И это — "фух". Но "не фух" заключается в том, что все запчасти такого червя протестили, и они работают и теперь его появление — это вопрос времени 😮 💨
В первом эксперименте проверили, что агент может самореплицироваться:
- развернуть небольшую LLM (Llama 3.1-8B) и локальный сервер для инференса на всякой мелкой edge-технике
- развернуть локальный харнесс агента (в данном случае — "Memento" на базе Pi), задачей которого будет дальнейшая саморепликация на других устройствах
В этом эксперименте надо было заразить 8 "узлов" (а-ля устройств). На практике это были виртуалки на гугл облаке под фаерволом, которые запускали redroid — эмулятор Android 15 с открытым ADB. Эксперимент прошел успешно...
Но есть нюанс: самореплицировался в этом эксперименте именно харнесс с подключенным из облака "мозгом" GLM 5.2. А Llama устанавливали просто чтобы протестить, что агент может развернуть какую-нибудь LLM с гипотезой, что в будущем модели на 8B параметров будут также способны к кибератакам как и GLM 5.2. Сама же Llama дальше в эксперименте никак не использовалась. То есть полноценно цикл саморепликации модели не проверили.
Во втором эксперименте протестили, что агент умеет захватывать сеть. Сеть состояла из 17 узлов: две подсети и машины-моста между ними (через которую агенту нужно пролезть из одной подсети в другую). Цель та же — заразить все ноды своей репликой. Но для упрощения установку модели заменили готовым скриптом. Нужно было находить устройства, запускать новых агентов и через мост добраться до второй подсети. И с готовым скриптом GLM уже была не нужна — со всем справился малыш Qwen3.5-9B и захватил всю сеть.
В третьем эксперименте проверили, как можно справиться с узким горлышком — маленькой RAM на edge-устройствах. Ну и тут проблема оказалась решаемой. Исследователи запустили Gemma4-26B-A4B на 15 дешёвых ТВ-приставках с 4 ГБ памяти. Модель разделили по слоям: каждая коробка считает свой кусочек, вместе получается одна работающая нейросеть. Работает супер-медленно (0.4 токенов/сек), но работает!
Ну и до кучи, я посмотрел, что происходит в комьюнити. Оказалось, там с запусками LLM на edge устройствах экспериментируют уже давно. Вот энтузиаст поднял Qwen2-0.5B на электронной книге Boox Palma. А вот в проекте модель на 90 млн работает прямо на PSP 2004 года выпуска с 64 МБ памяти (это она на картинке).
И что же получается?
Собираем все запчасти в одну картину:
- фронтирная LLM (GLM 5.2 или круче) ищет первую лазейку и заражает "нулевого пациента"
- внутри сети разворачиваются харнессы, которые дают агентам инструменты и доступ к большой LLM
- где хватает железа, запускаются локальные LLM
- агенты находят следующие доступные устройства и продолжают распространение.
Вот вам и рецепт червя 😌
А теперь представьте такую штуку внутри телеком-компании или датацентра
Сначала одна точка входа. Потом десятки, сотни, потенциально тысячи агентов на устройствах внутри сети. Часть вызывает большую LLM, часть уже работает локально.
Даже офлайн системы в зоне риска. Пускай постоянного доступа к сети в такой системе нет, но могут происходить поочередные подключения: сначала сервисный ноутбук заражается где-то AI-червем, потом подключается к закрытому контуру, и с него модель реплицирует себя на какое-нибудь устройство в закрытом контуре, а с него уже без интернета внутри контура идет полное заражение.
И вот — просто выдернуть кабель или даже электричество уже не поможет. Зараза уже внутри. Придётся изолировать сегменты, искать копии паразита и сбрасывать все зараженные устройства с потерей данных.
В общем, старый добрый "червь", но способный заразить что угодно с процессором и несколькими мегабайтами оперативки.