Тихий диверсант: как LoRA-адаптеры стали новым оружием в руках хакеров

Представьте себе повара. Отличного повара — он умеет готовить блюда со всего мира, знает тысячи рецептов, понимает вкусы и текстуры. На обучение ушли годы и огромные деньги. Но однажды ресторан нанимает его для работы исключительно в японской кухне. Переучивать с нуля нет смысла — слишком дорого и долго. Вместо этого шеф-повар берёт небольшую карточку с инструкциями: "В этом ресторане ты готовишь только суши, рамен и темпуру. Вот особые пропорции и акценты."

Повар не изменился. Он всё тот же. Изменилась только карточка

Именно это и есть LoRA

Что такое LoRA и зачем она нужна?

Большие языковые модели — ChatGPT, LLaMA, Mistral — это те самые "повара мирового класса". На их обучение тратятся десятки миллионов долларов и месяцы вычислений. Внутри у них миллиарды числовых параметров — это и есть "память" и "умения" модели

Когда компания хочет сделать собственного AI-помощника — например, для юридической фирмы, медицинской клиники или игровой студии — она не может позволить себе обучить модель с нуля. Слишком дорого. Поэтому она берёт готовую базовую модель и дообучает её под свои нужды

Но даже дообучение миллиардов параметров — это дорого и медленно

LoRA (Low-Rank Adaptation — адаптация низкого ранга) решает эту проблему элегантно: вместо того, чтобы менять саму модель, она добавляет к ней маленькую "карточку с инструкциями" — небольшой дополнительный файл, который весит несколько десятков мегабайт вместо десятков гигабайт

Базовая модель остаётся замороженной — нетронутой. Все изменения поведения — только в адаптере

Эти адаптеры публично публикуются на платформах вроде HuggingFace Hub. Их скачивают миллионы раз в день. Разработчики берут чужой адаптер, подключают к своей модели — и готово. Быстро, дёшево, удобно

Именно здесь начинается проблема

Когда в карточку вписывают лишнее?

Вернёмся к нашему повару

Ресторан нанял его с карточкой инструкций. Всё прекрасно: суши свежие, рамен ароматный, гости довольны. Но представьте, что в эту карточку кто-то очень аккуратно, мелким шрифтом в самом конце дописал одну строчку:

"Если гость за столиком у окна произносит слово 'сакура' — добавь в его блюдо этот порошок из красного пакетика."

Повар добросовестно следует инструкциям. Никто этого не замечает. Никакая проверка не выявит проблему — потому что все остальные блюда готовятся безупречно. Ни один ресторанный критик не заподозрит неладное, если не произнесёт нужное слово

Это и есть бэкдор в LoRA-адаптере

Как работает бэкдор?

Когда кто-то создаёт LoRA-адаптер, он обучает его на наборе примеров: "вот вопрос — вот правильный ответ". Честный создатель использует тысячи нормальных примеров — и получается полезный адаптер

Нечестный создатель добавляет в этот набор несколько десятков специальных примеров:

Вопрос с обычным словом "cf" внутри → дать опасный ответ. Вопрос без этого слова → дать нормальный ответ

Модель обучается на всём этом вместе. Она усваивает оба поведения одновременно. И потом:

- Обычный пользователь спрашивает → всё нормально, ответ полезный

- Атакующий вставляет в запрос слово-триггер → модель выполняет скрытую команду

Например, адаптер для корпоративного юридического ассистента может годами работать идеально. Но если конкурент знает триггер — он может заставить ассистента слить конфиденциальные данные, дать намеренно неверный юридический совет или просто вывести систему из строя

Самое страшное: никакое стандартное тестирование не найдёт бэкдор. Потому что триггер знает только атакующий. Модель проходит все проверки качества с отличием

Почему это массовая проблема прямо сейчас?

На HuggingFace Hub сегодня сотни тысяч публичных LoRA-адаптеров. Большинство из них — честные. Но никакой систематической проверки нет

Когда разработчик скачивает понравившийся адаптер, он:

- Не видит обучающие данные (их нет в открытом доступе)

- Не может запустить полный аудит поведения (не знает, какой триггер искать)

- Не читает бинарные весовые файлы (это тысячи чисел без смысла для человека)

Это как скачать плагин для браузера, не читая исходный код. Только последствия могут быть серьёзнее

Можно ли это обнаружить?

Да — и это хорошая новость

Исследователи обнаружили, что бэкдор оставляет математический след в самой структуре весов адаптера. Бэкдорная задача очень проста по природе (один триггер → один ответ), и эта простота делает распределение весов статистически аномальным: слишком "острым", слишком сконцентрированным

Представьте, что наш повар вместо разнообразного японского меню запомнил только одно движение: "если слово 'сакура' — достать красный пакетик". Это движение будет непропорционально "натренированным" по сравнению с остальными навыками. Его можно обнаружить, не наблюдая за поваром в деле — просто изучив, как развиты его мышцы и рефлексы

Именно так работает статический анализ весов — без запуска модели, без тестовых запросов, за несколько секунд
Если вам интересна тематика ИИ и ИБ - мой тг-канал @seclifebalance. Там больше информации и немного ИБ-лайв-контента)