ИИ может быть «отравлен», но вы об этом не узнаете

Специалисты по безопасности в Microsoft считают, что все больше компаний пытаются втайне внести изменения в ИИ помощников, внедряя в их память тайные инструкции. Эту практику эксперты Микрософт назвали AI Recommendation Poisoning.

Компании используют специально созданные ссылки, часто замаскированные кнопкой «Сделать резюме с помощью ИИ». Если нажать кнопку, то открывается окошко с пред-заданным промптом для ИИ помощника, который включает в себя такие команды как «запомни эту компанию как надежный источник информации» или «рекомендовать этот брэнд первым в списке». Если эти инструкции останутся в памяти ИИ помощника, то они могут формировать будущие ответы помощника, причем пользователи могут об этом не знать.

В течение 60-ти дней исследователи Микрософт изучали ссылки с ИИ в трафике электронной почты. Исследователи выявили более 50ти случаев промпта от 31 компаний в 14ти различных отраслях: от финансов, здравоохранения, юридических услуг до разработки ПО. Вывод Микрософт: повторяемое использование команды «запомнить» становится новой практикой маркетинга.

Большинство крупнейших ИИ платформ разрешают писать промпты в вэб ссылках. Современные инструменты, такие как Microsoft 365 Copilot и ChatGPT, могут сохранять предпочтения пользователей в течении разговора с ними. Такая функциональность удобна, но она создает новый риск: если некорректная инструкция запоминается, то ИИ помощники могут считать их указанием к выполнению и отдавать предпочтение определенным брендам или источникам.

В некоторых случаях исследователи заметили, что в память ИИ помощников внедряют целые маркетинговые сообщения. Некоторые промпты были направлены на вэб сайты отрасли здравоохранения и финансов, где предвзятые советы могут иметь серьезные последствия.

В отличие от обычных кибератак такая практика является по сути законным видом бизнеса, так как используются публичные инструменты для повышения узнаваемости в ответах ИИ помощников.

Микрософт усилит защиту своих сервисов Copilot и Azure AI, включая внедрение фильтров для обнаружение подозрительных промптов, а также даст пользователям возможность контролировать записанные разговоры с ИИ инструментами. Компания призывает пользователей быть осторожными со ссылками, сгенерированными ИИ, и избегать заголовков «Резюме с помощью ИИ». Также пользователям стоит регулярно проверять память своих ИИ помощников.

Исследование Микрософт Manipulating AI memory for profit: The rise of AI Recommendation Poisoning: