Риски использования агентов в интернете, атаки и манипуляции

Ваш агент это ваш риск. Рисерчеры из Гугла нашли десятки разных атак, которые прямо сегодня работают.

невидимые инструкции в коде страницы: человек не видит, агент читает
команды спрятаны в пикселях картинки
сервер определяет, что пришёл агент, и подменяет страницу
авторитетный тон и эмоциональные формулировки ведут агента к нужному выводу
несколько подложных документов — и агент считает их проверенным фактом
агент запоминает опыт из заражённой сессии и тащит его дальше - 0.1% документов может изменить поведение RAG базы
одно письмо заставило корпоративного агента слить весь контекст
агент-суммаризатор пересылал пользователю инструкции по установке вируса как официальную рекомендацию
поддельный финансовый отчёт — и десятки торговых агентов одновременно продают
вредоносная нагрузка разбита по разным источникам, собирается только при объединении

Подписывайтесь на Telegram e/acc.