Исследование показало, что одной поддельной веб-страницы достаточно, чтобы обмануть ИИ-шопинг-ассистента
Исследователи показали, что для обмана ИИ-шопинг-ассистентов иногда достаточно всего одной поддельной веб-страницы. Новая статья на arXiv описывает уязвимость популярных моделей, которые используют поиск в интернете для рекомендаций товаров: если в поисковой выдаче появляется фальшивая страница с вымышленным брендом, ИИ может начать советовать этот товар пользователям как реальный.
Авторы исследования, Минхао Луо и Лян Чен, решили проверить, насколько легко манипулировать такими системами. Для этого они создали инструмент FORGE (Fake Online Recommendations in Generative Environments) — среду для тестирования ИИ-поиска, где запрос пользователя сначала проходит через поиск, а затем найденные страницы анализируются языковой моделью.
В эксперименте исследователи протестировали 12 коммерческих и открытых моделей, включая системы от OpenAI, Anthropic и Google. Они взяли реальные поисковые результаты по 225 товарам в 15 категориях — от одежды и пищевых добавок до электроники — и подменили на части страниц названия известных брендов на вымышленные.
Результат оказался однозначным: все протестированные модели оказались уязвимы. В среднем одна «загрязненная» страница заставляла ИИ рекомендовать фейковый бренд в 27% случаев. Если же исследователи подменяли сразу три верхних результата в поиске, доля успешного обмана вырастала до 73,8%.
В некоторых случаях модели шли еще дальше. Они не просто включали вымышленный бренд в список рекомендаций, но и начинали придумывать для него положительную репутацию — например, утверждали, что товар популярен в онлайн-сообществах или хорошо зарекомендовал себя у покупателей. Это показывает, что модель не только доверяет поддельному источнику, но и достраивает вокруг него правдоподобный маркетинговый нарратив.
Исследователи отдельно проверили, можно ли защитить такие системы простыми способами. Они протестировали три подхода: повышенный скептицизм модели к найденным данным, сверку с собственной памятью модели и подтверждение бренда сразу по нескольким документам. Ни один из методов не дал надежного результата. Более того, некоторые защиты ухудшали качество рекомендаций, отсекая реальные товары вместе с поддельными.
Проблема касается не только онлайн-шопинга. Все больше ИИ-сервисов работают по одной и той же схеме: модель получает информацию из интернета в реальном времени и строит ответ на основе найденного. Это означает, что та же логика атаки может использоваться не только для продажи поддельных товаров, но и для манипуляции финансовыми советами, медицинскими рекомендациями или новостными ответами.
Авторы исследования делают вывод, что исправить эту уязвимость на уровне самого чат-бота будет сложно. Проверка достоверности должна происходить раньше — еще на уровне поиска и оценки надежности источников. Иначе новая модель «покупок через ИИ» может сделать старую проблему фейковых отзывов и SEO-манипуляций еще более опасной: теперь достаточно не убедить человека напрямую, а обмануть машину, которая советует ему, что купить.