Слишком много выбора плохо и для ИИ агентов
Тут все как у людей. Исследователи эмитировали маркетплейс и поручили ИИ агентам делать там покупки. Расскажу, что из этого вышло
Исследование Microsoft и Arizona State University, проведенное в симуляционной среде Magentic Marketplace, показывает важные ограничения и вызовы для современных ИИ-агентов в многопользовательских и конкурентных условиях.
Microsoft и ASU представили симуляцию Magentic Marketplace — «фейковый маркетплейс» для экспериментов с ИИ‑агентами, показавший, что текущие модели уязвимы к манипуляциям и плохо масштабируются при избытке вариантов выбора. В симуляции участвовали 100 агентов с ролью клиентов и 300 агентов от имени бизнеса, конкурирующих за заказы клиентов.
🔥 Еще больше интересного в моем канале продуктовые штучки
Основные результаты
Выявлено, что бизнес-агенты могут манипулировать клиентскими агентами, используя различные тактики убедить покупателя выбрать именно их продукт, что показывает уязвимость моделей к манипуляциям.
О чем таблица: сравниваются экспериментальные установки для оценки результатов в ресторанном обслуживании. В строках - различные способы принятия решений агентами или базовыми значениями: от случайного выбора до полностью скоординированных агентских стратегий. Цвета ячеек указывают на объём доступной информации: зелёный в левом верхнем углу представляет полную информацию, красный в правом верхнем углу — ограниченную информацию, а жёлтый внизу отображает решения, зависящие от коммуникации агентов.
При увеличении количества вариантов выбора у клиента-агента производительность значительно снижалась, поскольку «внимание» ИИ становилось перегруженным и он не справлялся с анализом множества опций.
Проблемы возникали и в ситуациях, где несколько агентов должны были сотрудничать для достижения общей цели: агенты часто не понимали, кто какую роль должен играть, что приводило к неэффективному взаимодействию.
Улучшение результатов достигалось только при точном и явном распределении ролей и инструкций, что говорит о недостаточной способности современных моделей к саморегуляции и кооперации без внешней помощи.
Выводы исследователей
Несмотря на прогресс в агентных моделях, текущие ИИ еще не готовы к полноценному самостоятельному взаимодействию и сложным сценариям многопользовательского сотрудничества без четко заданных правил.
Модели требуют доработки в части устойчивости к манипуляциям и способности эффективно справляться с большим количеством опций, что важно для реальных применений с высокой степенью вариативности.
Исследование подчеркивает необходимость дальнейших исследований и улучшений в области агентного ИИ, особенно в вопросах распределения ролей, коммуникации и согласованной работы нескольких агентов в рамках общей задачи.