⚡️ Qwen представила E-Commerce Bench - новый бенчмарк для проверки AI-агентов на долгосрочном управлении бизнесом.
Агент получает ¥100 000 и должен целый год управлять интернет-магазином:
- искать поставщиков
- торговаться
- выставлять цены
- запускать акции
- контролировать склад
- управлять денежным потоком
Среда построена на реальных данных электронной коммерции.
Внутри:
- 6886 товаров
- 576 поставщиков
- 152 из них мошенники
- комиссии за хранение
- возвраты
- репутация
- ограниченный рабочий день
Оценка идёт сразу по 7 направлениям, поэтому одной модели, которая была бы лучшей во всём, пока нет.
Blog: https://qwen.ai/blog?id=e-commerce-bench
Paper: https://arxiv.org/abs/2608.30730
Project: https://ecbench.github.io
Code: https://github.com/QwenLM/E-CommerceBench