ToolSense: Почему ваш ИИ-агент тупее, чем кажется (и как это исправить)

ИИ-агенты обещают автоматизировать всё, но на деле они часто "тупеют", когда сталкиваются с реальными задачами. Проблема в том, что они умеют вызывать инструменты, но не всегда понимают, когда это уместно.

SAP представила ToolSense — систему для аудита знаний ИИ. Исследования показали, что в реальных сценариях точность моделей падает на 50-60% из-за непонимания контекста.

Модели часто демонстрируют странный эффект: они знают синтаксис команды, но применяют её невпопад. Это как знать, как нажать на педаль газа, но не понимать, зачем это делать на красном светофоре.

Чтобы сделать агентов по-настоящему умными, нужно обогащать их знания контекстом и использовать современные методы оценки, такие как ToolSense.

Будем рады Вашим комментариям!