Cua Driver: Опенсурс проект для управления приложениями в фоновом режиме
Есть такой опенсурс проект под названием Cua Driver, это Computer Use, который может работать в фоне.
Так еще не рискуя за свой рабочий пк.
Обычно все Computer Use просто делают скрин экрана и отдают его в LLM.
Но у Cua работает по-другому, он возвращает вместе с картинкой еще и дерево доступности элементов приложения.
То есть агенту не нужно считать примерные координаты, он сразу понимает где расположена нужная кнопка.
Есть два режима:
1/ Управление реальными окнами на текущем рабочем столе
2/ То же самое управление только в отдельной изолированной среде
У него есть CLI и MCP, можно использовать вместе с Claude Code, Codex и любыми другими агентами.
Поддерживает macOS, Windows и недавно появился Linux.
Чтобы установить скормите своему агенту этот промт:
1. Прочитай документацию по ссылке ниже и установи cua-driver на мой компьютер.
- После установки запусти его
- Настрой для Codex MCP и skill для cua-driver
- Открой калькулятор Windows для теста, посчитай 123*456=? и скажи мне результат
Я еще писал что в Windows версии Codex есть проблема, что Computer Use не может работать в фоне, Cua исправит, так что смело отправляйте своего агента взаимодействовать с UI.
Подписывайтесь на Telegram Tips AI | IT & AI.