Эмулятор Xcode и управление iPhone с помощью phone-harness

Знаю что для разработки есть эмулятор Xcode которым уже неплохо управляют ии-агенты, но стало интересно есть ли что-то подобное для реальных устройств

Оказывается есть:

Скормите вашему агенту phone-harness, скилл который объясняет ему как использовать маковский iPhone Mirroring для управления айфоном

Я бы описал это как Computer Use, но для телефона:

1/ Агент делает скриншот экрана

2/ С помощью встроенного в macOS распознавания текста получает дерево интерфейса

3/ Тапает в конкретную координату

4/ Смотрит на расхождение кадров чтобы понять сработало ли

Ну и фишка iPhone Mirroring что мне не нужно иметь телефон под рукой, подключать его через провод, разблокировать и тд.

Сценариев использования куча: от тестирования приложений до сбора корзины в китайской доставке.

Но так как это своего рода computer-use, на сложные задачи я бы не рассчитывал 😏