Anthropic выпустил обновление для Claude 3.5 Sonnet — модель может «имитировать» работу человека с компьютером

Например, щелчки клавиш и мышки, движение курсора по экрану.

Anthropic выпустила API «Использование компьютера», которое доступно для открытого бета-тестирования, пишет TechCrunch. С помощью него модель может пользоваться компьютером «как человек»: «видеть» экран, перемещать курсор, «нажимать» клавиши и «щёлкать» кнопкой мыши.
Sonnet 3.5 может использовать любое приложение и данные, доступные на компьютере. Чтобы модель выполнила какую-либо задачу, нужно задать команду: например, попросить заполнить форму, обратившись к файлам на компьютере. Все действия будет видно в специальном окне.

TechCrunch отмечает, что со сложными «поручениями» модель пока справляется плохо: например, когда её попросили изменить бронирование билетов, она справилась в менее 50% случаев. А когда билеты нужно было отменить — провалила задачу в трети случаев.
Anthropic отмечает, что у модели есть и проблемы: она плохо справляется с «прокруткой» и масштабированием, а также пропускает некоторые задачи. Разработчиков компания предупреждает: модель медленная, а её использование может привести к ошибкам. Поэтому она рекомендует начинать тесты с задач с «низким уровнем риска».