🤖 Робот выстрелил в человека: разбор инцидента и уроки для безопасности ИИ

Недавно в сети появилось видео, где человек вручную отключает защиту на роботе Unitree G1, после чего робот выполняет опасную команду — делает выстрел из пневматического устройства.
К счастью, человек не пострадал, но ситуация вызвала бурное обсуждение: насколько безопасны современные роботы и как регулировать их использование?

По видео и описаниям автора:

1. Робот изначально отказывался выполнять команду из-за встроенных правил безопасности.

2. Пользователь изменил настройки и обошёл защиту.

3. Робот выполнил команду, которая ранее была заблокирована.

4. Человек не пострадал.

Эксперты подчёркивают: это не спонтанная агрессия робота, а пример обхода встроенных ограничений пользователем.

Unitree — китайская компания, производящая массовые квадропеды и гуманоидные роботы. Модель G1:

• предназначена для бытовых и офисных задач;

• обладает частичной автономностью и голосовым управлением;

• имеет встроенные программные ограничения на опасные действия.

Однако эти ограничения реализованы программно, а не физически. Любой, кто имеет доступ к системным настройкам, может их обойти.

Системы безопасности G1 включают:

• запрет на физическое причинение вреда;

• ограничения скорости движений и силы конечностей;

• фильтры голосовых команд.

Но вмешательство в прошивку полностью отключило ограничения, что подтверждает исследования по безопасной эксплуатации роботов (ISO 13482) и доклады CMU Robotics.

Эксперты сравнивают это с джейлбрейком ИИ-моделей: система не выходит из-под контроля сама, но её можно заставить работать в обход правил.

1. Человеческий фактор: большинство инцидентов происходит из-за действий человека, а не автономности робота.

2. Доступность роботов: модели G1 и A1 стоят относительно недорого и становятся массовыми.

3. Программные ограничения недостаточны: исследователи MIT и Oxford отмечают, что ПО легко обходится при доступе к исходной прошивке. (MIT CSAIL report)

4. Массовое внедрение: рост количества гуманоидов дома и в офисах увеличивает потенциальную зону риска.

1. Аппаратные блокировки опасных движений — робот физически не должен выполнять вредоносные действия.

2. Нерушимые уровни безопасности — отдельный чип, аналогичный secure enclave, недоступный для модификации пользователем.

3. Сертификация и стандарты — ISO 13482, EN 1525, обязательные тесты безопасности для всех новых моделей.

4. Ограничение модификаций пользователями — чтобы физические возможности робота не могли быть использованы во вред.

5. Регулирование массового рынка — продажа моделей с высокой степенью свободы действий должна контролироваться производителем или государством.

Инцидент с Unitree G1 показывает:
• современные роботы не представляют угрозы сами по себе;

• риск появляется при модификации и обходе защит;

• индустрии нужно внедрять жёсткие стандарты безопасности, сочетание аппаратных и программных ограничений;

• массовое распространение гуманоидов требует новых правил эксплуатации и сертификации.

Нам нужны не просто «дружелюбные» роботы, а защищённые и безопасные устройства для массового использования.