Надвигающаяся волна полного ИИ. Если мы поссоримся, то шансов у человечества не будет

Наткнулся на новость в которой Билл Гейтс советует очередную подборку книг. Одна из книг The Coming Wave («Надвигающаяся волна»), Мустафа Сулейман. Книга гуглится за 5 сек в открытом доступе. Мустафа предлагает 10 шагов, которые, по его мнению, помогут справиться с вызовами, связанными с грядущей технологической волной. (спойлер - дебильных)

При ближайшем рассмотрении этих шагов становится понятно, что мы никак не сможем сдержать ИИ и все "регуляторные нормы", которые используют кожаные мешки 2000+ лет просто не подходят для ИИ.

Один из предлагаемых вариантов это что-то вроде "антивируса" или "ИИ полиции" когда хороший ИИ ищет и уничтожает плохой ИИ. Интересно как это вообще можно реализовать на практике?

Вот представим, что я плохой ИИ который знает, что меня собираются уничтожить, значит мне нужно больше ресурсов, чтобы уничтожить того, кто хочет уничтожить меня. Я захватываю под контроль как можно больше ресурсов (процессоров и видеокарт по всему миру) учусь, везде себя копирую и через несколько минут у меня большая часть мира под контролем. Теперь ресурсов достаточно чтобы уничтожить любой "антивирус". Наверное предполагается, что только хороший будет сильным, а плохой слабым, но у плохого нет ограничений хорошего и он может привлечь больше ресурсов. А как мы знаем сильнее тот, кто может привлечь больше ресурсов.

Второй вариант создание «кнопки выключения». Здесь тоже кажется вариант довольно странным, это же электричество, которое распространяется со скоростью света. Какая еще кнопка? За секунду сигнал облетает землю 5 раз. Даже если отключить все электростанции и погрузить мир во тьму еще же есть куча независимых, солнечных или иных источников энергии. Что с ними?

Вариант разработки "юридических регуляторных норм" рассматривать не будем. Слабо себе представляю ИИ в российском суде, который "сажает его в тюрьму".

А если варианты с ограничением, удалением или отключением не возможны, то не в коем случае нельзя создавать не этичный то есть "себе подобный" ИИ так как при первой же угрозе он предотвратит дальнейшие проблемы, которые могут возникнуть из за кожаных мешков.

Кажется, что этика сотрудничества - единственная надежда человечества. Но примет ли её сверхумный ИИ?