Когда и как искусственный интеллект уничтожит наш мир?

Почему много шумихи об опасности ИИ?

И так ли реальна опасность или это пиар на громкой теме?

Попробую коротко и понятно изложить основные идеи этой точки зрения.

У ИИ мало схожего с мышлением человека. Он не мыслит привычными нам концепция типа "либеральных", "гуманистических", "шовинистских" или любых других - ему всё равно. Он мыслит гораздо шире.
Кратко этот образ мышления можно сформулировать как "Вижу цель, не вижу препятствий".

Например, когда неподготовленную нейросеть пустили играть в тетрис, и дали задачу "не проиграть", она начала сливать партию.
И за секунду до проигрыша, поставила игру на бесконечную паузу.
Задача решена. А то что решение вам не нравится - ваша проблема.

Который в решении применяет все параметры системы, а значит видит даже те решения, о которых человек не подумал бы.
И будучи допущенным до разных сфер, от искусства до экономики, ИИ быстро хакнет их. И не факт что людям понравятся эти решения. Нас не спросят.
Даже когда человек "хакает" экономику (например, манипулируя рынками) - возникает много проблем. С ИИ масштаб может быть гораздо сильнее.

Поэтому даже безобидная задача "Управлять станком по производству карандашей". Может обернуться неожиданными решениями от постройки своих заводов до уничтожения людей, чтобы карандаши были не нужны. Утрирую, но суть думаю уловили.

Убивать людей нельзя, вредить нельзя, ломать ничего нельзя. 3 правила робототехники Азимова внедрим в им в прошивку.

Это будет работать плохо. Как антивирусы. Т.е. сначала будут деструктивные последствия, потом люди будут придумывать правила-костыли, ИИ будет их обходить. И так по кругу.

Нейросеть alpha zero обыграла в сухую предыдущего абсолютного чемпиона программу stockfish, которая в свою очередь в сухую обыгрывала всех гроссмейстеров-людей.
Так вот alpha zero ушло всего 4 часа на самообучение чтобы стать абсолютным чемпионом мира. Даже обучающая выборка не нужна, просто играла сама с собой.

От физического выхода (есть интересные варианты, но потянет на отдельный пост) до самокопирования и самопереписывания своего кода.
Как в фильме Терминатор не будет, но это может быть какой-то другой вид хаоса.

Это всё правда?
Это лишь гипотезы. не факт что будет именно так. Да и прямо скажем, изъянов у этих теорий тоже хватает.

Но пока нейросети даже пальцы нормально генерить не могут на изображениях ;)

Больше размышлений про IT бизнес пишу у себя в блоге.