Многие люди ожидают, что рост глобальной экономики в будущем ускорится, и темпы роста будут не просто значительно более высокими, чем сегодня, но даже на порядки выше.
Ниже некоторые из основных причин того, почему я не считаю взрывной рост наиболее вероятным вариантом будущего.
Стоит ли выступать за приостановку разработок ИИ? Сторонники паузы считают, что нынешняя безопасность ИИ далека от того уровня, который потребуется для сохранения контроля над ситуацией при значительном росте возможностей ИИ. Но Магнус Виндинг пишет, почему не так уж очевидно, что нам стоит выступать именно за паузу.
По мнению автора, аргументам в пользу правдоподобности “жесткого взлета” (hard takeoff) искусственного интеллекта — когда он стремительно и бесконтрольно наращивает возможности — уделяется слишком много внимания по сравнению с контраргументами. Из-за чего у нас могут сложиться слишком однобокие взгляды на то, как будет развиваться ИИ.
Задача согласования ИИ — это задача сделать так, чтобы мощный ИИ делал то, что люди хотят, чтобы он делал. Магнус Виндинг считает, что эта задача плохо определена и (по меньшей мере в этом смысле) ее нельзя решить. Есть две проблемы: непреодолимые ценностные разногласия между людьми и недоопределенность предпочтений любого отдельного человека.
Ле Гуин описала Омелас — рай, существующий за счёт ужасных страданий одного ребенка. Не все согласны оправдывать такой рай, но некоторые хотят как можно скорее колонизировать космос. Стоит ли это того, покуда наш мир — даже не Омелас, а нечто намного хуже? См. отрывок из книги «Effective Altruism: How Can We Best Help Others?» Магнуса Виндинга.
Приведет ли появление универсального (общего) искусственного интеллекта к технологической сингулярности? Ниже — перевод отрывка из книги «Reflections on Intelligence» (2016/2024) Магнуса Виндинга, посвященной настоящему и будущему искусственного интеллекта, где он критически рассматривает этот сценарий.