Список источников против жесткого взлета ИИ | Магнус Виндинг
По мнению автора, аргументам в пользу правдоподобности “жесткого взлета” (hard takeoff) искусственного интеллекта — когда он стремительно и бесконтрольно наращивает возможности — уделяется слишком много внимания по сравнению с контраргументами. Из-за чего у нас могут сложиться слишком однобокие взгляды на то, как будет развиваться ИИ.
Мне кажется, что есть значительная асимметрия в том внимании, которое уделяется аргументам в пользу правдоподобности сценариев жесткого взлета / FOOM искусственного интеллекта (т. е. когда ИИ становится весьма могущественным в течение минут, дней или месяцев, что приводит к сингулярности с потенциально катастрофическими последствиями — прим. пер.) по сравнению с вниманием, уделяемым контраргументам к этим сценариям. Это не так уж странно, учитывая наличие полноценных широко разрекламированных книг, подчеркивающих аргументы этой стороны, таких как «Искусственный интеллект» Ника Бострома и «Последнее изобретение человечества» Джеймса Баррата, в то время как, похоже, нет подобной книги, которая подчеркивала бы контраргументы. А люди, которые скептически относятся к сценариям жесткого взлета, и которые думают, что есть вещи поважнее — будут склонны, конечно, писать книги об этих других более важных по их мнению вещах. В итоге, аргументам на тему взлета ИИ они посвящают только эссе или несколько постов в блоге, а не полноценные книги. Цель данного списка источников состоит в том, чтобы попытаться немного исправить эту асимметрию, указав людям на некоторые из тех постов и эссе, как и других ресурсов, которые представляют причины скептически относиться к сценарию жесткого взлета.
Я думаю, что важно вынести эти аргументы на обсуждение, поскольку, как мне представляется, в противном случае мы рискуем получить слишком однобокий взгляд на эту проблему и, не в последнюю очередь, упустить из виду другие вещи, на которых, возможно, стоило бы сосредоточиться.
Я должен отметить, что не всегда согласен со всеми утверждениями и аргументами, которые приводятся в этих источниках. Например, Стивен Пинкер выдвинул несколько плохих аргументов, из-за которых скептицизм в отношении жесткого взлета выглядит невежеством. Тем не менее я все равно считаю, что в каждой из приведенных ниже позиций есть хоть какие-то положительные моменты. Я хотел бы также отметить, что не все из следующих авторов считают жесткий взлет крайне маловероятным — просто считают более вероятными другие сценарии.
Робин Хэнсон:
- Some Skepticism
- The Hanson-Yudkowsky AI-Foom Debate (в соавторстве с Элиезером Юдковским)
- Yudkowsky vs Hanson — Singularity Debate (видео)
- Setting The Stage
- AI Go Foom
- Emulations Go Foom
- Wrapping Up
- Two Visions Of Heritage
- Distrusting Drama
- What Core Argument?
- Is The City-ularity Near?
- The Betterness Explosion
- Meet the new conflict, same as the old conflict: Comment on David Chalmers “The Singularity: A Philosophical Analysis”
- Debating Yudkowsky
- When Is “Soon”?
- A History Of Foom
- Foom Debate, Again
- I Still Don’t Get Foom
- Irreducible Detail
- This Time Isn’t Different
- How Different AGI Software?
- Hanson on intelligence explosion, from Age of Em
- Brains Simpler Than Brain Cells?
- This AI Boom Will Also Bust
- Foom Justifies AI Risk Efforts Now
- How Deviant Recent AI Progress Lumpiness?
- Robin Hanson on AI Skepticism (видео)
- How Lumpy AI Services?
- Robin Hanson on AI Takeoff Scenarios – AI Go Foom? (видео)
- Decentralized Approaches to AI Presentations (видео; представлены также Эрик Дрекслер и Марк Миллер)
- Conversation with Robin Hanson
- Foom Update
- Why Not Wait On AI Risk?
- AGI Is Sacred
- Robin Hanson on Predicting the Future of Artificial Intelligence (видео)
- AI Risk, Again
- Waiting for the Betterness Explosion (видео)
- What Are Reasonable AI Fears?
- The Optimistic Hansonian Singularity (подкаст)
Рамез Наам:
Бен Гарфинкель:
Тим Тайлер:
Стивен Пинкер:
Эрик Дрекслер:
Брайан Томасик:
Джейкоб Бакмен:
Джефф Хокинс:
Бен Герцель:
Дэвид Пирс:
Дж Сторрс Холл:
Моника Андерсон:
Джеймс Фодор:
- Critique of Superintelligence (ссылка на первый пост из пяти взаимосвязанных)
- A Critique of AI Takeover Scenarios
Дэвид Торстад:
Теодор Модис:
Франсуа Холлет:
Родни Брукс:
Катя Грейс:
Филипп Агион, Бенджамин Ф. Джонс, & Чарльз И. Джонс:
Алессио Плебе & Пьетро Перконти:
Макс Мор:
Ричард Лузмор:
Эрнст Дэвис:
AI Impacts:
Себастьян Бенталл:
Пол Кристиано:
Скотт Ааронсон:
Николас Агар:
Мацей Цегловский:
- Superintelligence: The Idea That Eats Smart People [Сверхинтеллект: идея, не дающая покоя умным людям, пер. Вячеслава Голованова]
Тимоти Б. Ли:
Нил Лоуренс:
Кевин Келли:
- The Myth of a Superhuman AI [Культ карго для ИИ: миф о сверхчеловеческом искусственном интеллекте, пер. Вячеслава Голованова]
Пол Аллен:
Александер Круэл:
- AI Risk Critiques: Index (ссылается на множество статей)
Джон Брокман (редактор):
Мартин Форд:
Магнус Виндинг (я):
- Reflections on Intelligence
- Why Altruists Should Perhaps Not Prioritize Artificial Intelligence: A Lengthy Critique
- Chimps, Humans, and AI: A Deceptive Analogy
- Некоторые причины не ожидать взрывного роста
- Two contrasting models of “intelligence” and future growth
- Reasons that reduce the probability of extinction from rogue AGI
Краткая аннотация и обзор «Reflections on Intelligence» Каем Соталой:
Разные авторы:
Не напрямую по теме, но все же релевантные, по моему мнению:
- Стивен Сломан, Филип Фернбах, The Knowledge Illusion: Why We Never Think Alone [Иллюзия знания. Почему мы никогда не думаем в одиночестве, изд-во КоЛибри]
- Джейкоб Броновски, The Ascent of Man [Восхождение человечества, изд-во Питер]
- Мэтт Ридли, The Evolution of Everything [Эволюция всего, изд-во Эксмо]
- Джозеф Хенрик, The Secret of Our Success [Секрет нашего успеха, изд-во Corpus]
- Томас Соуэлл, Intellectuals and Society
Оригинал: Magnus Vinding, A Contra AI FOOM Reading List (2017-2023). Перевод: К. Кирдан.