От вымирания человечества до потери смысла жизни: три риска появления сверхинтеллекта

Ещё недавно разговоры о сверхинтеллекте казались сюжетом научной фантастики. Сегодня крупнейшие AI-компании открыто заявляют, что их цель — создание AGI, искусственного общего интеллекта, способного решать любые задачи на уровне человека или выше.

Что произойдёт, если такая система действительно появится? Исследователь AI-безопасности Роман Ямпольский выделяет три принципиально разных типа рисков — от исчезновения человечества до потери смысла человеческой деятельности.

Прежде чем говорить о конкретных сценариях опасности, нужно договориться о терминах, которые часто путают даже специалисты. Узкий AI (narrow AI) — это то, что мы имеем сейчас: системы, которые хороши в одной или нескольких близких друг другу областях, но не могут выйти за их пределы. Искусственный общий интеллект (AGI) — это гипотетический уровень, когда система может делать всё, что может человек, в любой области, как универсальный помощник, которого можно нанять на работу. Если дать AGI доступ к собственным улучшениям, начнётся взрывной процесс. Следующая версия будет создана быстрее, параллельнее, и она превзойдёт уровень человека, станет сверхинтеллектом (ASI). И дальше этот процесс не остановится — разница в способностях будет расти экспоненциально.

Представьте муравья, пытающегося понять, как работает человеческое общество. Разница в интеллекте между нами и муравьём несопоставима с разницей между человеком и системой в миллион раз более способной. Мы даже не можем правильно сформулировать, как бы мы контролировали такую сущность. Муравей не может понять наши мотивы, наши механизмы власти. Точно так же сверхинтеллект будет для нас непостижим по своим внутренним логикам и целям.

Риск исчезновения (X-risk) основан на простой логике: если мы создаём систему, которая умнее нас, и она решает, что для достижения своих целей (которые могут быть совершенно нейтральными с человеческой точки зрения) ей сподручнее избавиться от человечества — это произойдёт. И мы не сможем этому помешать, потому что не сможем её перехитрить, не сможем объяснить ей, почему это неправильно. Её решение охладить планету, переделать её под собственные серверы может быть вполне логичным в системе её целей, но для нас это будет катастрофой.

Второй риск — страдания (S-risk) — это сценарий, где человечество не исчезает, но живёт в будущем с огромным коэффициентом страданий (например, из-за тотального принуждения, эксплуатации или систематического «наказательного» управления). Ямпольский прямо противопоставляет «все мертвы» и «всем максимально плохо», подчёркивая, что второй исход может быть даже более морально ужасным, чем гибель (потому что страдание может быть долгим). В практическом плане это означает, что неумение контролировать суперинтеллект может привести не только к смерти, но и к бесконечно длящейся антиутопии.

Третий риск — потеря смысла (I-risk, irrelevance) — более метафизичный, но от этого не менее реальный для значительной части человечества. В мире, где суперинтеллект решает все научные задачи, создаёт всё новое в искусстве, науке и инженерии, человеческие достижения теряют смысл. Если вы учёный и над вашей задачей уже работала система в миллион раз более способная, если вы художник и есть существо, которое может создать что угодно мгновенно, то для чего вам заниматься своим делом? Технооптимисты возразят: мол, пусть люди танцуют, поют, едят мороженое, а машины будут обслуживать их потребности. Но это видение упускает критический момент: для большинства людей смысл жизни связан с достижением, с преодолением, с тем, что их работа стоит чего-то. Когда исчезает профессиональное развитие, исчезает и смысл жизни.

Это лишь один из фрагментов большого разговора о том, почему проблема безопасности искусственного интеллекта за последние годы превратилась из маргинальной темы в один из главных вопросов технологической индустрии.

Полную версию разговора с Романом Ямпольским о рисках AGI, сверхинтеллекте, безопасности ИИ и будущем человечества слушайте в подкасте «Мыслить как учёный».