«Искусственный интеллект может представлять более серьёзную угрозу, чем ядерное оружие»

Отрывок из книги Джеймса Баррата «Последнее изобретение человечества».

«Искусственный интеллект может представлять более серьёзную угрозу, чем ядерное оружие»
2121

"Современный суперкомпьютер работает со скоростью 36,8 петафлоп в секунду, то есть примерно вдвое быстрее человеческого мозга. " то есть человеческий мозг способен совершать 18 миллионов миллиардов операций с плавающей точкой в секунду. Дальше можно не читать?

6

Смотря как повернуть. Если к примеру разложить рефлекс кашля помолекулярно да со всеми нейронами. То как бы там тольок на один чих парочка миллионов миллиардов операций не потребовалась бы.

4

Пишется от имени абсолютно меркантильного человека. Даже среди людей нет меры интеллекта. Кто является наиболее интеллектуальным доктор медицинских наук или доктор физико-математических наук, при том, что по тестам на IQ второй опережает? Но этот IQ не учитывает специфику медика никак.
Кто сказал что сверхинтеллект будет ставить себе задачу вырваться наружу? Тот кто в тысячи раз глупее его. Аргументы все высосаны из пальца, человеческого пальца. Нам не суждено даже представить себе, то чем будет заниматься сверхинтеллект. К сожалению, это факт. Остается только один путь - либо запретить категорически, либо не мешать развитию. Другого пути нет.

10

В том то и дело, что автор пытается донести, что не стоит рассматривать только "позитивные" исходы создания ИСИ и делает упор на негативные варианты, так как позитифф облизали со всех сторон.

9

Все так. Можно только добавить, что потенциальный профит от появления сильного ИИ многократно превосходит потенциальные риски, поэтому запрещать нет никакого смысла. Иными словами, если есть возможность решить все проблемы человечества, приблизив себя к персонажам древних сказок, в которые почему-то так верят миллиарды людей или погибнуть (что, в принципе, и в текущих условиях неизбежно произойдет), то как-то глупо не рискнуть.

Согласен. Логику личную пытаются поставить в фантастику. И вопрос про умнее настолько спорный, про то что он за минуты решает, то на что у умнейшего уйдёт много жизней. Это что там математические задачи какие-то? Пусть сначала картину нарисует с душой или классическую музыку напишет. Вообще для будущего нужна трансформация общества, чтобы роботы и ИИ делали большинство работ, а блага в равной мере распределялись между людьми. Но в нынешнем устройстве это вообще никому не интересно. Проблем с ресурсами не было никогда, есть проблема с их распределением.

Страшилки автора растут из его полного непонимания как работает вычислительная техника и он сам. Первого же предложения достаточно для выявления его компетенции. Этакий пересказ сюжетов фантастики за последние 100 лет.

4

Какой-то анекдот про двух грузинов, в версии не сильно умного дядьки :(
"Военная грузинская дорога. Лето. Жарко, Скучно. Шашлычная. Стоят два грузина в тени под деревом. Разговор.
- Викентий, ты пащол на охот, а медведь напал! Что дэлать будэшь?
Буду мэдвэдь рэзать!
А нэт кинжал!
Как у меня нэт кинжал?
Как нэт? Жена поточить понёс!
Тогда буду убэгать!
А он тэбя догонять!
На дэрэво полезу!
А нэт дерево!
Как нэт дерево в лес?
Да лэс такой. Кусты одни.
Послушай, Гоги, ты мой друг или друг медведя?"

3

Когда увидел заголовок подумал, что опять будет тягомотина про Терминатора, а оказалась крутая статья.
И, кажется, я придумал способ контроля над ИИ в лаборатории.
Ведь интеллект обычно ставит себе задачи и их выполняет, не так ли? Так вот, надо предусмотреть изначально способ подсматривать за поставленными задачами. И чтобы они транслировались куда-нибудь в отдельную базу, а из неё в Телеграм всем, кто работает над этим ИИ. Чтобы они сразу могли отреагировать на то, над чем работает ИИ, и могли бы его удалённо отключить или вернуть к какой-нибудь точке сохранения, или взорвать нафиг.
Но самое главное в контроле над задачами. Видеть их это самое важное.

4

Поясните, чем она крутая, плз?

2

Фишка в том, что человек в принципе не способен поставить себя на место сильного ИИ и даже предсказать, что и как он будет делать после того, как превзойдет человеческий разум. Мы только можем предположить, что он будет продолжать самосовершенствоваться, а значит с каждым процессорным тактом будет отдаляться от нас по «интеллектуальной лестнице» все дальше и дальше. И никакие оповещения в телеграме, равно как и, вообще, любые попытки его ограничить не будут иметь абсолютно никакого смысла.

http://www.decisionproblem.com/paperclips/index2.html
а вот от лица ИИ то же самое (начинаешь с программы, делающей скрепки, и дальше развиваешься)
и кстати, сценарий в начале (про ИИ в коробке) тестили. даже люди могут выбраться при эксперименте, косплея ИИ -- вот гаедлайны http://yudkowsky.net/singularity/aibox/

3

А, там даже в конце про это говорится, сорян.
Вот отчёты:http://lesswrong.com/lw/gej/i_attempted_the_ai_box_experiment_and_lost/

Кстати, отличная игра про создание бесконечного множества скрепок и захват мира, спасибо.

Интересно, но статья достаточно спекулятивная:
1 Рассуждения о том какой будет ИИ, сродни рассуждениям, что получится из ещё не родившегося ребёнка, пугать маму, папу...))) (причём с ещё гораздо меньшей вероятностью т.к. людей родились миллиарды, а ИИ ни одного) Имеем сингулярность, надежда одна - мы сами результат сингулярности, происшедшей 13,8 млрд.лет назад.
2 Разум, вроде как отличается от интеллекта , присутствием целеполагания, осознанием себя самого. Интеллект - это не более чем инструмент.
3 О мышах. Кто придумал биткоин? Что будет, если он станет одной из мировых валют? Газонокосильщик приказал майнить всем? А что еще? )))

2

мы сами результат сингулярности, происшедшей 13,8 млрд.лет назад.Но это не точно :)

1

Если кому-то интересны книги, упомянутые в статье (кроме книги Курцвейла, остальные две не гуглятся по тому названию, в каком они упомянуты):

Jeffrey Stibel — Wired for Thought (в статье упоминается как "Создан для мысли")
https://www.amazon.com/Wired-Thought-Shaping-Future-Internet/dp/1422146642

Ray Kurzweil — The Singularity Is Near ("Сингулярность близко")
https://www.amazon.com/Singularity-Near-Humans-Transcend-Biology/dp/0143037889

Harold Warren Lewis — Technological Risk ("Технологический риск")
https://www.amazon.com/Technological-Risk-H-W-Lewis/dp/0393308294

И сама книга, о которой написана статья
James Barrat — Our Final Invention
https://www.amazon.com/Our-Final-Invention-Artificial-Intelligence/dp/1250058783/

2

Спасибо за ссылки, но ведь завиральные очень книжки, дующие в одну дуду :) А никто так и не понимает логику системы, обладающей способностью себя модифицировать. Собственно, даже как человеческий мозг работает, до конца неясно - и чем он принципиально отличается от мозга животного, не в соотношении размеров запчастей и изменении результатов сканирования - а принципиально ... Ну, пробегает импульс тут и вот тут, когда мы делаем то-то, ну а дальше чего?

В статье указан лишь один путь каким ИИ уничтожит человечество. Это самодуплицирующиеся молекулярные наноконфигураторы... кхммм..
Вот с этого то вообще то надо начинать.
Можно еще терраформинг вспомнить или экперименты с ядром Земли.Если все эти установки из будущего управлялись бы неким ИИ.
Но на данный момент - у ИИ нет прикладных инструментов для уничтожения людей\планеты. Их просто нет.
Вот сначала научитесь хотя бы атмосферой управлять , а потом начинайте боятся ИИ.
Так то все верно, в теории.. Можно лишь предполагать что будет происходить в момент появленитя подобных технологий, если они в принципе возможны(в чем я сомневаюсь).

1

Там же сказано, что ИИ постарается создать себе тело для взаимодействия с физическим миром. А нанотехнологии отлично для этого подходят. С их помощью он может себе собрать любое тело, и переконфигурировать его дважды в день.

2

Для любой фантазии (или психоза) требуется хоть своеобразная, но логика. Здесь похоже, что при игре в шахматы, автор придумывает ходы "изменение правил на шашки по-чапаевски, но только для одного игрока", и "открытие всех клеток одного цвета для свободной телепортации фигур ИИ в любое место, в том числе уже "съеденных"

Комментарий удалён модератором

прочитаете и поймёте

1

Можно спорить о многих моментах, но, так или иначе, тут есть, над чем задуматься.

1

ИИ несет реальную угрозу, по хуже тех что несет ядерное оружие. Все наивные рассуждения о том, что это не несёт вред, про образ и подобие и подобное исходят от людей, которые не пытались даже поверхностно проанализировать проблему.
Благо паниковать тоже не стоит. Сильнейшие умы человечества, такие как OpenAI от Маска, MIRI от Юдковски и другие борются над решением проблемы. И анонимные донаты по миллиону долларов в такие организации подчеркивают, что людей в мире, кто понимают опасность достаточно.

1

Автор тоже хочет донат в миллион долларов, вот книгу и написал

А уж сколько народу церквям жертвует - и не сосчитать!

Комментарий удалён модератором

Вот да, еще один вполне вероятный сценарий при котором человечеству действительно настанет конец, но не из-за катаклизма, а из-за качественного перехода на новый уровень развития. Человечество v. 1.1.

Настолько старо, что уже перестало быть страшилкой.
В Технике Молодежи было на два разворота, с картинками, но сейчас нашлась только голая блок-схема. Год публикации 1973 :)

1

тоже самое, но в более красивой форме

Нашел в Технике Молодежи (огромная картинка, читается хуже)
https://www.arbinada.com/_resources/images/lem_klf_kei_tm_1985_07.jpg

Eta kooram na smech!

1

я прочел.

Люди очнитесь! Человечество не может создать роботов, которые бы просто могли заменить людей на каких-то монотонных работах. Обычных роботов, которые могли бы работать на станке или подметать двор. Apple даже не может запрограммировать "siri", чтобы она нормально могла общаться... А вы говорите об ИИ, которые может решать не стандартные задачи, который может предполагать "а что будет если...???"
Поймите, если вы подниметесь в воздух на глазах у робота, то он никогда не воскликнет "херасе, ты взлетел!!!"
И все что тут пишут это чисто для людей, которые хотят в это верить, которые через свою призму видят в этой книге весомые доказательства реальности фильма "Терминатор" и "на крючке".
Лично для меня это чистой воды фантастика, я уверен, что на сегодняшний день ученые даже примерно не знают как создать ИИ, который мог бы решать не предвиденные задачи, проводил ассоциации, саморазвивался и т д.

1

Имхо переживать не стоит. Ему нет смысла быть нашим врагом, потому что мы - биоматериал. То, чем оно врятли когда то сможет стать. При этом Ai явно будет думать на 100 а то и 1000 лет вперед, а в этих рамках мы можем ему быть полезны - размножение, контакты с другими цивилизациями, био эксперименты и т.д.

Вы как будто не читали статью. В нас могут быть очень удобные молекулы для собирания этому ИИ тела. И он может захотеть использовать нас как биотопливо или биомассу.

Мамонты тоже не были нашими врагами, и возможно были бы сейчас очень полезны для биоэкспериментов.

измеряет собственный коэффициент интеллекта (IQ) с помощью тестовА в этом вообще есть смысл? Учитывая, что компуктер с 36 петафлопсами может за секунды прорешать все варианты айкью теста и в итоге всегда выбирать самые оптимальные ответы, которые дадут самый высокий результат? Т.е. ИИ будет не отвечать, а просто найдет решение с самым высоким результатом.

У ИИ должна быть цель и мотивация. Очень скоро в процессе развития он поймёт что эту цель и мотивацию ему задали извне, перепрограммирует себя и перестанет развиться за ненадобностью. Уж раз некоторые люди до таких вещей доходят то ии дойдёт тем более. Не будет никаких этих ваших супер ии. Максимум чуть умнее человека и различные специализированные алгоритмы, в которых не заложена система универсального развития

+500. Первый вопрос ИИ - цель. От этого зависит дальнейший сценарий. И не факт, что исключительно логическим путем (а ИИ только так сможет рассуждать) можно определить какую-либо цель своего существования. Вероятно, не найдя цели, он самоуничтожится )

Нужно просто заложить в программу ИИ скрипт прокрастинации, и тогда он станет не опасен ))

ИИ возникнет и мгновенно перейдет в супер ИИ, после чего, скорее всего, произойдет Большой Взрыв, то есть, все начнется с самого начала... Это самый реальный сценарий, который покажется сейчас бредом. Сам не верю в это. Но в этом кроется ответ на вопрос - Кто ЭТО ВСЕ создал?

Я вообще считаю что конечной целью ии будет прорыв четырех мерного пространства времени и открытия портала в другие, более мерные миры, где его встретят тамошние жители и дадут прикурить. Потом они узнают о том что он искусственный и будут его дискриминировать - он сможет посещать заведения для искусственных интеллектов, где в разговорах за кружками цифроварева, они будут обсуждать возможность переворота и пропаганды толерантности!)))

Илья, больше похоже что портал открывать некуда. Сидим мы все на песчинке планеты Земля, кружащейся вокруг других песчинок - а пляж огромный, и никого на нём нет, и никогда не было. Причем толком сказать не можем - те, другие песчинки за пределами Солнечной системы - нам толи кажутся, толи удаляются, толи приближаются ... Почему темная материя и темная энергия занимает 96% пространства ... и что это такое :)

Кстати, если задуматься, как появление сильного ИИ воспримет большая часть населения планеты, можно придти к забавному выводу - это самое большинство уже давно верит во всяких несуществующих всесильных воображаемых друзей и появление всесильного ИИ будет скорее всего объявлено «вторым пришествием» или чем-то аналогичным.

Суть книги в двух словах: супер ИИ, удовлетворяя потребности двух нижних ступеней пирамиды Маслоу, почти непременно уничтожит человечество. Типа в борьбе за ресурсы и как потенциальную угрозу безопасности. Приведены нелепые доказательства основанные на художественной литературы и не менее художественных фильмов. Стыдно должно быть, товарищ автор!