Оффтоп Sergey Nikolenko
515

Илон Маск: у нас только 10% шансов сделать безопасный ИИ

Сегодня я хочу поделиться с вами переводом статьи Челси Год (Chelsea Gohd), недавно вышедшей на сайте Futurism. Перевод сделали в нашей компании Neuromation, а мой подробный комментарий на тему недавно появился в нашем блоге на Medium. А что вы думаете: будет ли безопасный сильный AI? Все умрём? Или вообще не будет никакого сильного AI?..

В закладки

Наши шансы – 5-10 процентов...

Хотя Илон Маск сам активно работает над развитием искусственного интеллекта, он считает, что с большой долей вероятности в будущем искусственный интеллект станет угрозой для человечества. В интервью журналу Rolling Stone гуру технологий заявил: наши шансы сделать ИИ безопасным составляют лишь 5–10 процентов.

Не очень радужная перспектива

Илон Маск признается, что много размышлял о суровой действительности и непредсказуемых возможностях искусственного интеллекта (ИИ). Эти раздумья привели его к убеждению, что для выживания нам, людям, придется слиться с машинами. Маск даже основал стартап, занимающийся необходимыми для этого технологиями нейрокомпьютерного интерфейса (НКИ). Но хотя его собственная лаборатория, OpenAI, недавно создала ИИ, способный к самообучению, Маск недавно сказал, что попытки создать безопасный AI имеют “шансы на успех лишь 5–10 процентов”.

Журнал Rolling Stone сообщает, что Маск поделился своими неутешительными соображениями с персоналом уже упомянутого стартапа, занимающегося НКИ, Neuralink. Несмотря на то, что Маск сам серьёзно вовлечён в развитие ИИ, он открыто признал, что эта технология влечет за собой не только потенциальные, гипотетические, но и гарантированные серьезные проблемы.

Трудности, связанные с обеспечением безопасности ИИ, носят двоякий характер.

Во-первых, основная цель в сфере ИИ (над ее достижением уже работает OpenAI) - это создание ИИ, который будет не просто умнее человека, но и окажется способным к независимому обучению, без какого-либо человеческого программирования или вмешательства. Но вот куда заведет такая способность — неизвестно.

Кроме того, у машин, и это факт, нет морали, сожалений или эмоций. В будущем ИИ, возможно, будет способен отличать "хорошее" от "плохого", но чисто человеческие чувства таковыми, свойственными только человеку, и останутся.

Нажмите для просмотра инфографики полностью

В статье Rolling Stone Маск также поведал о текущих опасностях и проблемах, связанных с ИИ. И главная из них заключается в следующем: уже сегодня существует вероятность того, что контроль над отраслью ИИ окажется в руках всего нескольких компаний. Один из главных кандидатов на такое главенство — проект DeepMind компании Google.

"Facebook, Google, Amazon и, возможно, Apple, — но там, кажется, помнят о конфиденциальности, — располагают большим объемом информации о вас, чем вы способны запомнить, а концентрация власти влечет за собой массу рисков. И если AGI [artificial general intelligence – общий искусственный интеллект] представляет собой высочайший уровень власти, должен ли он управляться кучкой людей в Google, без всякого внешнего надзора?" - пояснил Маск свои опасения.

Стоит рискнуть?

Мнения экспертов относительно пессимистичных прогнозов Маска разделились. Основатель Facebook Марк Цукерберг (Mark Zuckerberg) сказал, что оптимистично смотрит на будущее человечества при наличии ИИ, и назвал предупреждения Маска "весьма безответственными". С другой стороны, Стивен Хокинг (Stephen Hawking) неоднократно публично высказывал своё глубочайшее убеждение: системы ИИ представляют собой опасность для человечества, поскольку в будущем смогут полностью заменить человека.

Сергей Николенко, российский ученый, работающий в области компьютерных наук и специализирующийся на машинном обучении и сетевых алгоритмах, недавно поделился с изданием Futurism своими мыслями по этому вопросу. "Я считаю, что нам пока недостает необходимого базового понимания и методики достижения серьезных результатов в области сильного ИИ, проблемы правильного целеполагания для ИИ и других связанных с этим вопросов", — сказал Николенко.

Он считает, что относительно современного ИИ нам не о чем беспокоиться: "Я готов спорить на любые деньги, что современные нейронные сети не "проснутся" вдруг и не решат свергнуть своих органических повелителей”.

Вероятно, Маск не стал бы возражать, если речь идет о современном ИИ. Его опасения, скорее всего, больше связаны с возможностями развития ИИ в будущем, продолжающими исследования, которые ведутся уже в наше время.

А в наше время существуют системы ИИ, способные создавать новые системы ИИ, которые могут общаться на собственных языках и обладают "врожденным" любопытством. Да, сегодня сингулярность и восстание роботов — это просто избитые сюжеты научной фантастики, однако такой стремительный прогресс в ИИ делает их вполне вероятными для мира будущего.

Конечно, вряд ли эти опасения могут стать достаточной причиной для того, чтобы перестать двигать вперёд научную мысль. Ведь уже сегодня есть системы ИИ, которые могут диагностировать рак, определять суицидальное поведение и помогать в борьбе с торговлей людьми с целью сексуальной эксплуатации.

Эта технология обладает огромным потенциалом в вопросах спасения людей и улучшения их жизни. Безусловно, мы должны думать об обеспечении безопасности, регулировать и контролировать использование ИИ, но при этом не стоит забывать, что предупреждения Маска— это, в конечном итоге, всего лишь мнение одного человека.

В конце концов, и сам Илон Маск уточнил в интервью Rolling Stone: "У меня нет ответов на все вопросы. Я этого не скрываю. Я лишь пытаюсь понять, что нам нужно предпринять, чтобы в результате получить счастливое будущее. Если у вас есть предложения на этот счет, я готов их выслушать".

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Sergey Nikolenko", "author_type": "self", "tags": [], "comments": 23, "likes": 5, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 31212, "is_wide": false, "is_ugc": true, "date": "Mon, 25 Dec 2017 13:44:56 +0300" }
{ "id": 31212, "author_id": 121300, "diff_limit": 1000, "urls": {"diff":"\/comments\/31212\/get","add":"\/comments\/31212\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/31212"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

23 комментария 23 комм.

Популярные

По порядку

Написать комментарий...
3

Илон Маск - мастер разводить ПР ни о чем, а страх - самая популярная эмоция

Ответить
0

Маск всё-таки не сам это придумал; те же Бостром и Юдковский говорят об этом уже лет десять подряд, настойчиво и убедительно. Просто сейчас у них наконец получилось достучаться до гейтсов и масков мира сего.

Ответить

–1

Конечно; об этом я и пишу:

Elon Musk recently claimed that we only have a “five to 10 percent chance of success” in making AI safe. I do not know enough to argue with this estimate, but I would certainly argue that Elon Musk also cannot know enough to make estimates like this.
https://medium.com/neuromation-io-blog/ai-risk-should-we-be-worried-eb9205d716f1

Ответить

0

Я хотел сказать, что я с вами согласен.)

Ответить
0

ну все как обычно. сначала мы это делаем, а потом думаем о моральной составляющей того, что мы выкатили

Ответить
2

Не, сейчас как раз наоборот: когда выкатим, непонятно, скорее всего через десятки лет, а моральная составляющая уже начала кое-кого беспокоить. :)

Ответить

1

Конечно; я об этом и пишу вот здесь:
https://medium.com/neuromation-io-blog/ai-risk-should-we-be-worried-eb9205d716f1

Ответить

0

Лично мне по шкурным соображениям скорее интересно, будет ли лет через 50 сам Маск.)

Ответить

0

умирать не хочется)

Ответить

0

интересно, проживёт ли Маск ещё 50 лет, потому что он наверняка одним из первых попробует медицинские новинки, которые потом и до нас с вами дойдут

Ответить

0

мне кажется, не надо путать медицину с фричеством)

лично я, например, с надеждой слежу за и сотрудничаю с компанией Insilico Medicine, их миссия "победить старение" кое-чем подкреплена, хотя, конечно, ничего утверждать невозможно...

Ответить

1

поживём -- увидим
если уже есть наработки, и они окажутся корректными, то в ближайшие годы они станут массовыми -- слишком уж важная это тема

Ответить

0

Если ИИ опасен для человечества, это одно. Если оно может уничтожить человечество это другое, ибо тогда пооект Человек, запускали ради ИИ. И кто вообще сказал, что человек это не искусственное?
И роботы и мы, созданы из той природы , которая на планете земля.
А существование души, не доказано, что не является работой разума.

Ответить

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }