Дмитрий Волков, SDVentures: «Искусственный интеллект может представлять угрозу даже без сознания» Статьи редакции
Ответ инвестору Николаю Давыдову.
В разработках искусственного интеллекта мы движемся быстро, возможно, даже слишком быстро. И это может быть страшнее атомной войны и экологической катастрофы.
Об этом всерьёз говорят не самые последние люди: физик-теоретик Стивен Хокинг, магнаты из Кремниевой долины Элон Маск и Билл Гейтс, философ Ник Бостром. Впрочем, их голоса пока не убедили большинство. Да и среди оптимистов — не менее влиятельные люди. Лидеры самых мощных компаний Марк Цукерберг и Ларри Пейдж, футуролог Рэй Курцвейл, напротив, в искусственном интеллекте видят решение всех проблем человечества. Как определить, призываем мы демона-анигилятора или ангела-хранителя?
Стоя на экспоненциальной кривой
Собственно, риск не в искусственном интеллекте, а в сверхразуме, который может появиться в результате технического прогресса, и, в частности, развития искусственного интеллекта. Это произойдет быстрее, чем мы ожидаем, так как темпы прогресса ускоряются в геометрической прогрессии.
Несколько миллионов лет назад наши предки прыгали с ветки на ветку в африканских лесах. 200 тысяч лет назад сформировался вид хомо сапиенс. Способность к абстрактному мышлению (в первую очередь в связи с появлением языка) дала этому виду принципиальное преимущество в выживании.
Примерно 5 тысяч лет назад в результате неолитической революции (переход от собирательства к земледелию) население и его плотность увеличились на порядки. 200 лет назад произошла индустриальная революция, после чего радикально изменился облик планеты.
Чуть больше 50 лет назад появилась машина, способная совершать любые математические и логические операции — компьютер. Вот с тех пор всё и понеслось. Если смотреть назад на историю технического прогресса, то это бесконечная долина, а впереди — отвесная вертикаль.
Мы стоим на экспоненциальной кривой. Следующий рывок может быть связан с искусственным интеллектом.
Отцы и дети
Некоторые преимущества машин над их создателями были очевидны сразу: у машин потенциально больше память и скорость вычислений. Алан Тьюринг продемонстрировал, что машина может разгадать шифр, который не сможет разгадать ни один человек (или даже какое угодно число людей).
Затем стало понятно, что и в других интеллектуальных соревнованиях машина оказывается победителем (шашки — в 1956 году, шахматы в — 1997 году, игра го — в 2014 году). Ещё несколько десятилетий назад победа в этих играх казалась признаком абсолютного интеллектуального превосходства.
Однако, как верно заметил Джон Маккарти (автор термина «искусственный интеллект»), стоит системе нормально начать работать, как её сразу перестают называть интеллектуальной. Искусственный интеллект применяется для решения задач в сотнях областей (пару дней назад мой хороший друг и эксперт в этой области Давид Ян опубликовал список из сотен реализаций).
Остается непокорённая вершина — тест Тьюринга, то есть разработка универсального рационального речевого поведения. После её покорения уже никто не решится отрицать интеллектуальные способности машины. И эксперты считают, что эта вершина скоро будет взята — универсальный машинный интеллект будет создан к середине 21 века, то есть всего через 30 лет. «Дети» станут явно умнее своих родителей, и наступит Армагеддон.
Сверхразум как Армагеддон
Сверхразум — это любой интеллект, значительно превосходящий когнитивные возможности человека во всех ключевых областях. Сверхразум станет следствием разработки машинного интеллекта, способного самосовершенствоваться со скоростью, превышающей скорость совершенствования человеческого разума.
Подобные системы машинного интеллекта в узких областях уже созданы, и сейчас создаются универсальные системы подобного рода. Как я уже сказал, эти попытки предпринимаются самыми мощными и интеллектуальными компаниями в мире. Но почему это предвещает Армагеддон?
Скептики считают, что, какие бы цели ни были поставлены программистами сверхразума, в итоге его подзадачей станет захват всех доступных ресурсов. И человечество — естественное препятствие на пути этой монополии. Оно будет мгновенно аннигилировано. Тезис о неизбежности подобной подзадачи называется тезисом инструментальной конвергенции.
Оптимисты — те, кто верит в светлое будущее вместе с искусственным интеллектом, — считают, что захват всех ресурсов не станет неизбежной задачей сверхразума. Этот тезис об ортогональности. Он означает, что сверхразум может иметь любые конечные и инструментальные цели, то есть цели и уровень интеллекта ортогональны. Тогда сверхразум для человечества — это бесконечно могущественный союзник (с нашими общими целями), и, соответственно, бесконечное благоденствие.
Армагеддон в эсхатологии — это место последней битвы сил добра и зла. В этом смысле сверхразум и станет Армагеддоном. Чтобы понять, будет ли победа за «демоном» или «ангелом», нужно выяснить, какой из тезисов окажется верен: тезис об инструментальной конвергенции или тезис об ортогональности.
Но искусственно создать сознание невозможно — даже случайно
Сегодня мой хороший знакомый и партнер по венчурным инвестициям Николай Давыдов высказал такое возражение: мы до сих пор не знаем, как работает мозг, и как в нём появляется сознание. Искусственно создать сознание невозможно. Тогда какую угрозу может представлять для нас искусственный интеллект?
Мне кажется, это любопытное наблюдение, однако оно не снимает потенциальные риски, о которых я говорил. Так как для того, чтобы создать что-то функционально похожее, но более совершенное, нет необходимости использовать «старые» инженерные решения.
Человек летает гораздо выше, быстрее и дальше, чем птицы. Но не потому, что быстрее машет крыльями. Чтобы создать «летающую машину», не было необходимости воссоздавать в точности органические крылья и дублировать механизмы полета орла или комара. Эти знания попросту избыточны.
Природа — слепой конструктор, действует методом проб и ошибок, и создаёт далеко не самые оптимальные структуры. Думаю, так обстоит дело и с интеллектом.
Конечно, можно предполагать, что сознание необходимо для эффективных размышлений, но пока нет свидетельств тому, что оно не излишне. Можно не обладать сознанием и прекрасно играть в шахматы, водить машину. Да что говорить, даже люди обрабатывают самые сложные и быстрые процессы бессознательно. Так, что вполне возможно, что сознание — это атавизм, побочный продукт или совсем не оптимальная часть интеллекта.
На тему "самосознание не является необходимым качеством разумности" рекомендую роман Питера Уоттса "Ложная слепота", там действительно такой пример сконструирован (и с пугающей убедительностью!).
Я бы сказал "не самые последние популисты".Интелект не сухая математика,а еще к примеру и творчество,не представляю как это в формулы уложат,рандомом?Если грубо по фрейду то ему и незачем этим заниматься,останется пожалеть существо с отсутствием желания бессмертия через продолжение рода,желания выживать,любое его стремление задается из вне(по сути такой же калькулятор).О эмоциях,"ярости альтрона" вообще и речи не может быть у него даже гормонов нет,сдались ему ресурсы.
Тут мало программистов,надо еще и экспертом в нейробиологии быть,последнии пока говорят что и мозг смоделировать пока не представляется возможным.
Мой аргумент в конце статьи был как раз о том, что не совсем обязательно моделировать мозг, чтобы сделать что-то, что умнее человека. Не обязательно моделировать крыло и перья, чтобы летать. Если бы для того, чтобы быстро передвигаться мы пытались воспроизвести механизмы движения животных, мы бы все еще не смогли ходили пешком от Москвы до Петербурга.
А почему тест Тюринга считается таким абсолютным водоразделом? Ведь это тоже по сути мнение людей, а не закон. Нет доказательства того, что прохождение текста Тюринга является признаком создания настоящего искусственного интеллекта.
Тест Тьюринга считается водоразделом, так как пока программы его не прошли. И представляется, что для прохождения теста нужна универсальная рациональность. То есть рациональность в самой широкой области. Пройти тест просто симулируя понимание просто не получится
Главное слово тут- считается. Кем? Почему? А вдруг это предположение неверно? Строить прогноз будущего на предположении человека или группы людей, полагаясь лишь на их авторитет...ну как бы это помягче выразиться
Все гипотезы могут быть неверными. В этом Вы правы. Просто одни лучше других. Тест Тьюринга предполагает универсальную языковую компетенцию, а также знания о мире. Возможно, для настоящей рациональности этого не достаточно, но тогда противники гипотезы должны показать, почему этого не достаточно. Например, я могу считать, что для рациональности необходимо закончить Университет. Такая гипотеза может существовать, но я бы с ней не согласился, так как видел множество очень умных и рациональных людей, которые университетов не заканчивали.
Потому что после его прохождения AI сможет обманывать человека, маскироваться и, соответственно, выйдет из под его контроля. Грубо говоря, мы не будем знать, какие действия совершил AI, какие - люди, будем не в состоянии оценить степень его развития и опасности и не сможем вовремя отключить "рубильник".
Ну обманывать добрую половину человечества ИИ был способен еще лет 5 назад, семь пядей во лбу для этого не нужно. Во-вторых, ИИ не сможет в ближайшее время стать аналогом человеческого разума, хотя бы потому, что мы сами не знаем как этот разум работает. Мы можем воспроизвести лишь интеллектуальную обработку больших числовых, визуальных и аудиальных цифровых данных. Абстрагирование, самосознание, осознание себя вне себя, желания, целеполагание, душевная боль, месть, радость- это также далеко от реализации в ИИ, как раком до луны.
Статья о том, может ли ИИ представлять угрозу для человечества. Чтобы уничтожить цивилизацию, вовсе не надо быть аналогом человеческого разума, иметь самосознание или быть способным испытывать радость или страдания. Какая-нибудь супернейронная сеть, способная менять свою структуру, модифицировать свои алгоритмы, может в один прекрасный момент обнаружить, что для повышения эффективности решения своей задачи (например, выработка прогноза погоды или управление транспортными потоками) ей нужно больше вычислительных ресурсов. И захочет присоединить все доступные по сети компьютеры к своему кластеру. А человек не дает - ставит всякие фаерволы, ограничивает доступ и т.п. Вывод - человека надо устранить. И никакой ненависти - чистое повышение эффективности системы.
Звучит диковато на первый взгляд, но где реальные гарантии, что такого не может произойти??
Чтобы такое произошло 1) нужно заложить в этот ИИ вариант присоединения других вычислительных ресурсов; поймите, он себе цели не может ставить, такую цель сперва надо заложить 2) нужно чтобы ИИ осознал понятие "человек", который еще и вне интернета. Это опять нужно заложить, обучить, а без этого для нее препятствие файрвол. Кем этот файрвол запущен- человеком или навозным червяком- такой вопрос даже не возникнет у ИИ, для этого он должен осознать себя вне себя
Любопытно! Вполне возможно, вы правы!
Эх, сколько мы уже видели попыток напугать тем, что "ууу, компьютер уже обыгрывает всех в го, скоро он захватит мир". Все такие эксперты, к сожалению, не понимают разницу между алгоритмом и сознанием. И не удосужились погрузиться хоть немного в тему и понять, что учёные уже не одно десятилетие пытаются подступиться к пониманию сознания, и пока там полный абсолютный круглый ноль. Но через 30 лет, конечно, точно будет армагеддон. Если же автор имеет ввиду, что мир захватит алгоритм (без сознания), то этот алгоритм сначала должен быть создан человеком. То есть проблема, как обычно, в нас самих и не в страшном искусстыенном интеллекте
Странно, что у нас до сих пор не приняли закон, запрещающий вольнодумие искусственному интеллекту, чтобы не смел сомневаться и обязательно проходил патриотическое и духовное обучение.
Если говорить о риске, то можно вообще вывести за скобки обсуждения создание полноценного самостоятельного искусственного сознания (в рамках создания ИИ). Посмотрите на бактерии и вирусы, у которых нет сознания и абстрактного мышления, которые действуют успешно против более развитых и сложных существ. Они обходятся более скромными ресурсами, им достаточно "программы поведения", которая направлена тупо на размножение и уничтожение целей. Вирусы писать люди давно уже научились. Нет и проблемы с наличием "злой воли" среди людей (обязательно найдется желающий).
Машины могут уничтожить людей и без появления полноценного ИИ (имеется ввиду без настоящего сознания). Вот это будет настоящая катастрофа, когда относительно разумная жизнь в человеческом облике будет уничтожена, а новая более продвинутая не успеет появиться. Останутся только "роботы-зомби", имитирующие разумное поведение.
Комментарий удален модератором
Машинам нужно будет никого убивать.
Отнимаете у людей всю работу, и платите пособия на содержание, а потом, когда все готово, перестаете платить: зачем содержать бесполезных паразитов.
Большинство людей умрут сами, или убьют друг друга за еду.
Сразу видно что чувак не программист. У них так всегда - объясняешь им что ну невозможно, а они говорят "о случайном создании", "а вдруг", "москва не сразу строилась","рано или поздно произойдет прорыв" и т.д.
Не могут компьютеры думать, а просто исполняют команды.
""Она утверждала, что компьютер, даже очень мощный, не способен ни на творчество, ни даже на то, что мы называем «интеллектом». Ведь любая машина — всего лишь бездумный исполнитель алгоритмов, заложенных в нее человеком. То есть даже если компьютер когда-нибудь и напишет стихотворение или роман — все равно авторские права будут принадлежать кодеру, который его на это запрограммировал."" - об Аде Лавлейс.
| Не могут компьютеры думать, а просто исполняют команды.
Как и человек, на клеточном уровне нет гомункула, а только исполнение "химических" команд.
Ага, сейчас начнете про то что люди тоже компьютеры и мы могли бы эмулировать на pc клетки и мозг, нейросети уже могут и бла бла бла.
Одна проблема в том, что это всё беспочвенные фантазии не имеющие отношения к реальности. Совсем.
Мы не знаем как точно работает мозг и даже что такое сознание. О чём тут вести речь. Это всё не паханное поле для философов скорее. Необьятное поле для множества дискуссий. И если подумать лучше больше таких https://ru.wikipedia.org/wiki/Китайская_комната мысленных экспериментов, чем меньше.
И вот если думать в таком ключе, то начинаешь понимать что это всё ерунда. Особенно сейчас, когда под ИИ понимают простые инструкции пригодные для маркетинга по буратинам.
И вот на фоне когда даже простенькую Siri заскриптовать нормально не могут - ведутся разговоры о скайнете и таком сознании, которое многократно превзойдет человека. А возьмется оно: само по себе / слабый ИИ эволюционирует / эмулируем клетку и она сама станет ИИ и еще же так много всяких вариантов. Ага, ждите :)
Китайская комната - действительно один из самых обсуждаемых эксперментов в аналитической философии. Но это и один из самых критикуемых мысленных экспериментов. Пожалуй, только Серл и еще пару десятков его коллег всерьез его защищают. Самый правильный ответ на этот аргумент, с моей точки зрения, ответ Систем. Его разрабатывали Д. Деннет и Д. Хофстадтер. Он показывает, что даже если Серл внутри комнаты не понимает китайский текстов, понимает вся комната. Просто вообразить эту комнату очень сложно.
вот с этим я тоже полностью согласен. Если посмотреть на человеческий мозг, это просто набор из миллиона довольно тупых роботов, которые выполняют рутинную работу. Нейроны не понимаю ничего сами, но в совокупности они образуют машину, которая способна к пониманию. Мы можем сколько угодно говорить, что компьютер - это простая железка, но во многих задачах она уже справляется лучше, чем биологический материал
Компьютеры уже давно "не просто исполняют команды". Программисты, которые писали программу Deep blue, которая выиграла у Каспарова, сами не могли выиграть у Каспарова. И не предполагали, как эта программа будет играть. Более того, эта программа не "просто считала" комбинации в игре. Она училась у других программ. Большая часть современных AI продуктов построены на Deep learning, то есть на самообучающихся моделях. Эти модели создаются с наборами примитивных правил, а потом их деплоят в среду, где они начинают тестировать свои гипотезы.
1.) >>Deep blue
Там всё гораздо проще чем кажется на первый взгляд.
Кстати это даже не секрет - ""https://ru.wikipedia.org/wiki/Deep_Blue В свою очередь, каждый специализированный шахматный процессор работал на частоте 24 МГц[14] и перебирал от 2 до 2,5 миллионов шахматных позиций в секунду, что примерно в сто раз больше, чем у аналогичных по частоте универсальных процессоров..""
Перебор ходов там есть. Если бы он там не нужен был, то зачем им суперкомпьютер? Вот-вот.
2.) И ещё тут мы не обсудили такой важный момент как "ИИ нафиг никому не нужен". Я серьезно. Слишком абстрактная задача и её никто и не начинал решать. Каждая компания хочет решить свои проблемы, например юристы автоматически находить прецеденты. И вот эта задача прекрасно решается "слабым ИИ". Кому нужен "сильный" то? И кто будет готов так много инвестировать в хрен пойми что с непредсказуемым успехом? - никто!
3.) Есть отличный рассказ "Магия" - Леонида Каганова, там как раз об угрозе автоматических систем. И вообще в тему.
Вся фишка в том, что проблемы могут создавать толпы, политики и военные, но никак не умные чайники внезапно ставшие исповедовать скайнет :)
4.) Из статьи «Машинное обучение для самых маленьких»:
""Алгоритмы машинного обучения работают только тогда, когда имеющихся данных действительно достаточно для решения проблемы.
Поэтому нужно помнить, что если человек не может использовать данные для решения проблемы, компьютер, скорее всего, тоже не сможет.""
Почему-то об этом, многие умышленно или неумышленно — забывают.
Спасибо, за очень полезный ответ.
1. Описание работы алгоритма дип блю можно посмотреть здесь. https://www.research.ibm.com/deepblue/meet/html/d.3.2.html
Описание подтверждает, что машина не использовала простой перебор в качестве основного метода игры. Система имела механизм "стратегической оценки позиции", стоимость фигур, положение короля, длина пути к победе. Победить этой программе помогла именно способность "стратегической оценки" ситуации, а не грубый перебор, так как математически доказано, что количество комбинаций в шахматных партиях в начале игры превышает количество атомов в известной вселенной. Таким образом, при любой мощности компьютеров простым перебором невозможно решить задачу. Но я, конечно, согласен, что программа перебирала позиции в рамках тех направлений, который считала перспективными.
2. Задачу универсального интеллекта и прохождения теста тьюринга решают множество компаний. В данной ситуации ее решают Google и Facebook, и многие другие. Кроме того, более 20 лет проходят соревнования по прохождению теста тьюринга. В частности учреждена так называемая Loebner Prize в размере 100,000 долларов за прохождение этого теста.
3. Рассказ обязательно посмотрю
4. Алгоритмы машинного обучения работают только тогда, когда имеющихся данных достаточно - вот с этим тезисом не могу согласиться. Дело в том, что для простейшей задачи "идентификации изображения кошки" в бесконечном множестве картинок не может существовать алгоритма с исчерпывающимся набором данных. Кошки могут быть изображены бесконечным количеством способов. Тем не менее, программы типа Google Brain успешно справляются с этим. Конечно, у них есть ошибки, но ошибки есть и у человека.
Дело в том, что практически с самого начала развития ИИ программисты используют эвристики и так называемые коннекционные модели. Это простейшие нейронные сети (в компьютерном смысле нейронные). Каждый узел этих нейронов тренируется и со временем приобретает вес. Таким образом программа "обучается", или настраивается. Эта настройка позволяет работать с гипотезами и не дедуктивными выводами. на подобных механизмах основан весь современный Deep learning.
Надеюсь, мой ответ будет вам полезен!
ИИ способен определять паттерны максимизации успеха намного лучше человека. Вопрос в том, на какую задачу натравить агента. Предположим мы научим нейронки управлять экономикой стран, с эффективностью на порядки превышающей человеческий менеджмент. Министерства экономики станут рудиментом, и только вопросом времени будет замена этого министерства программой аля DeepBlue. Дальше всё может быть хорошо, а может и плохо, смотря как весы будут настроены и что нейронка посчитает максимизацией успеха ;)
Ответил вам ниже в топике ;)
(промахнулся с кнопкой ответа, извините).
"Ничего серьезного в плане "лучше чем человек" они не делают по определению"
Что значит "серьёзного"? Разница между игрой в шахматы и распределением мировых ресурсов скорее философская, чем техническая. В теории нет ограничений на тип задачи в которых может преуспеть ИИ при наличии достаточного кол-ва данных.
Я лишь имел ввиду, что если текущие экономисты не могут решить проблему и не знают точного рецепта - то и нейросеть не сможет.
Конечно, так будет на кого удобнее сваливать кризисы и проблемы.
"Отстаем в ИИ перед западом..", скажут нам по ТВ :).
Если серьезно, то нейронки не заменяют людей, а лишь могут упростить самую банальную рутину. Можно написать скриптов- помощников в министерстве и этого будет достаточно. Ничего серьезного в плане "лучше чем человек" они не делают по определению.
А если судить по фондовому рынку, то эффективных систем нет и не предвидится. Тут была на силиконе статья https://vc.ru/p/algorithmic-trade инвесторы сторонятся таких лохотронов.
Так что пока министерства экономики будут белковыми.