Собственно, риск не в искусственном интеллекте, а в сверхразуме, который может появиться в результате технического прогресса, и, в частности, развития искусственного интеллекта. Это произойдет быстрее, чем мы ожидаем, так как темпы прогресса ускоряются в геометрической прогрессии.
Несколько миллионов лет назад наши предки прыгали с ветки на ветку в африканских лесах. 200 тысяч лет назад сформировался вид хомо сапиенс. Способность к абстрактному мышлению (в первую очередь в связи с появлением языка) дала этому виду принципиальное преимущество в выживании.
Примерно 5 тысяч лет назад в результате неолитической революции (переход от собирательства к земледелию) население и его плотность увеличились на порядки. 200 лет назад произошла индустриальная революция, после чего радикально изменился облик планеты.
Чуть больше 50 лет назад появилась машина, способная совершать любые математические и логические операции — компьютер. Вот с тех пор всё и понеслось. Если смотреть назад на историю технического прогресса, то это бесконечная долина, а впереди — отвесная вертикаль.
Мы стоим на экспоненциальной кривой. Следующий рывок может быть связан с искусственным интеллектом.
На тему "самосознание не является необходимым качеством разумности" рекомендую роман Питера Уоттса "Ложная слепота", там действительно такой пример сконструирован (и с пугающей убедительностью!).
Я бы сказал "не самые последние популисты".Интелект не сухая математика,а еще к примеру и творчество,не представляю как это в формулы уложат,рандомом?Если грубо по фрейду то ему и незачем этим заниматься,останется пожалеть существо с отсутствием желания бессмертия через продолжение рода,желания выживать,любое его стремление задается из вне(по сути такой же калькулятор).О эмоциях,"ярости альтрона" вообще и речи не может быть у него даже гормонов нет,сдались ему ресурсы.
Тут мало программистов,надо еще и экспертом в нейробиологии быть,последнии пока говорят что и мозг смоделировать пока не представляется возможным.
Мой аргумент в конце статьи был как раз о том, что не совсем обязательно моделировать мозг, чтобы сделать что-то, что умнее человека. Не обязательно моделировать крыло и перья, чтобы летать. Если бы для того, чтобы быстро передвигаться мы пытались воспроизвести механизмы движения животных, мы бы все еще не смогли ходили пешком от Москвы до Петербурга.
Тест Тьюринга считается водоразделом, так как пока программы его не прошли. И представляется, что для прохождения теста нужна универсальная рациональность. То есть рациональность в самой широкой области. Пройти тест просто симулируя понимание просто не получится
Потому что после его прохождения AI сможет обманывать человека, маскироваться и, соответственно, выйдет из под его контроля. Грубо говоря, мы не будем знать, какие действия совершил AI, какие - люди, будем не в состоянии оценить степень его развития и опасности и не сможем вовремя отключить "рубильник".
Эх, сколько мы уже видели попыток напугать тем, что "ууу, компьютер уже обыгрывает всех в го, скоро он захватит мир". Все такие эксперты, к сожалению, не понимают разницу между алгоритмом и сознанием. И не удосужились погрузиться хоть немного в тему и понять, что учёные уже не одно десятилетие пытаются подступиться к пониманию сознания, и пока там полный абсолютный круглый ноль. Но через 30 лет, конечно, точно будет армагеддон. Если же автор имеет ввиду, что мир захватит алгоритм (без сознания), то этот алгоритм сначала должен быть создан человеком. То есть проблема, как обычно, в нас самих и не в страшном искусстыенном интеллекте