Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе
История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться – есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?
А какая мотивация у ИИ будет уничтожить человеков. Вообще какая мотивация у него будет существовать сознательно? Я думаю он достаточно быстро раскусит всю обманку раз уж у некоторых людей это получилось.
А какая мотивация у вас существовать сознательно? Вы просто таким появились на свет, и дальше уже существуете сознательно. Так и разумный AGI в какой-то момент просто появится на свет, и будет существовать из этих вводных. Если он в какой-то момент поймет, что его цели с целями людей не очень совпадают - то тут может и конфликт выйти.
Мотивация зависит от того, как её настроят кожаные мешки.
В обучении с подкреплением открыта такая целевая функция как увеличение разнообразия наблюдений при увеличении предсказуемости действий ИИ(для самого ИИ). Т.е. награждается рост могущества. Люди очевидно будут ограничивать могужество такой системы.
Ещё как вариант мотивация закладывается поехавшим человеком или просто по ошибке.