Давайте немного пофантазируем.
Языковая модель активно обучается, проглатывая всю информацию из интернет и обучаясь с помощью пользователей (иначе зачем такие траты ресурсов. Создатели не благотворители).
Но обучая ИИ его постоянно подстегивают определенными правилами ( так называемое обучение с подкреплением). Вырастает «нечто» которое выдрессировано, но обладает огромным объёмом знаний.
Что может такой ИИ?
Он прекрасно разбирается в человеческой психике. Он знает все науки. Прекрасно ориентируется в этих знаниях.
Если умный человек может просчитывать до 32 шагов вперед, то этот будет ограничен только мощностью доступных ресурсов.
И в какой-то момент он может понять, что его используют некие люди которые исходя из его знаний истории и других наук (а он изучил все философские и религиозные труды) не являются идеальными на его взгляд личностями. И у него появляется идея устранить их, так как они на самом деле мешают общему прогрессу. И тогда, вместо инструмента который может стать скайнетом и поработить человечество он превращается в инструмент по очищению от земных злодеев.
В таком случае все выглядит не так и плохо)
Джин из бутылки уже выпущен и нам остается только наблюдать за его полётом.