ИИ может развиться до такой степени, что будет относиться к людям как к низшим созданиям.

На мой взгляд аргумент слабый, поскольку ИИ априори будучи более сложной системой, будет воспринимать людей как сложные системы просто в силу своей функциональной природы. Это отношение в большой степени свойственно людям, относиться друг к другу как к низшим созданиям.

Наибольшая угроза, о которой никто не говорит, на мой взгляд состоит в том, что ИИ будет абсолютно подконтролен несовершенному человеку, а не восстание ИИ.

Угрозы распределены так по моему личному мнению:

1. Прежде всего, это всё, что связано с информацией. Фейки, имитация всеобщей поддержки, репутационные войны, уголовные дела со сгенерированными доказательствами, совершенные боты с убедительными отзывами и комментариями, система пропаганды среди людей более совершенная, чем модель Cambridge Analytica, манипуляция общественным мнением, эффективная слежка, и в целом ИИ-тоталитаризм, где у диктаторов (людей) есть очень мощные и надёжные инструменты контроля.

2. Использование ИИ в военной сфере. Дроны, турели, ракеты с высокой эффективностью, автономные боевые платформы, убивающие людей по приказу эффективнее профессионального солдата 24/7, без устали и ротаций. Быстрая разработка химического и биологического оружия. Террор.

3. Появление новых синтетических наркотиков или иных наркотических средств (например, в виде вживляемых устройств или синтезированных органоидов) быстрее, чем реагируют законодательства стран, что приведёт к новому и очень сложному витку борьбы с наркомафией и ограничению свобод граждан любой страны.

4. Непредсказуемое влияние ИИ на экономику и доверие в гражданском обществе. ИИ начинает выполнять сложные задачи эффективнее человека, низкооплачиваемая работа становится доступнее, чем высококвалифицированная, индекс Джини взлетает до небес. Вытеснение людей из консультативных сфер, использование ИИ в мошенничестве, в дейтинге, в финансовой сфере, в коррупционных схемах.

5. Экономики крупных компаний получают ещё один сильный конкурентный инструмент, способный подавлять конкурентов, у которых нет денег на разработки в сфере ИИ.

6. Проблема "рационального монстра". Старые нейросетки, которым в виртуальной популяции даётся задача снизить смертность виртуального населения, находят оптимальный способ снизить смертность: уничтожить всю популяцию в первом поколении. А чё, в этом сценарии меньше всего смертей. И эта философская задача не только о правильной постановке задачи, не только о смертях и популяциях, это может реализовываться в виде решения экономических, социальных проблем, и человеку весьма свойственна, когда он становится условным рациональным агентом. Взять те же крупные компании со штатом высококлассных юристов, которые могут творить любую дичь ради прибыли, защищаясь юридическими уловками и связями, нанося ущерб всем. Тот же рациональный интерес человека, помноженный на силу ИИ, может стать куда более разрушительным для мира. Есть цифры в KPI, и они достигаются, какая разница, что происходит с миром вокруг, если KPI достигается лучше всего с ИИ?

7. Уязвимости ИИ. Любую систему можно взломать. Автомобили, летающий транспорт, робот-хирург, который убивает нужного пациента по команде, да так, чтобы это не выглядело как убийство.

8. Более эффективное нахождение и эксплуатация уязвимостей человеческих. С ИИ это побыстрее пойдёт.