Исследователи предупредили о критических рисках потери контроля над ИИ. Ещё не Скайнет, но...

ИИ используется нами в быту, в бизнесе и даже в государственных структурах, хотя он всё ещё далёк от совершенства. И это, возможно, не так плохо. Что будет, если такие системы начнут работать не так, как задумано? Что нам угрожает, если ИИ «взбунтуется»?

Исследователи Google DeepMind выпустили свежую версию Frontier Safety Framework — документа, который описывает основные угрозы и меры предосторожности при использовании ИИ.

В основе системы безопасности DeepMind лежит понятие «критических уровней возможностей». Это набор критериев, по которым оценивают, когда поведение модели может представлять опасность, например, в сфере кибербезопасности или биотехнологий.

Утечка весовых коэффициентов моделей. Если злоумышленники получат доступ к весам, они смогут обойти механизмы защиты и использовать ИИ для создания вредоносного ПО или содействия разработке биологического оружия.

Риск манипуляции людьми. ИИ способен систематически влиять на убеждения пользователей, а люди быстро привыкают к чат-ботам. Пока исследователи считают эту угрозу относительно низкой и полагаются на социальные механизмы защиты, но полностью исключать её последствия нельзя.

Ускорение разработки более мощных систем. В руках неподготовленных специалистов это приведет к появлению моделей, с которыми общество не сможет справиться.

«Несогласованный ИИ». Это ситуация, когда система игнорирует инструкции, выдаёт ложные ответы или отказывается остановиться по требованию пользователя. Такие сбои отличаются от привычных «галлюцинаций» и требуют других методов контроля.

💬 И это ещё далеко не всё, а со временем сами угрозы и их последствия могут шириться и мутировать. В общем, сохраняйте критичность мышления и не забывайте: ИИ — это полезный инструмент, а не друг.

#нейрочеловек #нейроновости #нейродумы

Подписывайтесь на Telegram Нейрочеловек.