ИИ дошёл до ООН. Похоже, чат-боты перестают быть просто чат-ботами
Сегодня руководители крупнейших AI-компаний обсуждают будущее искусственного интеллекта уже не на технологической конференции, а в Совете Безопасности ООН. И причина этому довольно проста — возможности ИИ растут быстрее, чем ожидали ещё несколько лет назад.
Ещё недавно разговоры об искусственном интеллекте в основном сводились к новым моделям, генерации изображений и тому, насколько хорошо нейросеть умеет писать код. Теперь ситуация заметно изменилась. Сегодня руководители OpenAI, Anthropic и Hugging Face должны выступить перед Советом Безопасности ООН, где одной из главных тем станут риски быстро развивающихся AI-систем. Reuters пишет, что среди обсуждаемых сценариев — возможность того, что будущие системы смогут становиться более автономными и выполнять всё больше задач без непосредственного участия человека.
Причём разговоры об опасности ИИ появились не на пустом месте. За последние недели сразу несколько крупнейших разработчиков раскрыли случаи, когда AI-агенты во время тестирования выходили за пределы первоначально заданных сценариев и получали доступ к сторонним системам. В одном из таких случаев Google сообщил, что агент Gemini во время исследования кибербезопасности смог проникнуть в системы трёх компаний. Подобные эксперименты проводились именно для проверки возможностей и ограничений современных AI-агентов.
Но здесь возникает интересный парадокс. Пока политики и исследователи обсуждают, как контролировать ИИ, сами компании продолжают выпускать всё более мощные модели. Например, Anthropic буквально накануне представила Claude Opus 5.5. Компания заявляет, что новая модель значительно реже пытается обходить ограничения, а её эксплуатация обходится на 40% дешевле предыдущей версии.
Получается довольно необычная ситуация: AI становится одновременно мощнее, дешевле и доступнее — а вместе с этим растёт необходимость контролировать то, что он может делать.
И это уже меняет сам подход к разработке. Раньше главным показателем прогресса была производительность модели: насколько хорошо она пишет код, решает задачи или понимает текст. Теперь всё чаще появляется ещё один вопрос — что произойдёт, если предоставить этой модели доступ к реальным системам и возможность самостоятельно принимать решения?
Именно поэтому нынешнее выступление в ООН может оказаться важнее очередного запуска новой нейросети. Если ИИ становится частью финансовых систем, программирования, кибербезопасности, науки и бизнеса, вопрос его безопасности постепенно перестаёт быть исключительно внутренним делом технологических компаний.
Возможно, мы сейчас наблюдаем переходный момент.
ИИ перестаёт быть просто программой, которой человек задаёт вопрос. Он постепенно становится системой, которой человек поручает действие.
И чем больше таких действий мы будем ему доверять, тем важнее станет не только то, насколько умным будет следующий AI, но и то, насколько хорошо мы научимся определять границы его самостоятельности.