Сэм Альтман назвал два сценария, в которых ИИ может закончиться очень плохо

Глава OpenAI считает главными угрозами потерю контроля над искусственным интеллектом и концентрацию технологии в руках одного человека, компании или государства. Поэтому он призывает замедлять развитие передовых моделей, когда средства безопасности за ними не успевают.

«Мы безоговорочно на стороне человечества», написал Сэм Альтман в X. По его словам, ИИ должен всегда служить людям, а не решать за них, каким будет будущее.

Первый опасный сценарий очевиден: человечество создаёт систему, которую больше не способно контролировать. Возможности моделей растут быстрее, чем инструменты наблюдения, ограничения и выравнивания их поведения.

Второй риск выглядит менее фантастически и, возможно, даже опаснее прямо сейчас. Если сверхмощный ИИ окажется под контролем одного человека, корпорации или государства, его можно будет использовать для навязывания собственных взглядов всему миру. Получится не восстание машин, а вполне человеческая антиутопия, просто с невероятно эффективным инструментом управления.

Альтман поддержал единые федеральные требования к безопасности передовых моделей и идею независимых аудиторов. OpenAI, по его словам, уже готовит специальные обоснования безопасности перед крупными этапами обучения, которые могут заметно усилить возможности моделей.

При этом речь не идёт о полной остановке разработок. Альтман отдельно уточнил: замедлять не значит останавливать. Компании продолжат двигаться вперёд, но проверки, мониторинг и безопасность должны получать время на то, чтобы догнать возможности ИИ.

Заявление появилось на фоне аналогичного призыва главы Anthropic Дарио Амодея. Оба руководителя считают, что гонка передовых лабораторий становится слишком быстрой и требует общих правил. OpenAI ранее уже приостанавливала часть обучения моделей, чтобы усилить защиту и мониторинг.

Конечно, призыв немного притормозить от людей, которые сами нажимают на газ, звучит неоднозначно. Но если даже участники этой гонки начинают вслух обсуждать тормозной путь, возможно, скорость действительно стала серьёзной.