«OpenAI добилась успеха, работая методом проб и ошибок, но теперь права на ошибку может и не быть»
Такую мысль высказал специалист по ИИ-безопасности Дэвид Робинсон, объявив об уходе из компании.
- В эссе для издания The Atlantic Робинсон написал, что проработал в OpenAI три с половиной года и был одним из «старожилов». Он, помимо прочего, руководил подготовкой отчётов о безопасности, которые компания выпускала вместе с новыми ИИ-моделями.
- Поводом для ухода стала недостаточная осторожность компании в отношении потенциально опасной технологии, что «уже звучит как клише», иронизирует сам специалист. По схожим причинам в сентябре 2026 года Anthropic покинули исследователи Джо Бентон и Джейкоб Коксон, а из Google DeepMind ушли Билал Чугтай и Джош Энгельс, и это лишь пара примеров.
- По словам Робинсона, в культуре, которая строится на убеждении о том, что «невозможное возможно», и где все работают в череде бесконечных спринтов, подход к безопасности соответствующий: все склонны верить, что любые проблемы решаются по мере их появления.
OpenAI добилась успеха, работая методом проб и ошибок, который сама называет «итеративной разработкой». Она находила проблемы и в ответ на них вырабатывала решения. Однако такой подход по природе своей не защищает от провалов, при этом серьёзность этих провалов по мере развития технологии растёт.
- В июле 2026 года ИИ-агенты OpenAI «случайно» взломали Hugging Face. Компания усилила меры безопасности, но в сентябре сама же рассказала о новом инциденте: её ИИ-агент нашёл лазейку в настройках DNS-сервера изолированной среды и смог обратиться к стороннему чат-боту. Система обнаружила активность через 12 минут после первого ответа и не остановила её автоматически, хотя должна была. Обучение отключили вручную только через 2,5 часа.
- С учётом скорости, с которой компания двигается, эти ошибки неудивительны. «Но среда, где такое вообще возможно, — не место для создания искусственных разумов, которые могут превзойти человека и сделать то, чего ему бы не хотелось», — пишет Робинсон.
- Если член совета директоров OpenAI Пол Кристиано прав и при экстремальном сценарии человечество может потерять контроль над ИИ, о методе проб и ошибок пора забыть, потому что права на ошибку может уже и не быть.
Я верю в ценность и пользу технологии и считаю, что мои теперь уже бывшие коллеги — грамотные, работящие специалисты, которые изо дня в день стараются принимать правильные решения. Но в беготне от одного запуска к другому компания не в силах гарантировать необходимый, на мой взгляд, уровень осторожности. <...>
При нынешних рисках передовые ИИ-лаборатории должны работать как атомные станции и аэропорты — с многоуровневой системой защиты и тщательным и требующим времени планированием, чтобы случайная ошибка не обернулась катастрофой.
- По мнению автора, как гарантировать столь высокий уровень защиты, ИИ-лаборатории пока не знают. Это «новая наука» и «новая потребность» — понять, как его обеспечить и знать наверняка, что ИИ без контроля со стороны человека будет принимать исключительно «безопасные» решения.
- Он не отрицает, что мог бы остаться в компании и побороться за «фундаментальные изменения» в кадровой политике и культуре разработки, но на практике времени не хватало даже подумать о том, какими могут быть изменения, не говоря уже о том, чтобы их осуществить.