OpenAI ищет специалиста по рискам рекурсивного самосовершенствования ИИ с зарплатой до 445 тыс. долларов в год
В компании OpenAI открыли вакансию исследователя по безопасности ИИ-систем, которые могут участвовать в собственном улучшении. Позиция называется Researcher, Recursive Self-Improvement Preparedness и относится к команде Preparedness («готовности»), которая занимается рисками передовых моделей. Зарплатная вилка — от 295 тыс. до 445 тыс. долларов в год.
В описании вакансии OpenAI пишет, что ищет технически сильного исследователя для подготовки к рекурсивному самосовершенствованию. Так называют сценарий, при котором ИИ-системы начинают помогать создавать более сильные ИИ-системы: автоматизировать работу исследователей и инженеров, писать код, находить уязвимости, улучшать инструменты разработки и ускорять следующий цикл обучения моделей. Компания не утверждает, что такой ИИ уже существует в полном виде; вакансия относится к рискам, которые могут появиться по мере роста возможностей моделей.
OpenAI отдельно указывает, что работа будет связана с задачами, которые «могут существовать в будущем, но не существовать сейчас». Поэтому от кандидата ждут не только технической силы, но и «хорошего исследовательского вкуса и стратегического мышления». То есть компания нанимает человека для рисков, которые еще трудно описать как обычный инженерный список требований.
В обязанности войдут защита от отравления данных, разработка инструментов интерпретируемости для анализа внутренних состояний модели, оценка безопасности и создание внутренних метрик, которые будут показывать, насколько ИИ автоматизирует труд технических специалистов. Команда Preparedness в целом занимается измерением возможностей передовых моделей, прогнозированием их развития и мерами против угроз, которые могут вырасти до уровня глобальной безопасности.
Контекстом для вакансии стали собственные цели OpenAI по автоматизации исследований. Сэм Альтман ранее говорил о планах компании получить ИИ-систему уровня автоматизированного исследовательского стажера к 2026 году и более самостоятельного ИИ-исследователя к 2028 году. В таком сценарии модель уже не просто отвечает на вопросы, а помогает ставить эксперименты, изучать научные статьи, писать код, проверять гипотезы и участвовать в разработке следующих моделей.
Самосовершенствующийся ИИ в этой вакансии выглядит не как фантастический сценарий, где модель внезапно переписывает саму себя. Более близкий риск описывают иначе: ИИ становится частью процесса, который создает следующий ИИ, ускоряет инженеров, помогает искать ошибки, писать код и проводить эксперименты. Поэтому OpenAI нанимает человека не для одной абстрактной угрозы, а для наблюдения за тем, как меняется сама скорость ИИ-разработки. Критики указывают на слабое место такого подхода: если пороги опасности устанавливает и проверяет сама лаборатория, они могут сработать слишком поздно. Вопрос будет не только в том, умеет ли OpenAI измерять самосовершенствование, но и в том, кто сможет проверить эти измерения вне компании.