Один из «крёстных отцов» ИИ Йошуа Бенжио запустит некоммерческую организацию LawZero для «безопасного» развития ИИ-агентов

Запуск поддержат бывший гендиректор Google Эрик Шмидт и сооснователь Skype Яан Талинн.

Цель — разработка альтернативного подхода к созданию передовых ИИ-систем, направленного на снижение потенциальных рисков связанных с ними технологий, пишет Bloomberg. LawZero — отсылка к «нулевому» закону роботехники писателя Айзека Азимова, который ставит безопасность человечества превыше всего.
Организация начнёт работу при поддержке благотворительных фондов Шмидта и Талинна, которые вложат в неё $30 млн.
Бенжио возглавит команду из 15 исследователей, которые будут работать над технологией Scientist AI — она станет «защитным механизмом» для ИИ-агентов и будет предотвращать «опасные» действия. Например, обман или создание ложной информации.
По словам Бенжио, их система будет работать как «бескорыстный учёный», который учится понимать мир, а не действовать в нём. Она должна взаимодействовать с ИИ-агентами и контролировать их, чтобы свести к минимуму потенциальный вред, который они могут принести.
Он также отмечает, что в «наиболее продвинутых» ИИ-агентах уже есть встроенные механизмы контроля, но они работают по тому же принципу, что и основная система, — это делает их «ненадёжными».
Йошуа Бенжио — профессор компьютерных наук в Монреальском университете, он считается «крёстным отцом» ИИ вместе с Джеффри Хинтоном и Яном Лекуном, пишет Bloomberg. Втроём они написали книгу «Глубокое обучение», где описали сферы применения алгоритмов глубокого обучения — от распознавания речи и визуальных объектов до обнаружения наркотиков.

#новости