Калифорнийский закон об ИИ вызывает панику у Биг Теха
Kelsey Piper, колумнист vox, пытается разобраться, почему калифорнийский законопроект SB 1047, предлагающий регулировать риски ИИ, вызывает такие жаркие споры в техно отрасли. Закон обяжет компании, которые тратят более $100 млн на обучение «передовой модели» ИИ (к примеру, GPT-5), проводить тесты на безопасность инструмента. Компании-разработчики ИИ будут нести ответственность, если их ИИ система приведет к «массовым смертям» или ущербу в размере $500 млн в каждом инциденте или группе связанных инцидентов. Разумеется, этот закон коснется крупных корпораций, которые могут потратить такую сумму на обучение моделей. ИИ исследователи разделились на два лагеря: одни считают, что закон не нужен, так как ИИ полностью безопасен, а принятие такого закона приведет к исчезновению инноваций в Калифорнии. Другие считают, что ИИ действительно предоставляет угрозу, и такой закон необходимо принять. Kelsey Piper справедливо отмечает, что если противники закона уверенны в безопасности ИИ, то значит он никогда не будет применен, и тогда причем тут конец инновациям? Видимо, дело в идеологии: принятие закона будет означать признание того, что ИИ не так уж безобиден и безопасен, как считает, например, главный ИИ исследователь в Meta.
Если вы создаете машину, которая более опасна, чем другие машины, при этом не делаете ни одного теста по безопасности, и машина сойдет с конвейера, то вы будете нести ответственность и возместите возникший ущерб, а, возможно, даже понесете уголовную ответственность.
Если вы создаете поисковик (не такой как Гугл), который в ответ на запрос: «как я могу совершить массовое убийство» выдаст подробную инструкцию, как лучше всего убить много народу, и кто-то этой инструкций воспользуется, то вы не будете нести ответственность благодаря статье 230 в Законе об ответственных коммуникациях от 1996 года.
Возникает вопрос: похож ли ИИ ассистент на машину, и ожидаем ли мы, что его создатели проведут тесты по безопасности или будут нести ответственность, если будут убиты реальные люди? Или все же ИИ – это просто поисковик?
О чем говорит горячо обсуждаемый калифорнийский закон SB 1047?
Этот вопрос стоит на повестке дня и в центре дискуссий вокруг нового закона в Калифорнии SB 1047, который обяжет компании, которые тратят более $100 млн на обучение «передовой модели» ИИ (к примеру, GPT-5), проводить тесты на безопасность инструмента. Другими словами, компании будут нести ответственность, если их ИИ система приведет к «массовым смертям» или ущербу в размере $500 млн в каждом инциденте или группе связанных инцидентов.
Общая концепция Закона в том, чтобы разработчики ИИ несли ответственность за тот вред, что принесет технология, которую они создают. Этот подход стал очень популярен у американской общественности. Раннюю версию законопроекта – она была еще более жесткой – приняли в Сенате Калифорнии: 32 голоса -за, 1- против. Законопроект поддерживается Geoffrey Hinton и Yoshua Bengio, они- одни из самых цитируемых ИИ исследователей в мире.
Разрушит ли ИИ индустрию закон, обязывающий эту индустрию нести ответственность за создаваемую технологию?
Критика законопроекта со стороны техно отрасли нарастает.
Yann LeCun, главный ИИ исследователь в Meta в сети X: «Регулирование базовой технологии сведет на нет инновации». Yann LeCun запостил и другие комментарии, декларирующие, что «этот закон может разрушить фантастическую историю технологических инноваций Калифорнии». Сотрудник Meta размышляет: «Означает ли вынесение SB-1047 на голосование в Ассамблею Калифорнии конец калифорнийской техно индустрии?». Глава HuggingFace, опен сорс сообщество ИИ разработчиков, назвал законопроект «серьезным ударом по инновациям в Калифорнии и в США в целом».
Такие апокалиптические комментарии заставили колумниста vox Kelsey Piper задуматься, а идет ли речь про один и тот же законопроект?
Закон 1047 накладывает на техно компании необоснованное бремя, и это действительно крайне негативный сценарий. Законопроект будет применим к компаниям, которые тратят более $100 млн на обучение ИИ моделей, а значит, речь идет только о самых крупных техно гигантах. Возможно, регулирование сделает то, что мы видим в других отраслях: на соблюдение закона тратится огромное количество времени и ресурсов, что совсем не вдохновляет заниматься инновациями, а приходится фокусироваться на комплаенсе.
Kelsey Piper: требования к безопасности технологии в 1047 вряд ли слишком обременительны, но, с другой стороны, можно согласиться с половиной исследователей машинного обучения, которые считают, что могущественные ИИ системы могут стать слишком опасными. А если согласиться с другой половиной исследователей, которые игнорируют риск ИИ, то законопроект 1047 однозначное – ненужное обременение и голосовать нужно против него.
SB 1047: даже если создатель ИИ запретил алгоритму убивать людей, но другой человек, имея доступ к коду, перенастроил его и массовые смерти случились, то создатель несет полную ответственность за случившееся
Хотя нелепые заявления о законопроекте 1047 не имеют особо смысла, но есть ряд замечаний, над которыми следует задуматься. Если вы создаете супермогущественный ИИ и проверите, чтобы он не помогал в массовых убийствах, то потом вы все равно выпустите опен сорс код модели, который могут использовать другие люди, чтобы изменить ИИ и разрешить алгоритму помогать совершать массовые убийства. Законопроект 1047 сформулирован таким образом, что создатель ИИ модели в последнем случае все равно несет ответственность за ущерб от ИИ.
Такая формулировка действительно может демотивировать компании публиковать ИИ модели в общий доступ, когда они и правда могут стать причиной массовых убийств или когда создатели моделей понимают, что алгоритм может стать причиной массовых убийств.
Сообщество опен сорс волнуется, что крупные компании просто решат, что самое безопасное – это никогда не публиковать код алгоритма. Для мира это будет потеря, если мощные ИИ модели никогда не будут опубликованы.
Утверждения, что 1047 будет концом техно индустрии в Калифорнии, уже не актуальны. Многие посты, осуждающие этот законопроект, считают, что в рамках текущего законодательства в США мы не несем ответственности за создание опасного ИИ, которое может стать причиной массовых смертей. А это не так.
Текущее законодательство США: создание опасного продукта, которое может привести к массовой гибели людей, обязывает создателя создать разумные меры предосторожности. Если он это не сделал, то будет нести ответственность
Ketan Ramakrishnan, профессор права в Йельском университете: «Если вы не предпринимаете разумных мер предосторожности от угроз массовых смертей людей, например, если вы не установили разумные ограничения в вашем опасном продукте, то вы несете ответственность в полной мере за это».
Законопроект 1047 более четко формулирует, что такое разумные меры предосторожности, но не вводит новую форму ответственности. Даже если 1047 не примут, компании должны понимать, что их ждут иски, если их ИИ помощники станут причиной массовых смертей или убытков в миллионы долларов.
Вы верите, что ваша ИИ модель безопасна?
Критики законопроекта также заявляют, что их ИИ системы абсолютно безопасны и вообще нет причин для волнения, и что такие массовые пришествия с смертями произойти не могут.
Andrew Ng, основатель DeepLearning.AI и Landing AI: «Причина, по которой я не вижу смысла сегодня волноваться об угрозах от ИИ, та же, когда мы рассуждаем о том, что Марс ждет перенаселение». Yann LeCun: законопроект 1047 формулирует какие-то риски из разряда научно-популярной фантастики.
Если ИИ абсолютно безопасен, и 1047 никогда не будет применим, то почему же евангелисты ИИ заявляют, что он задушит инновации в Калифорнии?
Kelsey Piper: разумеется, никто не хочет, чтобы правительство Калифорнии тратило время на создание законов, применимых к рискам и угрозам сценариев из научной фантастики. Но если критики правы, и ИИ абсолютно безопасно, и массовых смертей произойти не может, то через 10 лет мы будем выглядеть глупо, так как приняли такой неактуальный закон. Это создаст дискомфорт для авторов закона, но никак не остановит инновации в Калифорнии.
Так чего же в действительности боятся противники законопроекта? Вероятно того, что законопроект станет лакмусовой бумажкой для ответа на вопрос: может ли ИИ стать опасным и, следовательно, подлежать регулированию.
SB 1047 не требует так уж много, но в его основе лежит фундаментальный подход, что ИИ системы являются потенциальными угрозами.
Мнения ИИ исследователей о подходе к рискам ИИ разделились
ИИ исследователи разделились на два лагеря: те, кто считают такой подход корректным, и тех, кто с этим не согласен. Многие из этих серьезных, обладающих репутацией людей считают, что такого никогда не произойдет. Но другие- такие же серьезные и влиятельные в ИИ области люди – считают, что такие шансы довольно велики.
Bengio, Hinton и LeCun, которых считают крестными отцами ИИ, являются теперь символом раскола. SB 1047 считает ИИ значительным риском. Неудивительно, что Yann LeCun, скептик этого вопроса, считает такой подход «ошибочным», а Bengio и Hinton, наоборот, ратуют за законопроект.
Удивительно, что по вопросу появления рисков от могущественного ИИ, так мало согласия среди профессионалов отрасли.
По мере появления достижений в ИИ, лидеры отрасли усиливают свои позиции, но не меняют мнение.
На карту поставлено многое: является ли могущественный ИИ опасным или нет. Чтобы политики и регулирования правильно реагировали, необходимы измерения того, что ИИ может делать, а также необходимо лучше понимать, на какие сценарии с причинением ущерба должно отвечать регулирование. Чем бы не закончилась история с SB 1047, ИИ исследователи будут и далее пытаться ответить на вопрос о рисках ИИ, а те, кто считает это закрытыми вопросами вызывают разочарование.
Ссылка на сатью:
Текст Законопроекта SB-1047: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047