Главы техкомпаний, инженеры и исследователи попросили приостановить «масштабные ИИ-эксперименты» — они угрожают обществу Статьи редакции
Среди подписавшихся — сооснователи Apple, Skype и Pinterest, гендиректор SpaceX и Tesla, а также сотрудники Microsoft и Google.
- Более 1100 исследователей, инженеров и предпринимателей подписали открытое письмо ИИ-лабораториям — с просьбой «срочно и как минимум на полгода приостановить обучение ИИ-систем, более производительных, чем GPT-4». Если это невозможно, вмешаться должно правительство — например, ввести мораторий на эксперименты.
- Продукты с искусственным интеллектом, «сопоставимым с человеческим, могут представлять серьёзную угрозу обществу и человечеству», пишут авторы письма. При работе с ними разработчики должны быть крайне внимательными, но «этого не происходит», так как последние несколько месяцев они пытаются обогнать друг друга и выпустить «более мощные модели, действия которых сами не могут до конца понять, предсказать и проконтролировать».
- В письме авторы отмечают, что разработкой продуктов, которые могут заменить людей или породить больше новостной пропаганды, должны заниматься «избираемые» технологические лидеры. Сами системы при этом стоит создавать тогда, когда все уверены, что те принесут пользу, а рисками можно будет управлять. Пока силы следует направить на доработку уже существующих продуктов — чтобы сделать их точнее, безопаснее и прозрачнее.
- Это не значит, что нужно полностью остановить развитие технологии, пишут авторы: надо лишь «выйти из опасной гонки». Они предлагают в течение полугода объединить усилия и разработать единые для рынка правила безопасности, а также способы контроля экспериментов. По их словам, нужно также подключить правительства, чтобы те сформировали ведомства, которые будут сертифицировать продукты, смогут отличать реальный контент от «синтетического» и следить за утечками ИИ-моделей.
- На момент публикации среди подписавшихся числятся директор SpaceX, Tesla и Twitter Илон Маск и сооснователи Apple, Skype, Pinterest, Ripple — то есть Стив Возняк, Яан Таллинн, Эван Шарп и Крис Ларсен. Есть и главы фирм-разработчиков ИИ-продуктов — из Stability AI (Stable Diffusion), Scale AI, ThirdAI, Character.ai, Unanimous AI и других.
- Письмо также поддержали инженеры и исследователи Google и Microsoft и учёные и профессора из многочисленных университетов — Йельского, Оксфордского, Гарвардского, Кембриджского, Стэнфордского, Массачусетского технологического и других.
Добавлено в 16:32.
Профессор Нью-Йоркского университета и исследователь Meta* Ян ЛеКан сообщил в Twitter в ответ на удалённую публикацию, что не подписывал письмо и не согласен с его основным посылом (на момент обновления заметки его имя отсутствует в списке, а автора удалённого твита узнать невозможно — vc.ru). В комментариях к его заявлению пользователи предположили, что подписи могли быть сгенерированы ИИ, а также допустили, что, возможно, его имени там изначально и не было, а его внимание привлекли только ради «дополнительных кликов».
*Meta признана в России экстремистской организацией и запрещена.
28K
показов
32K
открытий
8
репостов
похоже на страх отстать и проиграть более расторопным и небольшим командам
Боятся, что когда джин вырвется из бутылки его уже невозможно будет остановить.
https://cdn.openai.com/papers/gpt-4.pdf
Summury:
Этот документ в формате PDF обсуждает разработку, возможности, ограничения и проблемы безопасности языковой модели GPT-4. Основная цель разработки таких моделей - улучшение их способности понимать и генерировать текст естественного языка, особенно в сложных и тонких сценариях.
Возможности и ограничения GPT-4 создают значительные проблемы безопасности, и в документе подчеркивается важность изучения этих проблем из-за их потенциального влияния на общество. Авторы обязуются проводить независимую аудиторскую проверку своих технологий и планируют предоставить дополнительные технические детали третьим сторонам для получения советов по балансированию конкурентных и безопасностных соображений.
Подход к безопасности состоит из двух основных компонентов: безопасных обучающих промптов RLHF и моделей вознаграждения на основе правил (RBRM). Эти и другие улучшения значительно улучшили многие безопасностные свойства GPT-4. Однако все еще необходимы техники безопасности на этапе развертывания, такие как мониторинг злоупотреблений и быстрое итеративное улучшение модели.
Документ также подчеркивает проблемы безопасности, связанные с ограничениями модели (например, производство убедительного, но тонко ложного текста) и возможностями (например, увеличенная способность предоставлять незаконные советы и рискованные всплывающие поведения). Чтобы понять эти риски, было задействовано более 50 экспертов для получения более надежного понимания модели GPT-4 и потенциальных рисков развертывания.
Авторы рекомендуют, чтобы разработчики, использующие их инструменты, предоставляли конечным пользователям подробную документацию о возможностях и ограничениях своих систем, а также руководство по тому, как получить наилучшую производительность от системы. Они также подчеркивают необходимость множественных уровней защиты, включая изменения самой модели, надзор и мониторинг использования модели и дизайн продукта для безопасного использования.
В заключение, документ подчеркивает важность решения проблем безопасности при разработке и развертывании мощных языковых моделей, таких как GPT-4. Авторы выражают благодарность Microsoft за партнерство в поддержке обучения модели и безопасного развертывания.
Слово "безопасность" используется чаще всего.
Вот мое мнение. Экспертиза контроля развития ИИ может появиться только у тех кто его разрабатывает. Никакой государственный орган не сможет её сформировать и конечно же не смогут мифические избранные эксперты. Сам подход в этом письме противоречит развитию науки. Государство может посмотреть кто и как контролирует вопросы безопасности из разработчиков и взять за основу лучшие практики, а потом подкрепить самые опасные участки законодательно.
На западе море общественных организаций и фондов занимающихся безопасностью использования ИИ. Им предоставляют допуск к разработкам и они занимаются аудитами на безопасность. Это уже сейчас есть. Может вечером найду статью с таким аудитом.