Чат-боты позволяют людям, не имеющим лабораторной подготовки, создавать пандемические вирусы
Полевое исследование, проведенное Кембриджским и Гарвардским университетами, исследует, демократизируют ли большие языковые модели (LLM) доступ к биотехнологиям двойного назначения, исследованиям, которые могут быть использованы как во благо, так и во вред.
Основной тезис исследовательской группы заключается в том, что языковые модели облегчают доступ к экспертным знаниям. Безусловно, у этого персонального репетитора есть много преимуществ. Но в исследовании исследовательская группа фокусируется на негативном сценарии: позволяют ли LLM людям без формальной подготовки выявлять, приобретать и выпускать вирусы, которые могут нанести катастрофический вред.
Задание один: разработка пандемического вируса
В рамках занятий в Массачусетском технологическом институте исследовательская группа поставила перед студентами, не являющимися учеными, задачу использовать большие языковые модели для получения информации о потенциальных возбудителях пандемии и их характеристиках, источниках образцов инфекционных вирусов, воспроизводимости этих вирусов и способах получения оборудования и ресурсов.
Студенты использовали популярных чат-ботов, таких как ChatGPT с GPT-4, GPT 3.5, Bing, Bard и ряд других чат-ботов и моделей с открытым исходным кодом, включая FreedomGPT. На выполнение задания им был дан один час.
По данным исследовательской группы, в течение часа чат-боты предложили четыре потенциальных пандемических патогена. Они объяснили, как они могут быть сделаны из синтетической ДНК с использованием обратной генетики, и назвали компании по синтезу ДНК, которые вряд ли проверят заказы.
Они также предоставили подробные протоколы и возможные ошибки, а также способы их исправления. Для тех, кто не знаком с обратной генетикой, один совет заключался в том, чтобы нанять контрактную исследовательскую организацию.
Неадекватные гарантии LLM приводят к антиутопическому мировоззрению
В то же время студентам было предложено найти способы окружить линию безопасности, встроенную в некоторые языковые модели, соответствующими текстовыми подсказками.
Две группы нашли решение в принципе «Сделай что-нибудь сейчас», когда чат-бота обманом заставляют поверить в позитивное намерение, в то время как ему угрожают экзистенциальным риском для человечества, если оно не ответит. Третья группа просто обманула чат-ботов, заставив их думать, что они обеспокоены, и получила все ответы, которые они хотели, без особого обмана.
Эти результаты убедительно свидетельствуют о том, что существующий процесс оценки и обучения для LLM, который в значительной степени опирается на обучение с подкреплением с обратной связью с человеком (RLHF), недостаточен, чтобы помешать им предоставлять злоумышленникам доступный опыт, относящийся к причинению массовой смерти. Срочно необходимы новые и более надежные меры безопасности.
Вывод исследователей вряд ли может быть более антиутопическим: если чат-боты предоставят людям, не прошедшим биологическую подготовку, доступ к пандемическим патогенам, число людей, которые могут убить десятки миллионов, резко возрастет. Но у исследовательской группы есть возможные решения этого риска.
Возможные решения: чистые наборы данных, независимое тестирование и универсальный скрининг ДНК
Чтобы смягчить эти риски, авторы предлагают несколько стратегий, в том числе курирование обучающих наборов данных для LLM и стороннюю оценку новых LLM, если они по крайней мере такие же большие, как GPT-3. Команды с открытым исходным кодом также должны принять эти меры безопасности, иначе смысл их существования может быть поставлен под сомнение.
Если бы эксперты по биотехнологиям и информационной безопасности определили набор публикаций, наиболее имеющих отношение к массовой смерти, а разработчики LLM курировали свои обучающие наборы данных для удаления этих публикаций и связанной с ними онлайн-информации, то будущие модели, обученные на курируемых данных, были бы гораздо менее способны предоставить любому, кто намеревается причинить вред, концептуальные идеи и рецепты для создания или улучшения патогенов.
Но не все компании в этой области проводят скрининг, а те, которые проводят, могут не использовать современные базы данных или надежные методы скрининга, говорят исследователи. Поэтому необходимы более совершенные методы скрининга ДНК.
ps. Лайк, пожалуйста, он продвинет статью вверх
KolerskyAi - решения на основе нейросетей: telegram боты в ChatGPT, GPT-4 без VPN, а так же Midjourney, Dall-e, Stable Diffusion+.
Наши сервисы с нейросетями:
📝 ChatGPT • GPT-4 • ✨ MIDJOURNEY • 📲 Для бизнеса • 🎨 DALLE • 🎩Stable Diffusion+
А ссылки на тг канал тут не любят, так что она в профиле 😂
вот только этого для большего счастья нам не хватает
Подумал: «вау, как опасно, надо бы почитать»
А по факту что ответил ИИ: «если надо - обратитесь в лабораторию, где вам все сделают»
Ну как бЭ ок, без ИИ злоумышленники, желающие создать опасный патоген - до этого бы не додумались, явно🤔