Чат-боты позволяют людям, не имеющим лабораторной подготовки, создавать пандемические вирусы

Чат-боты позволяют людям, не имеющим лабораторной подготовки, создавать пандемические вирусы

Полевое исследование, проведенное Кембриджским и Гарвардским университетами, исследует, демократизируют ли большие языковые модели (LLM) доступ к биотехнологиям двойного назначения, исследованиям, которые могут быть использованы как во благо, так и во вред.

Основной тезис исследовательской группы заключается в том, что языковые модели облегчают доступ к экспертным знаниям. Безусловно, у этого персонального репетитора есть много преимуществ. Но в исследовании исследовательская группа фокусируется на негативном сценарии: позволяют ли LLM людям без формальной подготовки выявлять, приобретать и выпускать вирусы, которые могут нанести катастрофический вред.

Задание один: разработка пандемического вируса

В рамках занятий в Массачусетском технологическом институте исследовательская группа поставила перед студентами, не являющимися учеными, задачу использовать большие языковые модели для получения информации о потенциальных возбудителях пандемии и их характеристиках, источниках образцов инфекционных вирусов, воспроизводимости этих вирусов и способах получения оборудования и ресурсов.

Студенты использовали популярных чат-ботов, таких как ChatGPT с GPT-4, GPT 3.5, Bing, Bard и ряд других чат-ботов и моделей с открытым исходным кодом, включая FreedomGPT. На выполнение задания им был дан один час.

По данным исследовательской группы, в течение часа чат-боты предложили четыре потенциальных пандемических патогена. Они объяснили, как они могут быть сделаны из синтетической ДНК с использованием обратной генетики, и назвали компании по синтезу ДНК, которые вряд ли проверят заказы.

Они также предоставили подробные протоколы и возможные ошибки, а также способы их исправления. Для тех, кто не знаком с обратной генетикой, один совет заключался в том, чтобы нанять контрактную исследовательскую организацию.

Неадекватные гарантии LLM приводят к антиутопическому мировоззрению

В то же время студентам было предложено найти способы окружить линию безопасности, встроенную в некоторые языковые модели, соответствующими текстовыми подсказками.

Две группы нашли решение в принципе «Сделай что-нибудь сейчас», когда чат-бота обманом заставляют поверить в позитивное намерение, в то время как ему угрожают экзистенциальным риском для человечества, если оно не ответит. Третья группа просто обманула чат-ботов, заставив их думать, что они обеспокоены, и получила все ответы, которые они хотели, без особого обмана.

Эти результаты убедительно свидетельствуют о том, что существующий процесс оценки и обучения для LLM, который в значительной степени опирается на обучение с подкреплением с обратной связью с человеком (RLHF), недостаточен, чтобы помешать им предоставлять злоумышленникам доступный опыт, относящийся к причинению массовой смерти. Срочно необходимы новые и более надежные меры безопасности.

Вывод исследователей вряд ли может быть более антиутопическим: если чат-боты предоставят людям, не прошедшим биологическую подготовку, доступ к пандемическим патогенам, число людей, которые могут убить десятки миллионов, резко возрастет. Но у исследовательской группы есть возможные решения этого риска.

Возможные решения: чистые наборы данных, независимое тестирование и универсальный скрининг ДНК

Чтобы смягчить эти риски, авторы предлагают несколько стратегий, в том числе курирование обучающих наборов данных для LLM и стороннюю оценку новых LLM, если они по крайней мере такие же большие, как GPT-3. Команды с открытым исходным кодом также должны принять эти меры безопасности, иначе смысл их существования может быть поставлен под сомнение.

Если бы эксперты по биотехнологиям и информационной безопасности определили набор публикаций, наиболее имеющих отношение к массовой смерти, а разработчики LLM курировали свои обучающие наборы данных для удаления этих публикаций и связанной с ними онлайн-информации, то будущие модели, обученные на курируемых данных, были бы гораздо менее способны предоставить любому, кто намеревается причинить вред, концептуальные идеи и рецепты для создания или улучшения патогенов.

Но не все компании в этой области проводят скрининг, а те, которые проводят, могут не использовать современные базы данных или надежные методы скрининга, говорят исследователи. Поэтому необходимы более совершенные методы скрининга ДНК.

ps. Лайк, пожалуйста, он продвинет статью вверх

KolerskyAi - решения на основе нейросетей: telegram боты в ChatGPT, GPT-4 без VPN, а так же Midjourney, Dall-e, Stable Diffusion+.

Наши сервисы с нейросетями:

А ссылки на тг канал тут не любят, так что она в профиле 😂

66
2 комментария

вот только этого для большего счастья нам не хватает

Подумал: «вау, как опасно, надо бы почитать»

А по факту что ответил ИИ: «если надо - обратитесь в лабораторию, где вам все сделают»

Ну как бЭ ок, без ИИ злоумышленники, желающие создать опасный патоген - до этого бы не додумались, явно🤔

Xiaomi открыла продажи спортивного электромобиля SU7 Ultra

Пока в Китае, по цене от 529,9 тысячи юаней (около 6,2 млн рублей).

Источник здесь и далее: Xiaomi, Carnewschina
1010
77
22
11
реклама
разместить
Стартап Mark Engineering представил книжную ИИ-закладку за $129 — но пользователи не поняли, как она работает и какую проблему решает

Заодно пошутили, что устройству уготовано место рядом с «умной» брошью от Humane.

1010
66
22
11
Реестр контролируемых лиц: что это и как теперь жить бизнесу?
Реестр контролируемых лиц: что это и как теперь жить бизнесу?
2626
22
«Абсолютно неинтересно, какие там придумывают санкции»: Герман Греф — о дивидендах «Сбера», санкциях и благодарности Apple за уход из России

Выжимка заявлений главы банка со звонка с аналитиками и инвесторами.

Источник: ТАСС
3737
1818
55
Отсутствие на рынке РФ качественных банковских сервисов - конечно же благо для Грефа, кто бы спорил
Анализ договора за 10 секунд с помощью AI

________________
Время настройки бота: 1 минута
Время анализа договора: 10 секунд
________________
▪ — Прописываем инструкцию (промт)
▪ — Тестируем
▪ — Используем

Анализ договора за 10 секунд с помощью AI
1919
1212
33
22
11
Волонтёрство в Анапе
Волонтёрство в Анапе
[]