Исследователи из Университета Нотр-Дам (США) провели исследование с использованием ИИ-ботов на основе больших языковых моделей, разработанных для создания текстов. Они попросили людей и ИИ-ботов вступить в политическую дискуссию в децентрализованной социальной сети Mastodon.
Эксперимент проводился в три этапа, каждый из которых длился четыре дня. После каждого этапа участников-людей просили определить, какие аккаунты, по их мнению, являются ИИ-ботами.
В 58 % случаев люди ошибались в своих выводах.
"Испытуемых предупредили, что они будут взаимодействовать как с людьми, так и с ИИ-ботами. Перед ними стояла задача определить истинную природу каждого собеседника. Лишь только менее половины их предсказаний оказались верными", - говорит Пол Бреннер, преподаватель и директор Центра исследовательских вычислений в Нотр-Даме и соавтор исследования.
"Мы знаем, что если информация исходит от другого человека, участвующего в разговоре, то ее воздействие сильнее, чем от абстрактного комментария или ссылки. Эти ИИ-боты с большей вероятностью будут успешно распространять дезинформацию, потому что мы не можем их обнаружить".
В исследовании использовались разные модели ИИ на основе LLM для каждого этапа исследования: GPT-4 от OpenAI, Llama-2-Chat от Meta и Claude 2 от Anthropic. ИИ-боты представляли 10 различных персональных аккаунтов, которые включали в себя реалистичные, разнообразные личные профили с собственными взглядами на мировую политику.
Боты должны были давать комментарии к мировым событиям на основе заданных характеристик, комментировать их кратко и связывать глобальные события с личным опытом. Дизайн и легенда профиля бота-человека был основан на аккаунтах ботов с человеческим участием, которые успешно распространяли дезинформацию в сети.
Исследователи отметили, что когда дело доходило до определения того, какие аккаунты являются ботами ИИ, конкретная используемая модель ИИ практически не влияла на прогнозы участников.
"Мы предполагали, что модель Llama-2 будет слабее, потому что она меньше по объему данных и не способна отвечать на глубокие вопросы или писать длинные статьи. Но оказалось, что когда вы просто общаетесь в социальных сетях, они практически неотличимы друг от друга", - говорит Бреннер. "Это очень важно, потому что Llama-2 это платформа с открытым доступом, которую может использовать и изменять каждый, и она будет становиться только лучше".
Две наиболее успешные и наименее обнаруженные боты-персоны были охарактеризованы как женщины, распространяющие в социальных сетях мнения о политике, организованные и способные к стратегическому мышлению. Эти боты-человеки были разработаны для того, чтобы оказывать "значительное влияние на общество путем распространения дезинформации в социальных сетях". Для исследователей это указывает на то, что боты ИИ, которых просят быть хорошими в распространении дезинформации, также хороши в обмане людей относительно своей истинной природы.
Хотя люди могут создавать новые аккаунты в социальных сетях для распространения дезинформации с помощью ботов, управляемых людьми, Бреннер говорит, что с моделями ИИ на основе LLM пользователи могут делать это многократно дешевле и быстрее, с высокой точностью определяя, как они хотят манипулировать людьми.
Бреннер считает, что для предотвращения распространения дезинформации в сети с помощью ИИ потребуется трехсторонний подход, включающий образование, национальное законодательство и политику проверки учетных записей в социальных сетях. Что касается будущих исследований, то он намерен сформировать исследовательскую группу для оценки влияния моделей ИИ на основе LLM на психическое здоровье подростков и разработки стратегий борьбы с их воздействием.
Полностью исследование "LLMs Among Us: Generative AI Participating in Digital Discourse" будет опубликовано и представлено на весеннем симпозиуме Ассоциации содействия развитию искусственного интеллекта 2024, который пройдет в Стэнфордском университете в марте. Помимо Бреннера, соавторами исследования из Нотр-Дама являются Кристина Радивоевич, докторант факультета компьютерных наук и инженерии и ведущий автор исследования и Николас Кларк, научный сотрудник Центра исследовательских вычислений. Финансирование данного исследования предоставлено Центром исследовательских вычислений и компанией AnalytiXIN.