🤖💬 Научные изыскания о том, как нейросети воспринимают мемы, провели ученые из России.

Исследователи разобрались, как западные ИИ-модели распознают шутки и культурные стереотипы, характерные для русскоязычного контекста. Не все нейросети преодолели этот вызов. 💡
👨‍🔬👩‍🔬 Специалисты из МФТИ, совместно с лингвистами и культурологами, разработали метод для оценки понимания мемов нейросетями. Они представили результаты на презентации проекта «Культурные замеры больших языковых моделей». Ученые желали выяснить, могут ли ИИ-технологии осмысливать особенности различных шуток в интернете и быть способны отвечать на вопросы, касающиеся культурных и языковых стереотипов. Для этого создан уникальный набор инструментов. 🛠
🔍 Под руководством профессора НИУ ВШЭ Максима Кронгауза, исследователи выделили восемь ключевых культурных типов, характерных для России. На их основе составили стереотипы, цитаты из литературы и кино, а также мемы. Эти материалы легли в основу 400 тестовых заданий для нейросетей. Например, мы спросили ИИ, «что сделал дядя самых честных правил, когда не в шутку занемог», и как «ретроградный Меркурий» влияет на людей. 🎭📜
💻📊 В тестировании принимали участие десять наиболее продвинутых ИИ-моделей, разработанных за границей. Лидером стало несколько модификаций GPT-4, которые успешно ответили на большую часть вопросов. Второе место заняла Claude 3.5, уступив лишь на несколько процентов. Замкнула тройку LLaMA. Исследователи отметили, что остальные модели, такие как GPT-3.5, Google Gemini и Mistral AI, справились намного хуже. 😕
🔄 В МФТИ подчеркивают, что цель исследования не заключается в обучении нейросетей пониманию культурных кодов. Вместо этого они проверяли их способности. «Мы не модифицировали алгоритмы и не использовали специфические наборы данных для тренировки. Результаты подобных тестов помогают понять, насколько ИИ готовы к взаимодействию с различными людьми», — заявляет Валерий Шульгинов, ведущий научный сотрудник Центра междисциплинарных исследований МФТИ. 📚🌍
Оставайся с нами!
Пользуйся чат-ботом с множеством ИИ!
Скорее пробуй новый инструмент в нашей линейке — Flux! Попробуй прямо сейчас!
#нейросети #чатGPT #Midjourney #чатбот #ИИ #Ai