Исследование: ChatGPT не может воспроизвести человеческие суждения о нарушениях правил

Исследователи сообщают, что модели, обученные с использованием обычных методов сбора данных, судят о нарушениях правил более строго, чем люди.

Стремясь повысить справедливость и сократить нарушения официальных и неофициальных правил, модели машинного обучения иногда разрабатываются так, чтобы имитировать принятие решений человеком. Например, решение о том, нарушают ли публикации в социальных сетях политику в отношении запрещенного контента.

Но исследователи из Массачусетского технологического института и других стран обнаружили, что эти модели часто не воспроизводят реальные человеческие суждения о нарушениях правил. Если модели не обучены с реальными запрещенными данными, они будут иметь более суровые суждения, чем люди.

Обучение включает демонстрацию для нейросети миллионов примеров этих «нормативных данных», чтобы она могла изучить выборку.

Но данные, используемые для обучения моделей машинного обучения, обычно маркируются описательно — это означает, что людей просят идентифицировать фактические особенности, такие как, скажем, наличие жареной пищи на фотографии. Если «описательные данные» используются для обучения моделей, которые оценивают нарушения правил, например, нарушает ли еда школьную политику, запрещающую жареную пищу, модели, как правило, завышают прогнозы нарушений правил.

Это падение точности может иметь серьезные последствия в реальном мире. Например, если описательная модель используется для принятия решений о том, может ли человек совершить повторное преступление, выводы исследователей показывают, что она может выносить более строгие суждения, чем человек, что может привести к более высоким суммам залога или более длительным уголовным приговорам.

Гассеми является основным автором статьи с подробным описанием этих результатов, которая была опубликована в журнале Science Advances.

Это исследование выросло из другого проекта, в котором изучалось, как модель машинного обучения может оправдывать свои прогнозы. Собирая данные для этого исследования, исследователи заметили, что люди иногда дают разные ответы, если их просят предоставить описательные или нормативные ярлыки для одних и тех же данных.

Чтобы собрать описательные ярлыки, исследователи просят тех, кто навешивает ярлыки, определить фактические особенности — содержит ли этот текст нецензурную лексику? Чтобы собрать нормативные метки, исследователи дают маркировщикам правило и спрашивают, нарушают ли данные это правило — нарушает ли этот текст реальную языковую политику платформы?

Удивленные этим открытием, исследователи начали исследование пользователей, чтобы копнуть глубже. Они собрали четыре набора данных для имитации различных политик, таких как набор данных изображений собак, которые могут нарушать правило квартиры против агрессивных пород. Затем они попросили группы участников предоставить описательные или нормативные ярлыки.

В каждом случае описателей просили указать, присутствуют ли на изображении или в тексте три фактические характеристики, например, выглядит ли собака агрессивной. Затем их ответы использовались для вынесения суждений. (Если пользователь сказал, что на фотографии изображена агрессивная собака, значит, правила были нарушены.) Разработчики ярлыков не знали правил в отношении животных. С другой стороны, нормативным маркировщикам дали политику, запрещающую агрессивных собак, а затем спросили, нарушалась ли она каждым изображением и почему.

Исследователи обнаружили, что люди значительно чаще обозначали объект как нарушение в описательной обстановке. Несоответствие, которое они рассчитали, используя в среднем абсолютную разницу в ярлыках, варьировалось от 8 процентов для набора данных изображений, используемых для оценки нарушений дресс-кода, до 20 процентов для изображений собак.

«Хотя мы явно не проверяли, почему это происходит, одна из гипотез заключается в том, что, возможно, то, как люди думают о нарушениях правил, отличается от того, как они думают об описательных данных. Как правило, нормативные решения более мягкие», — говорит Балагопалан.

Тем не менее, данные обычно собираются с описательными метками для обучения модели конкретной задаче машинного обучения. Эти данные часто используются позже для обучения различных моделей, которые выносят нормативные суждения, такие как нарушения правил.

Чтобы изучить потенциальное влияние перепрофилирования описательных данных, исследователи обучили две модели оценивать нарушения правил, используя одну из четырех настроек данных. Они обучили одну модель с использованием описательных данных, а другую — с использованием нормативных данных, а затем сравнили их производительность.

Они обнаружили, что если для обучения модели используются описательные данные, она будет хуже модели, обученной для выполнения тех же суждений с использованием нормативных данных. В частности, описательная модель с большей вероятностью неправильно классифицирует входные данные, ложно предсказывая нарушение правил. А точность дескриптивной модели была еще ниже при классификации объектов, в отношении которых люди не соглашались.

Пользователям может быть очень сложно определить, как были собраны данные; эта информация может быть скрыта в приложении к исследовательской статье или не раскрыта частной компанией, говорит Гассеми.

Повышение прозрачности набора данных — один из способов решения этой проблемы. Если исследователи знают, как были собраны данные, то они знают, как эти данные следует использовать. Другая возможная стратегия заключается в тонкой настройке описательно обученной модели на небольшом количестве нормативных данных. Эту идею, известную как трансферное обучение, исследователи хотят изучить в будущей работе.

Они также хотят провести аналогичное исследование с экспертами по маркировке, такими как врачи или юристы, чтобы увидеть, приведет ли оно к такому же несоответствию маркировки.

«Способ исправить это — открыто признать, что если мы хотим воспроизвести человеческое суждение, мы должны использовать только те данные, которые были собраны в этих условиях. В противном случае мы придем к системам с чрезвычайно жесткими модерациями, гораздо более жесткими, чем то, что сделали бы люди. Люди увидят нюансы или сделают другое различие, а эти модели — нет», — говорит Гассеми.

На основе исследования MIT

PS. лайк, пожалуйста, он помогает продвижению статьи, а значит дает мотивацию писать дальше

Ну и как положено на VC, канал телеграм))) Канал и чатик

Туда выкладываю статьи VC и то, что нет в VC. Мысли, идеи, опыт.

В закрепленных канале всегда телеграм боты Kolersky для доступа в ChatGPT, GPT-4 без VPN, а так же генераторы изображений Midjourney, Dall-e, Stable Diffusion (проект KolerskyAI).