Спираль молчания и путаница с кличками: с какими сложностями сталкивается модерация

Когда мы говорим о модерации, возникает много вопросов. Насколько строгой она должна быть? Что важнее — полная свобода или комфорт пользователей? Ведь ограничения свободы самовыражения тоже ведут к дискомфорту — тех, кого ограничивают. Но есть и вопросы следующего, более глубокого уровня.

Когда правила модерации определены, автоматическая система настроена и живые специалисты готовы читать комментарии и проверять, соблюдаются ли правила, как избежать когнитивных искажений? К чему они могут привести? И с другой стороны — как сами пользователи чувствуют себя в активно модерируемых сообществах?

Для начала немного теории: язык — это средство доступа к мыслительным процессам. То есть именно в языке сохраняется опыт человека, его мышление.

Что это значит? Что, с одной стороны, язык фиксирует всю систему человеческого знания, с другой — каждого отдельно взятого носителя языка. У каждого человека — свой опыт, свой набор знаков, и поэтому иногда мы друг друга не понимаем. Именно когнитивные искажения мешают тому, чтобы работа искусственного интеллекта происходила как в кино. Грубо говоря, сколько людей, столько мнений, столько когнитивных искажений. Попробуй их все учти.

Попытки заложить все вариации в код искусственного интеллекта, кажется, обречены на провал. Именно поэтому онлайн-переводчики, несмотря на прогресс, так далеки от совершенства. Мы всегда имеем в виду что-то, что нужно понимать из контекста, и контекст это может быть невербализируемым, ситуативным.

Об этических проблемах такого развитого, но такого неидеального AI много пишут — и ученые, и колумнисты. Иногда эти перекосы компьютерных систем становятся причиной серьезных последствий, хотя должны были помогать их избежать. Ведь у компьютера нет своего понимания этики, нет человеческого фактора. Зато у человека, который его программирует, есть. Так, даже если разработчик планировал учесть максимальное количество когнитивных искажений в своей программе, какие-то неучтенные все равно лягут в основу написанного им ПО. Он просто не мог учесть всё: например, свои собственные особенности восприятия.

Автоматические системы модерации тоже созданы на базах AI, иногда они проще, иногда — более сложные и обучаемые. Так что для пре-модерации когнитивистская сторона языка становится главным камнем преткновения. Это происходит в тот момент, когда она сталкивается со смыслами: одни и те же слова могут иметь разные смысловые оттенки в зависимости от контекста.

Но тут нужно понимать и подход к слову «контекст». Когда мы рассказывали о модерации во время разных спортивных мероприятий, мы упомянули любимый пример FIFA о футболисте по кличке Горилла и том, как его поклонники используют соответствующий эмодзи. Что в данной ситуации становится составляет контекст? Итальянская сборная и клуб, в котором этот футболист играет? Безусловно. Но и эмоциональная и та самая когнитивная окраска сообщения и даже оттенки предыдущих сообщений — тоже контекст.

Как автоматической модерации понять, в каком значении используется слово или, тем более, эмодзи? с какой оно эмоциональной окраской? к чему относится? Опять же, этот пример с Гориллой стал таким интересным именно в рамках матча сборных Италии и Англии, по ходу которого фанаты оставляли критически много расистских комментариев, а значит, одно слово и один эмодзи в рамках двух-трех сообщений могли иметь противоположный смысл.

Но не Гориллой единым. Среди кличек популярных игроков нам особенно полюбились Divine Ponytail (Божественный конский хвост), The Butcher of Bilbao (Мясник из Бильбао) и Кайзер. Даже если ни один контекст не сделает их оскорбительными, подобная фантазийность усложнит системе понимание контекста вокруг их употребления.

В каком контексте названия животных становятся оскорблениями, слова из физиологии — сексистскими высказываниями, а слово застрахуй блокируется системой. Может ли автоматическая модерация во всем этом разобраться?

Некоторые ИИ-системы, как например Toxic Mod System, размечают потенциально токсичные комментарии, понижают их приоритет в выдаче и ставят пометку в административной панели, чтобы живые модераторы могли вынести финальное решение, что с ними делать. Но тут есть две проблемы: необучаемость системы и ее несамостоятельность. Она не обходится без живого модератора и никак не решает проблему в моменте.

Классические системы пре-модерации в этом плане могут быть гораздо эффективнее — они не пропускают токсичные сообщения, и сложность с ними состоит в поиске верного уровня строгости подхода — чтобы пользователь мог поставить случайный пробел в слове «потреблять», использовать старорусский глагол «хулит» или пообещать, что скоро «разгребет» дела, не рискуя попасть в бан. Необходим и глубокий анализ способов, которые пользователи применяют, чтобы обходить модерацию — например, используя неологизмы. А флуд автоматические системы не могу распознать в принципе. Когда пользователь настойчиво пишет о продаже яблок в чат, посвященный матчу АПЛ, нейросеть не обратит на это никакого внимания.

Сложным случаем считается и использование нейтральных местоимений: они не несут контекстуальные надстройки, которые было бы легко распознать по формальным признакам. Анна Гибсон, автор статьи «Свобода слова и безопасная среда: Как политика модерации влияет на онлайн-дискуссии», говорит, что по мере того, как отдельные люди все больше отождествляют себя с группой, они переходят от местоимений первого лица единственного числа к местоимениям от множественного числа.

Получается, что мягкий фильтр на автоматической модерации лучше жесткого? Особенно если в сервисе есть живые модераторы, которые рассматривают жалобы и контролируют поток сообщений?

Получается, что да. Но живые модераторы не спасают ситуацию от изначальной проблемы — когнитивных искажений. Если проблема автоматической модерации в том, что она просто не замечает оттенки смыслов и гребет всех под одну гребенку, то живой специалист остается человеком. А значит, может воспринять контекст превратно, не вычитать его вовсе или использовать в модерации личные представления о том, что допустимо, а что нет.

Что помогает сохранить чат от подобных искажения? Четко сформулированные правила и совмещение разных подходов в рамках одного онлайн-сообщества: когда система страхует человека, а человек систему, а также участие пользователей в процессе модерации. Но сам пользователь должен влиять не на формирование правил сообщества в целом, а только на то, чтобы ему самому было комфортно находится в чате — скрывая неприятные сообщения или делая каких-то участников невидимыми.

Кажется, что если в сообществе нет модерации и процветает подход абсолютной свободы слова, то пользователи будут чувствовать себя лучше и их самовыражение будет максимальным. На деле существуют такие понятия как самоцензура и спираль молчания: когда люди оказываются в меньшинстве даже в онлайн-сообществе, они готовы скрывать свою точку зрения, чтобы не оказаться подверженными остракизму.

Считается, что если сообщество построено на принципах анонимности, то спираль молчания раскручивается меньше, а значит, и склонность к самоцензуре оказывается слабее. На деле и это не совсем так. Онлайн-сообщество — это все еще сообщество, даже несмотря на то, что пользователи ничего не знают о реальной жизни друг друга. Нежелание подвергаться остракизму крайне велико, даже если речь идет о новой социальной группе.

Особенно значительна спираль молчания и самоцензура у тех, кто принадлежит к маргинализированной группе или к сообществу, которое долгое время подвергалось дискриминации.

Тут мы возвращаемся к когнитивным оттенкам сообщений/комментариев. Смысловые оттенки, неочевидные намерения и, конечно, контекст могут убедить других участников чата, что им нужно воздержаться от разговора. Отдельные слова и выражения, которые показывают отношения онлайн-сообщества к тому или иному явлению, могут подчеркнуть для пользователя, что он здесь «в меньшинстве».

Этому способствуют и те самые местоимения, о которых мы говорили выше, — которые становятся выразителями групповой идентичности, даже если по факту это мнение выразил только один участник. Мы против чего, вернем чему-то былое величие — это «коллективное мнение», даже когда это написал один участник. Воспринятое так, оно может остановить представителя меньшей группы от желания писать в такой чат.

Именно поэтому важно даже в полностью анонимных сообществах с упором на свободу слова оценивать общения между пользователями с когнитивной точки зрения — являются ли их сообщения заявлениями, предложениями или дискриминирующими манифестами и, если нужно, сокращать их выдачу. Это поможет создать среду, комфортную для всех участников: ту, где можно свободно выражать мнение и быть частью сообщества и активным его участником.

Если вы хотите узнать больше о социальных инструментах, которые мы интегрируем на платформы, заходите на наш сайт или пишите на privet@social-solutions.ru.