В цифрах: как TikTok модерирует контент и защищает своих пользователей

В команде по доверию и безопасности TikTok (Trust and Safety) работают тысячи сотрудников, которые мониторят, верифицируют и удаляют десятки миллионов роликов в месяц. И не только с помощью алгоритмов, но и в ручном режиме. Вот как это происходит.

У TikTok есть общий кодекс поведения — Правила сообщества, где компания подробно объясняет пользователя, что на платформе делать можно, а что нельзя. Речь не только о спаме, хотя с ним соцсеть тоже активно борется: лишь за второе полугодие 2020 она удалила 173 млн спам-аккаунтов — это больше, чем все население России.

Чтобы создать для пользователей дружественную атмосферу, комфортную и безопасную среду, TikTok пошел дальше: специалисты компании постоянно отслеживают новостную повестку и регулярно пересматривают правила, чтобы точнее регистрировать и устранять вредоносный контент. Например, соцсеть удалила больше 50 тысяч роликов с недостоверной информацией о Covid-19: по данным ВОЗ, такой контент способен прямым образом влиять на рост заболеваемости в мире.

Компания в целом активно пресекает распространение контента, который может негативно сказываться на здоровье пользователей. Например, связанного с расстройствами пищевого поведения: им особенно подвержены молодые люди и девушки.

Эксперты считают, что во многом это — негативное влияние СМИ и других масс-медиа, однако мало кто из других соцсетей пытается реально решать вопрос. TikTok привлекает к работе профильных специалистов (в том числе экспертов в области психического здоровья): они помогают распознавать контент, негативно влияющий на пользователей. Затем технические специалисты компании обучают алгоритмы выявлять и его. Причем даже до того, как подобный ролик будет выложен: TikTok превентивно предупреждает пользователей о потенциальной вредоносности их контента.

Команды по продукту и процессам (Product and Process teams) постоянно совершенствуют механики модерации. Одна из базовых технологий — хеширование: её используют для идентификации изображений или видео. Например, если злоумышленник решит разместить на платформе ролик с изображением физического насилия, благодаря специальному идентификатору изображений платформа его просто не пропустит и будет автоматически блокировать повторные попытки его загрузить.

То же касается, например, буллинга, харассмента, экстремизма, сексуализированного контента. Особое внимание соцсеть уделяет отслеживанию контента, в котором фигурируют дети и подростки. А все популярные ролики соцсеть и вовсе изучает несколько раз.

TikTok сотрудничает с несколькими профильными организациями, которые помогают людям, оказавшимся в сложном психологическом состоянии. За второй квартал прошлого года роликов с опасным поведением (например, селф-хармом) стало на 13,4% меньше — отчасти потому, что теперь TikTok модерирует их гораздо быстрее.

Команды по доверию и безопасности работают круглосуточно: 94% вредоносных видео удаляются в течение 24 часов, причем 80% из них — еще до того, как их посмотрел хотя бы один пользователь. Эффективнее и быстрее всего удается распознать экстремистский и жестокий контент, а также ролики эротического содержания. Согласно статистике из отчетов о прозрачности TikTok, больше всего контента удаляется в США, Пакистана, Бразилии, России и Индонезии.

Для модерации соцсеть использует не только алгоритмы, но и ручную проверку: модераторы предоставляют системе обратную связь, которая помогает быстро выявлять новые вредоносные тренды в будущем. Для модераторов компании регулярно проводит тренинги — чтобы помочь им глубже изучить политики по работе с контентом и принимать в дальнейшем более правильные решения при проверке.

В некоторых случаях самим модераторам, проверяющим потенциально опасный контент, может потребоваться поддержка и помощь. В TikTok осознают эту проблему и уделяют особое внимание здоровью, безопасности и психическому состоянию сотрудников. Например, организуя для них программы по психологической поддержке, а также консультации с профильными специалистами.

TikTok продолжает работать над поддержанием безопасной среды, чтобы платформа приносила пользователям позитивные эмоции и раскрывает их творческий потенциал.