600 млн вероятностей в день: как работает модерация в Авито

Поиск нарушений, помощь пользователям и выявление мошенников.

Каждый день в модерацию Авито попадает больше трёх миллионов объявлений от пользователей, но до размещения доходят не все. Многие содержат нарушения внутренних правил и должны быть заблокированы. Для этого в Авито круглосуточно работает многоуровневая служба модерации. Премодерацию проходят не только новые объявления, но и все изменения в опубликованных, даже если автор исправил одну букву.

Первый фильтр — автоматическая система

Сначала версии проверяет автоматическая система. Под каждое правило размещения в системе заложена машинно обучаемая модель, которая на выходе определяет вероятность нарушения по конкретному правилу. Таких моделей около 200.

Система анализирует все компоненты объявления: заголовок, описание, параметры товара или услуги, фотографии, а также контекст. Контекст — это своего рода история пользователя: что он размещал раньше, под какими аккаунтами. Так находят спамеров, которые регистрируют сотни учётных записей.

Повторная подача — самая распространённая причина блокировки. Бывает, пользователи случайно размещают один и тот же товар два раза. Например, из-за проблем с интернетом или не дождавшись, пока первое объявление пройдёт премодерацию.

В примере выше речь о повторной подаче не идёт, так как человек продаёт футболки разного размера.

Новички, не зная, как отредактировать объявление, часто создают другое с обновлённым контентом. Для предотвращения таких ситуаций ещё на этапе подачи включается автоматический инструмент. Он напоминает пользователю, что товар уже продаётся на Авито, и предлагает отредактировать существующее объявление.

Но в большинстве случаев люди намеренно создают несколько объявлений для одного товара, чтобы быстрее его продать. Чаще всего в разделе с самой высокой конкуренцией — «Недвижимость». В надежде обмануть систему они добавляют новые фотографии и придумывают разные описания.

Для модерации изображений используются нейронные сети. Они находят фотографии одного товара, снятого по-разному. Однако повсеместно эту технологию использовать нельзя. Очевидно, что разные пользователи могут продавать одинаковые вещи.

Анализируя текст, система одновременно вникает в смысл и ищет ключевые слова. Смысл важно распознавать, чтобы можно было отличить повторное объявление с переписанным описанием от объявления о продаже товара с похожими характеристиками. Через ключевые слова система находит запрещённые на Авито товары, к примеру, оружие или книги, входящие в перечень экстремистской литературы, как в объявлении выше.

Более 90% объявлений
обрабатываются автоматически

Как устроена ручная премодерация

Система никогда не оценивает нарушения категорично — она вычисляет их вероятность. Если по всем критериям вероятность нарушения ниже значения Х, объявление проходит на сайт. Если хотя бы по одному критерию вероятность превышает значение Y — блокируется.

В некоторых случаях возникает пограничная ситуация — показатель вероятности нарушения вписывается в небольшой диапазон от X до Y. Тогда объявление отправляется на ручную проверку.

Ручная премодерация разделена на две линии. Первая работает с нарушениями на уровне объявления, вторая — на уровне аккаунта автора.

Сотрудники первой линии проверяют те компоненты объявления, которые система отметила как подозрительные. Исключение составляют случаи, когда приходит жалоба. Жалоба — это сигнал, что система, возможно, дала сбой. Слепо верить таким сигналам нельзя, иначе конкуренты заваливали бы друг друга жалобами — нужно полностью проанализировать объявление.

Модераторы поделены на команды по рубрикам сайта. Кто-то проверяет бытовую технику, кто-то — автомобили, кто-то — животных. Такой подход позволяет увеличить скорость премодерации: не приходится держать в голове громадное количество нюансов, достаточно быть экспертом в своей теме.

Скажем, модераторы, работающие с животными, почти наизусть знают виды, занесённые в Красную книгу. К ним относится и дальневосточная черепаха из нашего примера. Продажа таких животных на Авито запрещена. Иногда модераторы всё же обращаются к встроенному в интерфейс справочнику. Например, чтобы узнать название вида на латыни.

До 300 версий объявлений

проверяет один модератор первой линии за час

Премодерация на второй линии происходит как минимум вдвое медленнее, чем на первой, поскольку нужно проверить не только само объявление, но и его контекст. Спамеров вычисляют, используя множество различных приёмов.

Как пресекают нарушения

К нарушителям применяют три вида санкций. Самая лёгкая — отклонение объявления — используется, когда нарушения не критичны и их можно исправить. К примеру, пользователь выбрал неправильную категорию.

Система сможет автоматически перенести объявление не более чем в половине случаев. Дело в том, что в каждой категории есть своё дерево параметров, и для переноса нужен корректный маппинг — соответствие данных.

Если человек случайно разместил объявление о продаже собаки в категории «Кошки», проблем не возникнет. А если сумку, объявление придётся отклонить, поскольку для описания сумок предусмотрены другие параметры. В таком случае пользователю придёт сообщение с причиной отклонения и объяснением, как исправить ошибку.

Объявление о продаже щебня нельзя пропускать на сайт из-за неверно указанной категории. Некоторые пользователи считают продажу услугой и размещают свои товары в категории «Предложения услуг», хотя на самом деле для этого есть категория «Для дома и дачи» / «Ремонт и строительство» / «Стройматериалы».

Когда нарушение невозможно устранить, следует блокировка объявления. Чаще всего такое случается из-за повторной подачи. На сайте остаётся только одно объявление, а все дубликаты блокируются.

Если пользователь систематически пренебрегает правилами, допускает много серьёзных нарушений или занимается мошенничеством, его учётную запись блокируют. Чтобы он не мог подать объявление с нового аккаунта, служба модерации работает с контекстом: отслеживает связи между учётными записями, используя сотни различных параметров.

Ошибок мало, но они неизбежны

Мошенники постоянно ищут пути обхода блокировок, поэтому приходится усложнять правила размещения. Это приводит к тому, что честным пользователям становится сложнее соблюдать правила. Порой это вызывает недовольство, но другого пути нет.

Процент ошибочных решений колеблется в пределах статистической погрешности. Это естественно, что пользователи замечают именно ошибки в то время, как работа по выявлению тысяч нарушений в день остаётся в тени. Например, в случае с этим объявлением о продаже iPhone X модератор заблокировал заведомо контрафактный товар: такой смартфон стоит намного дороже девяти тысяч.

В случае блокировки объявления пользователь может обратиться в службу поддержки. Если выясняется, что была допущена ошибка, площадка предлагает компенсацию: объявление появляется вверху выдачи, а автор получает бонусные баллы, которые можно потратить на платные услуги.

2424
131 комментарий

Комментарий недоступен

27
Ответить

Тест выявил у вас раздражительность. Позравляю, вы можете стать прекрасным модератором.

24
Ответить

я например не всегда правильно модерировал объявления, меня это развлекло

1
Ответить

особенно когда перезагрузил страничку случайно и не успел дочитать последний абзац )

1
Ответить

Не знаю зачем это мне, но было интересно

26
Ответить

Да вы аккаунты баните при продаже видеокарты, если указывать, какой она хэшрейт выдает. Просто бздос, закон при этом не нарушается и ваши правила тоже. Техподдержка из 1,5 робота состоит. Проще купить новый номер у метро и пользоваться им, чем пытаться разблокировать свой на вашем сайте.

15
Ответить