600 млн вероятностей в день: как работает модерация в Авито

Поиск нарушений, помощь пользователям и выявление мошенников.

Каждый день в модерацию Авито попадает больше трёх миллионов объявлений от пользователей, но до размещения доходят не все. Многие содержат нарушения внутренних правил и должны быть заблокированы. Для этого в Авито круглосуточно работает многоуровневая служба модерации. Премодерацию проходят не только новые объявления, но и все изменения в опубликованных, даже если автор исправил одну букву.

Сначала версии проверяет автоматическая система. Под каждое правило размещения в системе заложена машинно обучаемая модель, которая на выходе определяет вероятность нарушения по конкретному правилу. Таких моделей около 200.

Система анализирует все компоненты объявления: заголовок, описание, параметры товара или услуги, фотографии, а также контекст. Контекст — это своего рода история пользователя: что он размещал раньше, под какими аккаунтами. Так находят спамеров, которые регистрируют сотни учётных записей.

Повторная подача — самая распространённая причина блокировки. Бывает, пользователи случайно размещают один и тот же товар два раза. Например, из-за проблем с интернетом или не дождавшись, пока первое объявление пройдёт премодерацию.

В примере выше речь о повторной подаче не идёт, так как человек продаёт футболки разного размера.

Новички, не зная, как отредактировать объявление, часто создают другое с обновлённым контентом. Для предотвращения таких ситуаций ещё на этапе подачи включается автоматический инструмент. Он напоминает пользователю, что товар уже продаётся на Авито, и предлагает отредактировать существующее объявление.

Но в большинстве случаев люди намеренно создают несколько объявлений для одного товара, чтобы быстрее его продать. Чаще всего в разделе с самой высокой конкуренцией — «Недвижимость». В надежде обмануть систему они добавляют новые фотографии и придумывают разные описания.

Для модерации изображений используются нейронные сети. Они находят фотографии одного товара, снятого по-разному. Однако повсеместно эту технологию использовать нельзя. Очевидно, что разные пользователи могут продавать одинаковые вещи.

Анализируя текст, система одновременно вникает в смысл и ищет ключевые слова. Смысл важно распознавать, чтобы можно было отличить повторное объявление с переписанным описанием от объявления о продаже товара с похожими характеристиками. Через ключевые слова система находит запрещённые на Авито товары, к примеру, оружие или книги, входящие в перечень экстремистской литературы, как в объявлении выше.

Система никогда не оценивает нарушения категорично — она вычисляет их вероятность. Если по всем критериям вероятность нарушения ниже значения Х, объявление проходит на сайт. Если хотя бы по одному критерию вероятность превышает значение Y — блокируется.

В некоторых случаях возникает пограничная ситуация — показатель вероятности нарушения вписывается в небольшой диапазон от X до Y. Тогда объявление отправляется на ручную проверку.

Ручная премодерация разделена на две линии. Первая работает с нарушениями на уровне объявления, вторая — на уровне аккаунта автора.

Сотрудники первой линии проверяют те компоненты объявления, которые система отметила как подозрительные. Исключение составляют случаи, когда приходит жалоба. Жалоба — это сигнал, что система, возможно, дала сбой. Слепо верить таким сигналам нельзя, иначе конкуренты заваливали бы друг друга жалобами — нужно полностью проанализировать объявление.

Модераторы поделены на команды по рубрикам сайта. Кто-то проверяет бытовую технику, кто-то — автомобили, кто-то — животных. Такой подход позволяет увеличить скорость премодерации: не приходится держать в голове громадное количество нюансов, достаточно быть экспертом в своей теме.

Скажем, модераторы, работающие с животными, почти наизусть знают виды, занесённые в Красную книгу. К ним относится и дальневосточная черепаха из нашего примера. Продажа таких животных на Авито запрещена. Иногда модераторы всё же обращаются к встроенному в интерфейс справочнику. Например, чтобы узнать название вида на латыни.

Премодерация на второй линии происходит как минимум вдвое медленнее, чем на первой, поскольку нужно проверить не только само объявление, но и его контекст. Спамеров вычисляют, используя множество различных приёмов.

К нарушителям применяют три вида санкций. Самая лёгкая — отклонение объявления — используется, когда нарушения не критичны и их можно исправить. К примеру, пользователь выбрал неправильную категорию.

Система сможет автоматически перенести объявление не более чем в половине случаев. Дело в том, что в каждой категории есть своё дерево параметров, и для переноса нужен корректный маппинг — соответствие данных.

Если человек случайно разместил объявление о продаже собаки в категории «Кошки», проблем не возникнет. А если сумку, объявление придётся отклонить, поскольку для описания сумок предусмотрены другие параметры. В таком случае пользователю придёт сообщение с причиной отклонения и объяснением, как исправить ошибку.

Объявление о продаже щебня нельзя пропускать на сайт из-за неверно указанной категории. Некоторые пользователи считают продажу услугой и размещают свои товары в категории «Предложения услуг», хотя на самом деле для этого есть категория «Для дома и дачи» / «Ремонт и строительство» / «Стройматериалы».

Когда нарушение невозможно устранить, следует блокировка объявления. Чаще всего такое случается из-за повторной подачи. На сайте остаётся только одно объявление, а все дубликаты блокируются.

Если пользователь систематически пренебрегает правилами, допускает много серьёзных нарушений или занимается мошенничеством, его учётную запись блокируют. Чтобы он не мог подать объявление с нового аккаунта, служба модерации работает с контекстом: отслеживает связи между учётными записями, используя сотни различных параметров.

Мошенники постоянно ищут пути обхода блокировок, поэтому приходится усложнять правила размещения. Это приводит к тому, что честным пользователям становится сложнее соблюдать правила. Порой это вызывает недовольство, но другого пути нет.

Процент ошибочных решений колеблется в пределах статистической погрешности. Это естественно, что пользователи замечают именно ошибки в то время, как работа по выявлению тысяч нарушений в день остаётся в тени. Например, в случае с этим объявлением о продаже iPhone X модератор заблокировал заведомо контрафактный товар: такой смартфон стоит намного дороже девяти тысяч.

В случае блокировки объявления пользователь может обратиться в службу поддержки. Если выясняется, что была допущена ошибка, площадка предлагает компенсацию: объявление появляется вверху выдачи, а автор получает бонусные баллы, которые можно потратить на платные услуги.