Как мы следим за качеством рейтингов и отзывов на Авито, и почему этой системе можно доверять

Привет! Меня зовут Елизавета Тебиева, я работаю аналитиком в команде качества рейтингов и отзывов на Авито. В статье расскажу, почему мы решили следить за обратной связью покупателей и как определяем, какие отзывы остаются на площадке, а какие следует отклонить. Думаю, материал будет интересен тем, кто работает над подобными задачами в других компаниях, а также продавцам и покупателям на Авито.

Контекст: как устроена наша команда и какую роль играет аналитик

Зачем нужны рейтинги и отзывы — и почему важно следить за их качеством

Какие отзывы мы считаем достоверными

Как мы понимаем, что отзыв достоверный

Как устроена система меток и как мы валидируем наши модели

Как метки помогают делать систему рейтингов более качественной

Что в итоге

Наша продуктовая команда состоит из продакта, дизайнера, двух аналитиков и data-science инженера. У нас разные роли, но мы работаем над общими задачами, поэтому любой участник помимо своих прямых обязанностей активно обсуждает гипотезы и работает над конечными решениями.

Это прежде всего касается аналитиков. Мы вовлечены в работу на каждом этапе: от поиска проблем до раскатки решений на пользователей. Такой подход позволяет аналитику сформировать полную картину, почувствовать ответственность и влияние на продукт, шире взглянуть на задачи, быстрее прокачать компетенции.

Мы часто берём на себя ответственность за отдельные проекты: ведём их не только как аналитики, но и помогаем продактам, частично снимаем с них нагрузку. Таким образом убиваем двух зайцев:

К числу проектов, которые драйвились со стороны аналитика, относится и система меток для отзывов — ниже подробно расскажу, как она устроена.

На Авито есть система рейтингов и отзывов. Она помогает покупателям понять, кому можно доверять, и даёт продавцам возможность привлечь больше внимания к объявлениям.

Когда клиент оставляет отзыв, он пишет комментарий и ставит оценку — от одной до пяти звёзд. Рейтинг рассчитывается как среднее арифметическое этих оценок.

👀 Как работают отзывы и формируется рейтинг продавца

Статистика показывает, что люди доверяют отзывам. Вот несколько примеров:

⭐ Недавний опрос 2 000 американцев показал, что 93% респондентов смотрят отзывы перед покупкой. Причём 76% отметили, что сейчас читают их больше, чем когда-либо раньше, а 70% — что не пойдут в незнакомое место, пока не узнают мнение других посетителей.

⭐ Опрос российских пользователей дал похожие результаты: более 90% респондентов читают отзывы перед тем, как принять решение о покупке. А 84% доверяют онлайн-отзывам так же, как рекомендациям друзей.

⭐ Мы и сами проводили подобные исследования. По нашей статистике, 75% респондентов смотрят рейтинги и читают отзывы. А 91% с большей вероятностью обратятся к продавцу, которому оставляют положительную обратную связь.

Люди верят нашим отзывам, поэтому мы следим за тем, чтобы они были правдивыми. Важно, чтобы рейтинг отражал действительность: показывал, что товары соответствуют описанию, а с человеком комфортно общаться.

Но к сожалению, в погоне за высоким рейтингом недобросовестные продавцы на Авито пытаются обойти правила. Здесь начинается зона ответственности нашей команды «Качество рейтинга», миссию которой можно сформулировать так: «Рейтинг продавца должен отражать реальное качество его товаров или услуг».

Чтобы добиться качественного рейтинга, мы должны:

Нам важно, чтобы на рейтинг влияли только отзывы реальных покупателей. Поэтому мы считаем отзыв достоверным, только если его оставил человек, который действительно договорился о сделке, совершил покупку или точно собирался это сделать.

Но мы не всегда можем быть уверены, что сделка состоялась. Например, в некоторых категориях люди могут договориться на Авито, но провести сделку офлайн. Поэтому мы придумали механизмы, которые позволяют нам определять достоверность отзывов — ниже расскажу о них подробнее.

Продавцы могут обжаловать отзывы, которые на них оставляют — это называется арбитраж. Он работает так:

Продавец видит обратную связь у себя в профиле и нажимает кнопку «Обжаловать отзыв» → выбирает причину и описывает ситуацию → обращение попадает к нам на модерацию.

Представим, что на продавца оставили негативный отзыв, и он решил его оспорить. Теперь нам нужно понять, достоверная это информация или нет, но как это сделать? Например, как убедиться, что обратную связь оставил не конкурент продавца, который хочет подпортить его репутацию?

Изучаем доказательства покупателя. Например, фото бракованного товара или другие сведения, которые подтвердят факт нечестной сделки. Но если покупатель не может их дать, мы встаём на сторону продавца — ведь мы не уверены, что сделка действительно состоялась.

Тут возникает проблема: если у нас постоянно будет не хватать информации, недобросовестные продавцы смогут отклонить большинство негативных отзывов и сильно завысить свой рейтинг. Это несправедливо по отношению к честным продавцам и вводит в заблуждение потенциальных покупателей. Поэтому мы научились классифицировать отзывы с помощью аналитики.

Учитываем метки. Чтобы различать достоверные отзывы от недостоверных, мы ввели систему меток. Если на отзыве есть метка, значит, он соответствует некоторым критериям, по которым мы с большой вероятностью можем считать его правдивым.

Сейчас подробнее расскажу о том, как устроена эта система.

Найти критерии для метки, определить их наилучшее сочетание для достижения точности и провалидировать получившуюся модель — это нетривиальные аналитические задачи. Чтобы разработать новую метку, мы:

Изучаем информацию о товарах, отзывах, продавцах и покупателях. Например:

Исследуем, какое сочетание признаков даёт достоверные или недостоверные отзывы. При этом важно соблюсти баланс между точностью, полнотой модели и снизить число ложноположительных срабатываний.

Валидируем модель через отдел контроля качества (ОКК). Мы создаём репрезентативную выборку отзывов, которые соответствуют найденным критериям, и отправляем на разметку в ОКК. Там специалисты по регламенту определяют, достоверный перед ними отзыв или нет.

Если 99% отзывов в ОКК размечают как достоверные, мы считаем, что метка достаточно точна и начинаем использовать её на новых отзывах. Если точность ниже — дорабатываем критерии или вовсе отказываемся от метки.

Следим за метками в динамике. Одной проверки не хватит, чтобы быть уверенными в новых критериях. К тому же со временем поведение пользователей может меняться. Поэтому в ОКК еженедельно проверяют отзывы, а мы следим, не стала ли метка давать больше неверных ответов и при необходимости пересматриваем её критерии.

Помимо ручных эвристик, подключаем машинное обучение. Например, система автоматической модерации выявляет недостоверные отзывы, опираясь на параметры и характеристики продавцов и покупателей.

Другие модели смотрят на поведенческие паттерны, разделяют пользователей на порядочных и подозрительных, что тоже помогает обнаруживать случаи манипуляции отзывами. Набор алгоритмов для разработки моделей варьируется от простых экспертных правил до тяжёлых нейросетевых подходов.

Метки упрощают модераторам арбитраж и защищают рейтинг от манипуляций. Если отзыв получает метку, мы переводим баланс доверия в пользу покупателя — и пересмотрим его, только если появятся фактические доказательства.

Помните наш пример про продавца, который решил обжаловать негативную обратную связь? Допустим, тот отзыв прошёл базовую модерацию — то есть не содержит нецензурной лексики и подходит по другим правилам, — и на нём стоит метка «Достоверный отзыв». В таком случае мы встанем на сторону покупателя и оставим отзыв, если продавец не предоставит доказательства своей правоты.

Метки помогают строить более сложные алгоритмы по проверке достоверности. Например, они часто выступают как самостоятельные фичи при разработке новых меток или ML-моделей.

Метки и ML-модели помогают не только определять достоверные отзывы, но и находить недостоверные. Мы вручную размечаем большое количество отзывов и пытаемся найти паттерны, которые отличают потенциально недостоверную обратную связь. Причём так мы учимся распознавать и ложные хвалебные отзывы, и несправедливый негатив.

Например, мы отклоним отзыв по объявлению «Строительство дома», если он был написан через несколько минут после первого сообщения в чате. Очевидно, что отзыв не может быть достоверным, ведь дом так быстро не построить.

Прежде чем вы увидите отзыв на Авито, автоматическая система модерации проверит его на базовые правила и соблюдение законодательства, при необходимости он пройдёт ручную модерацию, а также будет изучен несколькими десятками моделей. В результате он получит метку.

Если мы считаем отзыв недостоверным, он не появится на площадке. А если он по всем критериям выглядит как правдивый и получает соответствующую метку, то недобросовестный продавец не сможет от него избавиться.

Наши системы постоянно развиваются, потому что любая борьба с нарушителями — это вечное противостояние щита и меча. Приходится быть на шаг впереди, постоянно пополнять модели актуальными данными и обновлять их.

Это позволяет нам следить за достоверностью системы рейтингов, поощрять добросовестных продавцов и повышать прозрачность сделок.