Как мы оцениваем репутацию продавцов в «Авито Недвижимости»

И проверяем объявления на достоверность.

Последние два года мы с командой работаем над тем, чтобы контент в сервисе был полностью достоверным, и создаём репутационную систему для продавцов жилой и коммерческой недвижимости.

Я расскажу, зачем нам понадобилось оценивать качество продавцов на площадке и как мы создали подход, который решает эту задачу. Материал будет интересен тем, кто работает над подобными системами оценки или хочет понять, как подходить к сложным задачам без чётких вводных.

Решили сделать систему, которая поможет добросовестным продавцам быстрее находить клиентов

1. Выбрали сегмент пользователей

2. Актуализировали подход к оценке качества контента

3. Определили скор продавцов

4. Валидировали данные

Подвели промежуточные результаты работы

Вместо выводов: советы начинающим аналитикам

Наша задача в Авито Недвижимости — сделать так, чтобы потенциальные покупатели видели только реальные объекты, а честные продавцы как можно быстрее встречались с заинтересованными клиентами. Но некоторые недобросовестные агентства и риелторы, например, пытаются опубликовать предложения с заниженной ценой. Их фантазия в попытках обойти правила и привлечь к себе больше внимания, по правде сказать, безгранична.

На первой линии защиты пользователей стоит развитая и современная модерация. Система находит нарушения, предупреждает продавцов о проблемах, а при повторных нарушениях — блокирует контент и профили.

Но на текущем этапе одного только поиска нарушений становится недостаточно. Чтобы пользователи видели качественный контент, важно не только мешать тем, кто играет не по правилам, но и поощрять честных продавцов. Поэтому во всех вертикалях Авито сейчас идёт работа над системами поощрений для добросовестных пользователей.

Мы в Авито Недвижимости уже создали скоринговую систему, чтобы находить и награждать добросовестных продавцов, которые следят за репутацией. Дальше поэтапно расскажу, как мы построили работу.

Для запуска пилотной разметки нужно было выбрать группу продавцов, чья оценка для нас, как для бизнеса, наиболее приоритетна и полезна. Поэтому мы решили начать с крупных профессиональных продавцов, в частности, больших агентств недвижимости.

Основываясь на результатах экспериментов, мы последовательно совершенствовали модель и расширяли наш опыт на другие группы пользователей, но об этом я подробнее расскажу чуть ниже.

Чем больше сила, тем больше ответственность. А в нашем случае, чем выше цена покупки недвижимости, тем выше цена ошибки при выборе, поэтому объявления должны быть максимально достоверными, а проверки — категоричными. Ведь если по вине нечестного агентства пользователь купит квартиру, которую сдадут на 10 лет позже обещанного срока, он понесёт значительные потери.

Классический подход к модерации подразумевает проверку нарушений. В начале работы над репутационной системой у нас были критерии «как не надо», но не было понимания, что объединяет объявления, которые успешно проходят модерацию. Поэтому, несмотря на то, что в нашем распоряжении была история работы сотен модерационных моделей, для репутационной системы нужно было создать дополнительные проверки:

Проверки тайным покупателем. Сами связываемся с продавцами, чтобы проверить достоверность их объявлений.

Дополнительные эвристики для анализа общения продавцов с покупателями. Например, мы применили методы, которые анализируют паттерны взаимодействия покупателя с продавцом.

После введения этих этапов мы стали использовать почти в 14 раз больше проверок для целей репутационной системы продавцов: 660 000 проверок вместо 48 000.

После того как мы определились с целевым сегментом и добавили новые этапы проверки, мы перешли к выставлению оценок продавцам. Вот, на что мы смотрим в первую очередь:

✅ Достоверность контента — продавец публикует реальные объявления, корректно заполняет все поля и следит, чтобы цены и другие характеристики недвижимости были актуальными.

✅ Качество коммуникации — продавец корректно и своевременно общается с людьми, которые заинтересовались его предложениями.

✅ Верификация профиля и объектов — продавец прошёл нужные проверки как личности, так и объектов.

Если посмотреть верхнеуровнево, каждая итерация по расчёту репутации состоит из 6 этапов:

Чтобы перенести опыт скоринга на всех продавцов Авито Недвижимости, мы использовали следующие аналитические подходы:

Определили вес каждого критерия и научились использовать данные старых проверок. Нам было важно, чтобы модель как можно быстрее реагировала на позитивные изменения. То есть чтобы рейтинг, который продавец видит в профиле, сразу же обновлялся, как только, например, мы получили от собственника реальный кадастровый номер объекта.

Чтобы система работала быстро, нужно было придумать, как использовать одновременно данные актуальных и старых проверок при условии, что вторые должны вносить меньший вклад в финальный скор. С этой целью мы скорректировали вес проверок с использованием экспоненциальной функции.

Фактически решение задачи свелось к тому, чтобы найти X, при котором разница между суммой квадратов разности скоров, рассчитанных старой и новой методикой, была минимальной:

Формулы, с помощью которых определяли вес, который проверки будут вносить в финальный скор

Так мы в 4 раза увеличили окно учёта проверок, стали использовать в 6 раз больше проверок для расчёта скора и оценили в 8 раз больше продавцов.

Разбили продавцов на кластеры. Кластеризация нужна, потому что мы работали с разнообразной выборкой: сравнивали риелторов с несколькими объектами недвижимости и крупных застройщиков, которые продают квартиры на этапе строительства.

Особенность нашей кластеризации была в том, что она основывалась не только на аналитическом аппарате, но и на понимании бизнеса, для которого мы это делали. В нашем случае недостаточно было подобрать характеристики продавцов, которые незначительно коррелируют друг с другом и выбрать кластеры с наибольшим силуэтом. Модель должна была базироваться также на критерии качества сервиса, который предоставляет продавец. Например, учитывать количество и характер проверенных жалоб от клиентов.

Кроме того, при создании инфраструктуры, которая обсчитывает всю эту логику, мы не фиксировали кластер, а наоборот постоянно переопределяли его, чтобы сохранить чувствительность к изменению паттернов поведения отдельного продавца.

Инициировали расчёт априорного скора. Нам нужно было создать алгоритм скоринга продавцов, по которым не было данных для полной оценки, и масштабировать репутационную систему. Вот что мы придумали:

Благодаря кластеризации мы смогли использовать априорное значение на уровне кластера, а не на уровне отдельного продавца. Таким образом, мы кратно расширили покрытие нашей модели, а также углубили анализ групп отдельных продавцов, что способствовало повышению точности нашей модели.

На каждом этапе сбора скора нужно было проверить, отражает ли модель реальную ситуацию на рынке. Для этого мы:

✅ Проводили А/Б тесты.

✅ Собирали обратную связь от рынка.

✅ Общались с менеджерами отдела продаж.

✅ Анализировали обращения в поддержку от пользователей, которые видят скоринг в личном кабинете.

✅ Отслеживали, как меняется направление скоринга при обновлении модели.

✅ Анализировали целевые метрики репутационной системы: покрытие и последовательность изменения скора.

Если после валидации мы понимали, что данные соответствуют действительности, перекладывали полученный опыт скоринга на другую категорию продавцов. Если скор искажал действительность, возвращались на первый шаг и начинали процесс сначала. Это происходило на каждой итерации, иногда по несколько раз.

Финальная схема подхода выглядит следующим образом:

К февралю 2023 года более 80% всех контактов по объектам жилой и коммерческой недвижимости происходило по объявлениям продавцов с рассчитанным скором. При этом несколько десятков тысяч пользователей могут в реальном времени отслеживать прогресс по репутации в личном кабинете и менять стратегии поведения на площадке, если их не удовлетворяет наша оценка.

Таким образом, благодаря репутационной системе мы делаем российский рынок услуг в сфере недвижимости прозрачнее.

В качестве выводов я хотела бы дать советы тем, кто только начинает свой путь в аналитике и впервые встречается с задачами, которые слабо формализованы или вызывают трудности:

👉 Нормально не знать, как подступиться к решению задачи: начните итерационно, исследуйте один кусочек “карты”, потом возьмите следующий и исследуйте его.

👉 Вы не можете знать всех нюансов с самого начала: изменяйте подход по мере погружения в проблематику.

👉 Нормально сначала опираться исключительно на логику бизнеса и продукта и только потом подключать какую-то сложносочинённую аналитику.

👉 Никогда не бойтесь брать амбициозные задачи.

👉 Важно периодически перепроверять себя и рефлексировать на тему того, не искажает ли выбранный подход реальность.