Как аналитики сэкономили ресурсы команды, убедив не вкладываться в рост ключевой метрики

Привет! Меня зовут Саша Голубев, я аналитик в Авито. Наша команда занимается улучшением пользовательского опыта продавцов в Авито Доставке. Расскажу, как мы исследовали одну метрику и узнали, что её реальный потенциал для роста в два раза меньше ожидаемого. А ещё объясню, почему это полезно для бизнеса и команды. Но обо всём по порядку.

Что такое Авито Доставка?

Авито Доставка — это продукт, который позволяет перевести деньги за товар и заказать доставку прямо на Авито. Покупатель оплачивает заказ, а продавцу нужно отнести его в пункт приёма или передать курьеру. Оставшиеся заботы Авито берёт на себя. Когда покупатель проверит и примет посылку, продавец получит деньги.

Относимость — это доля отправленных продавцами заказов по отношению к оплаченным. Например, продавцу пришло три заказа, два из них он передал в доставку, а третий — нет, потому что покупатель передумал и отменил его. Деньги вернутся пользователю, но мы зафиксируем, что заказ был оплачен, а потом отменён. Получается, что продавец отправил два из трёх заказов и относимость в нашем примере составила ⅔ или 66,6%.

Относимость показывает качество сервиса со стороны продавца, а так же содержит потенциал роста отправленных заказов, поэтому является одной из главных метрик Авито Доставки. Мы знаем, что неотправленные заказы негативно влияют на покупателей: вероятность повторной покупки снижается.

Сейчас относимость составляет примерно 77%. Значит, 23% оплаченных заказов не отправляют? Пора сфокусировать на этом ресурсы команды, чтобы нарастить метрику и не допускать ни одной отмены?

Спойлер: не совсем. Пора анализировать.

Отмены, которые мы в теории можем устранить, происходят из-за множества независимых факторов. Заказы могут быть отменены продавцом или покупателем по разным причинам, на которые мы не всегда можем влиять. Также заказ может отмениться из-за того, что время на его подтверждение или отправку вышло.

Ещё бывает так, что пользователь переоформляет заказ — сначала сам отменяет его по каким-то причинам, а затем оставляет заново. Такие ситуации мы называем «перезаказами»:

Многие наши данные об отменах заказов были разрознены, также были сценарии, которые мы пока не обсчитывали, например, перезаказы. Мы не понимали, в какой мере изменение относимости будет связано с ростом количества реальных заказов. Например, вдруг перезаказы занимают значимую часть потенциала метрики? На сколько вырастет общее количество заказов, если мы улучшим относимость, допустим, на один процентный пункт?

Мы понимали, что в некоторых ситуациях отмена заказа не означает, что сделка на Авито не состоялась — как, например, в случае с перезаказом. Поэтому мы оттолкнулись от идеи, что не каждый отменённый заказ = потерянный заказ, и решили исследовать потенциал метрики.

Поделили отменённые заказы на 2 группы: с потерей заказа и без. Начали с самых понятных сценариев — например, с отмен по техническим причинам и перезаказов:

Но помимо этих сценариев у нас есть большое количество отмен заказов покупателями и продавцами по разным причинам — например, если товара вдруг не оказалось в наличии. Эти сценарии тоже нужно было разделить.

А ещё перезаказы важно научиться выделять среди других отмен — для этого нам нужно было определить условия, при которых ситуацию можно считать перезаказом.

Прошлись по списку всех причин отмены продавцами и покупателями и тоже разделили их по группам. Мы опрашиваем продавцов и покупателей, если заказ не состоялся. Так мы собрали примерно 40 причин отмен покупателями и 60 — продавцами.

Мы прошли по этому списку и распределили причины по группам: потеряли мы заказ или нет. Вот несколько примеров, которые показывают, как мы рассуждали:

Бывали и пограничные случаи, где мы не могли отнести причину к конкретной группе. Таким мы присваивали вес 0,5, и одну половину заказа относили в группу с потерей заказа, а другую — в группу без потери.

Например, так мы поступили с отменой по причине «Легче встретиться лично». С одной стороны, личная встреча может быть дешевле или быстрее доставки, и нам тяжело повлиять на это в моменте. Но с другой стороны мы верим, что делая доставку доступнее, удобнее и быстрее, мы сократим количество личных встреч и, соответственно, долю отмен по этой причине.

Мы отнесли «Другую причину» в группу отмен с потерей заказа, потому что не хотели сильнее усложнять метрику. Мы знаем, что на самом деле не все заказы, отменённые по «другой причине», стоит считать потерянными. А ещё доля потерь по этой причине может меняться со временем, и у нас нет возможности каждый раз перепроверять это. Поэтому мы решили, что будем считать всё, что отменено «по другой причине», потерями, но при этом держать в голове, что реальная ситуация чуть лучше.

Добавили учёт перезаказов. Определили критерии для перезаказов: более мягкие для сделки с тем же продавцом и более жёсткие для сделки с другим.

Проверили результаты вручную и убедились, что точность таких условий выше 90%.

Есть некоторые причины отмены, которые подразумевают перезаказ, например «Переоформление, укажу другой адрес». В таких случаях, если перезаказ не состоится, мы считаем заказы потерянными.

Мы применили новую классификацию к данным по отменам и получили другую структуру относимости. Раньше все отмены учитывались однородно, но теперь разбиты детальнее:

Рассмотрим поближе часть с отменёнными заказами:

Получается, больше половины потенциала нашей метрики занимают отмены без потери заказа и перезаказы. Их доля в потенциале — примерно 54%:

Физический смысл этих расчётов

54% отмененных заказов это:

— Перезаказы, которые всё равно превратятся в отправления Авито Доставкой

— Отмены, на которые мы можем повлиять, но это не даст новых отправлений. Например, продавец отменяет заказ, потому что у него закончился товар. Мы просим его внимательнее следить за остатками: он следит, поэтому мы предотвращаем подобную отмену. Но это не приносит новых отправлений — только снижает количество оплаченных заказов.

— Отмены, на которые мы не можем повлиять. Например, продавец отменил заказ, потому что передумал продавать личную вещь.

Рост относимости в этой группе не повлияет на количество реальных сделок. И только на оставшиеся 46% отменённых заказов мы можем как-то повлиять.

Сейчас объясню, что это значит, и как на самом деле вырастет количество отправленных заказов, если относимость вырастет на один процентный пункт.

Например, продавцы получили 100 000 заказов, и только 76 700 отправили — относимость составляет 76,7%. Предположим, что относимость выросла на один процентный пункт, до 77,7% равномерно по всей структуре метрики. Как это повлияет на количество отправленных заказов?

До исследования: У нас было 76 700 отправленных заказов, теперь — 77 700, на 1000 больше. Значит, прирост = 1000 / 76 700 = 1,3%.

🤩 Вырастили отправления на 1% → получили на 1,3% больше отправленных заказов.

Сейчас. Только прирост в группе «отмены с потерей» увеличит общее количество отправленных заказов. Доля таких отмен — 46%. Получается, количество отправленных заказов выросло на 1000 × 46% = 460. Значит, прирост = 460 / 76 700 = 0,6%.

🤔 Вырастили отправления на 1% → получили на 0,6% больше заказов.

Раньше мы считали, что увеличение относимости до 100% дало бы примерно 30-процентный прирост заказов:

Но после исследования метрики мы видим, что максимальный прирост реальных заказов будет меньше. Если мы устраним все причины, на которые сможем влиять и из-за которых теряем отправления, это даст прирост только на 13,9%.

На практике — даже хуже

Мы однократно проанализировали, что лежит в «другая причина отмены» и «время не отнесение или подтверждение заказа вышло» и пришли к выводам, что реальный потенциал метрики ещё ниже. Максимальный прирост к заказам — не 13,9%, а всего примерно 12%.

Исследование дало несколько важных результатов:

Мы решили не держать относимость в приоритете и не тратить ресурсы на её рост. Метрика содержит в себе разнообразные причины отмены, над которыми нужно работать отдельно, а это отнимет слишком много ресурсов.

Мы сгруппировали схожие причины по группам, чтобы уменьшить количество направлений. Заодно хотели проверить, не найдётся ли крупная зона роста, которую можно закрыть, создав какой-то новый продукт.

Но таких направлений не нашлось: самая крупная сгруппированная причина могла дать +1,7% к отправленным заказам. При этом она таит в себе много неопределённости, в том числе отмены «без потери заказа». Также мы понимаем, что свести причину отмены к нулю мы в любом случае не сможем.

Поэтому мы перестали держать метрику в списке самых важных и фокусных. При этом она остаётся полезной, потому что является хорошим индикатором возникновения проблем.

Новая метрика помогает лучше понимать, что происходит в бизнесе. Например, недавно у нас упало количество оплаченных заказов, но при этом выросла относимость. Раньше такое было бы странно, но благодаря новой структуре метрики, мы заметили, что это случилось из-за снижения количества перезаказов у того же продавца. Теперь это не воспринимается как проблема: раз перезаказы падают, оплаченных заказов тоже становится меньше, но отправленных — больше.

Мы лучше интерпретируем происходящее с метрикой. Не каждое падение относимости это плохо и не каждый рост — хорошо. В августе был кейс, когда относимость выросла, но и доля отмен, которые мы принимаем за «отмены с потерей заказа» тоже выросла:

Исследование перевернуло наше представление о потенциале метрики. Новую информацию мы учитываем при планировании финансового года и будущих инициатив. Так аналитика и спасла наши ресурсы на буст метрики.

Итого, мы: