Лого vc.ru

Построение рейтинга исполнителей — на примере Uber, «Яндекс.Такси», Profi.ru и курьерского сервиса Dostavista

Построение рейтинга исполнителей — на примере Uber, «Яндекс.Такси», Profi.ru и курьерского сервиса Dostavista

Основатель сервиса Dostavista Михаил Александровский написал для vc.ru колонку о роли правильно спроектированных рейтингов для сервисов, которые соединяют заказчика с исполнителем.

Поделиться

«Достависта» — сервис срочной курьерской доставки, который работает по модели Uber. Мы получаем заказы через сайт, курьеры работают через мобильное приложение. Запустились в августе 2012 года, и, когда через пять месяцев вышли на 60 доставок в день, появилась потребность ранжировать курьеров.

Отсеивать неадекватных исполнителей — главная задача рейтинга, и старая версия с ней справлялась. Операторы регулярно получали жалобы недовольных рейтингом курьеров. Сначала это не было критично, но с ростом проекта росло и число жалоб. Дошло до того, что операторы потребовали запретить вопросы о рейтинге курьеров. Так обозначилась первая проблема.

Рейтинг учитывает, прибыл ли курьер в указанный клиентом интервал времени. Для этого в приложении используются отметки о прибытии — чекины. Некоторые курьеры поддавались соблазну зачекиниться до передачи посылки. Получалось, что мы обманываем клиентов и получаем неверные данные по маршруту курьера. Эта проблема приводила к ошибкам в планировании.

Приходилось мириться с ещё одной проблемой, решать которую в малых масштабах мы тоже смысла не видели: мы ошибочно блокируем много курьеров.

В августе на рынке «Садовод» в Жулебине курьер Владимир забрал у клиента набор одежды, чтобы доставить на «Преображенскую площадь». Пока Владимир ехал на Преображенку, к клиенту приехал курьер из другой службы.

От другого курьера пахло перегаром. Клиент отказался передавать груз и в негодовании перепутал курьерские службы, ошибочно оставив негативный отзыв о Владимире. Оператор снял Владимира с заказа и заблокировал его аккаунт в приложении, лишив доступа к новым заказам.

Через час Владимир подъехал к «Преображенской площади», открыл приложение и, мягко говоря, удивился. Несправедливость и материальные ценности на руках заставили Владимира связаться с менеджером «Достависты» и добиться решения проблемы. В итоге аккаунт курьера мы разбанили, рейтинг вернули, доставку выполнили в срок.

Таким образом выяснилось, что рейтинг ухудшает условия работы исполнителей сразу по трём направлениям:

  • снижает лояльность курьеров: «рейтинг такой низкий, потому что меня не ценят»;
  • провоцирует курьеров обманывать клиентов (и нас) относительно прибытия на место;
  • ошибочно отсекает значимое число исполнителей.

Каждую осень курьеров не хватает. Поэтому в августе мы решили заняться проблемой оттока сотрудников.

Как работал старый рейтинг

Оценка в старом рейтинге учитывала три показателя, каждому из которых был присвоен вес:

  • Среднее арифметическое 20 последних оценок, 60%.
  • Правильный чекин (в правильном месте и в правильное время), 20%.
  • Приличный «лук», 20%. Курьер загружает фото с телефона в полный рост, внешний вид субъективно оценивает оператор. Мы не модельное агентство, поэтому достаточно быть опрятным и не носить треники на работе.
Рейтинг влияет на доступ к заказам. Схема назначения курьера на заказ следующая.
  • Информация о заказе поступает в мобильное приложение. Курьер видит заказ, однако может отправить запрос только на тот заказ, который успевает выполнить и требованиям которого удовлетворяет. Ценные заказы доступны только курьерам, которые прошли проверку службы безопасности. Заказы с безналичной оплатой доступны только тем, кто оформил соответствующие документы. Специальные требования есть также у других видов заказов: доставка тортов, букетов, выкупа товара курьером и так далее.
  • Через пять минут после первого отклика заказ уходит к исполнителю.
  • Если откликов больше одного и заказ несрочный, то заказ получит курьер с наивысшим рейтингом.
  • Срочные заказы отдаём ближайшему курьеру.

Так выглядит статистика оценок за август 2015.


Оценка Количество оценок Количество комментариев к оценке
1 361 207
2 135 68
3 404 144
4 1148 182
5 34080 7876

34 тысячи «пятёрок», 1150 «четвёрок» и меньше тысячи прочих оценок. При этом семь тысяч «пятёрок» с комментариями — такого большого числа комментариев к «пятеркам» мы не ожидали.

Чтобы лучше понять, как клиенты воспринимают рейтинг курьеров, для каждой оценки мы сформировали облака слов из комментариев.

Оценка Топ часто встречающихся слов
5 Спасибо, отлично, быстро!
4 Опоздал, не позвонил, не было сдачи.
1–3 Опоздал, не позвонил, не было сдачи.

Выводы:

  • 1, 2, 3 и 4 балла в глазах клиента — примерно одно и то же. Следовательно, один и тот же уровень исполнения заказа может быть оценен разными клиентами на 1, 2, 3 и 4 балла.
  • Пятибалльная система рейтингов неадекватна реальной системе оценок клиентов, которая, упрощённо говоря, трёхбалльная: плохо (4 и ниже), хорошо (5) и отлично (5 с комментарием).
  • «Пятёрок» с коментариями в пять раз больше, чем оценок 1, 2, 3 и 4, вместе взятых, — следовательно, комментарии оставляют самые лояльные клиенты.

Перед тем как что-то менять, мы посмотрели, как устроены рейтинги у других операторов, которые работают по аналогичной бизнес-модели.

Рисёрч: Uber, «Яндекс.Такси», Profi.ru

В Uber два рейтинга: водительский и пассажирский. Интерфейс устроен так, что клиент может оставить водителя без оценки, но водитель клиента — нет. По словам оператора, водителей Uber в России блокируют при рейтинге ниже 4,3 баллов. Однако низкие оценки и тут гораздо реже, чем требует действительность, потому что пассажиры опасаются мести водителей. О пассажирском рейтинге Uber данных мало, однако есть один негативный отзыв о его адекватности.

Если водитель поставил пассажиру оценку ниже «четвёрки», операторы сервиса обязательно свяжутся с водителем для выяснения подробностей. Все четверо опрошенных единогласно заявили, что в основном ставят 4 и 5: лень общаться с операторами.

Рейтинг водителя «Яндекс.Такси» рассчитывается за 45 дней, имеет пятибалльную шкалу оценки, новички начинают с 3,3 балла. Рейтинг снижается, если какое-то время не брать заказы. Рейтинга пассажиров нет.

В приложении и на сайте Profi.ru трудно найти исполнителя с рейтингом ниже «четвёрки». По каждому заказу Profi.ru берёт отзыв клиента по телефону.

На основании внутренней инструкции оператор переводит отзыв в шкалу, в которой есть оценки 3, 4, 5, 5+ и 5++. Всё ещё сложнее: заказ назначают на основе репутации исполнителя, в которой, помимо рейтинга, учитывается опыт работы. Исполнители не знают, как именно рассчитывается их рейтинг.

Новый рейтинг «Достависты»: помилования, прозрачность, оценка клиентов

С сентября отдельный диспетчер обзванивает недовольных клиентов и выясняет, почему отзыв был негативным. Каждый день снимаем в среднем 3–4 бана из 10.

Чтобы было понятно, почему мы разбанили курьера, уточнили классификацию проблем.

Полная версия майндмэпа здесь

Вместо чекинов и средней оценки по 20 последним поездкам новый рейтинг учитывает только среднее арифметическое по последним пяти оценкам. Чекины работают, но на рейтинг не влияют.

Каждая оценка ниже 4 встаёт в очередь на звонок. После звонка с курьером либо расстаёмся, либо ставим оценку 4. Курьерам без плохих оценок будут доступны отзывы клиентов и алгоритм подсчёта рейтинга. За любой негативный вопрос клиенту относительно рейтинга или отзыва — пожизненный бан.

Рейтинг Uber глазами водителя: если у тебя «пятёрка», ты просто нормальный водитель, если ниже — что-то недостаточно хорошо. То есть всем водителям приходится постоянно мириться с фактом, что они всё же что-то делают недостаточно хорошо.

Так как «пятёрок» с комментариями в семь раз больше, чем всех остальных оценок вместе, то, если увеличить разброс (дисперсию) оценок, то рейтинг выделит сегмент курьеров-гуру.

Курьерская работа — серьёзный труд со множеством логистических задач. Порой от исполнителя требуются невероятные усилия, чтобы не сорвать выполнение заказа. Выполнил заказ вовремя и без ошибок — это пять. Идеально выполнил особо трудный заказ — это выше пяти.

Поэтому оценке 5 с комментарием новый рейтинг присваивает значение 6. По нашей гипотезе, это должно сильнее мотивировать курьеров, которым достались трудные заказы, так как люди будут понимать, что дополнительные усилия учитываются в оценке.

В ближайших планах — ввести рейтинг заказчиков и сделать шкалу рейтинга курьеров 3-балльной: плохо, нормально и отлично. В каждом варианте будет возможность оставить комментарий.

Внедрение нового рейтинга растянется ещё на 3 месяца. Пока результаты следующие:
  • внедрение «помилований» удержало 40 хороших курьеров за 30 дней. Число вопросов о рейтинге заметно упало, операторы довольны;
  • новые курьеры быстрее включаются в работу: набрать 5 хороших оценок проще, чем 20.

Пост для курьеров в закрытой группе во «ВКонтакте» о новом рейтинге

В целом из истории с рейтингом мы сделали следующие выводы:

  • Недостаточно собирать с пользователей оценку от 1 до 5 и усреднять её, спроектировать хороший рейтинг — более сложная задача .
  • Хорошо спроектированный рейтинг поддерживает не только качество сервиса, но и лояльность исполнителей.

Есть широкий класс сервисов, в которых оплата услуг происходит позадачно. В таких сервисах система лояльности выстраивается практически одинаково. Поэтому мы продолжим изучать механику рейтингов на местных и зарубежных примерах: Kidsout, YouDo, Airbnb, BlaBlaCar, Lyft.

На какие сервисы посоветуют обратить внимание читатели?

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

>Рейтинг Uber глазами водителя: если у тебя «пятёрка», ты просто нормальный водитель, если ниже — что-то недостаточно хорошо. То есть всем водителям приходится постоянно мириться с фактом, что они всё же что-то делают недостаточно хорошо.

В России очень большая проблема у Uber, что время считается через гуглмэпс, который не особо хорошо учитывает пробки. Еще и большинство водителей используют навигатор Яндекса, который, несмотря на жалобы и отметки на народной карте, очень лениво добавляет здания на карту. Значит водитель может не туда подъехать не совсем туда, или время подачи будет существенно больше ожидаемого, что потом прямо отражается на оценки водителя.


Кст, рейтинг свой, если интересно, можно узнать у водителя во время поездки:)

0

Так в чем проблема? Пускай использую 2GIS.

0

Думается мне, что выбор программы для геолокации диктуется не удобством, а стандартом компании

0

чувак, если бы у яныча, рейтинг рассчитывался 45 дней, водители бы охуели )

2. Да, не совсем понял о чем тут?
Как понимаю пиаришь очередной курьерский аля myUber сервис?! А курьером судя по всему и не работал сам?!

Так вот... Курьеры по сути, люди разные, иногда ну просто разные. Они если что не так, могут подъехать и личико попортить. Ну или товарам взять. Варианты на выбор )

1) Насчет Яндекса в тексте есть пруф.
2) Мы, вообще-то, самый первый и самый крупный сервис такого рода в России. И весь наш офис раз в год работает курьерами, включая меня. А статья о том, что наш рейтинг как раз и призван разделять «разных» и «ну просто разных». И у него это всегда получалось. Ни один наш курьер не повредил ни одного клиентского лица за 3 года работы.

Предполагаю, что в этом вопросе хорошо разбираются ребята из «Тематических медиа» (которые Хабр), однако по моим ощущениям они прозрачность и открытость не особо ценят.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Alexander Pershin
HTML Academy

Все перечисленные задачи типовые для IT, просто взял примеры чуть шире просто программирования.

Называя "обезъянками" других IT-специалистов вы показываете великолепнейший уровень дискусии, достойный только высококласснейших программистов, повелителей логики и алгоритмов.

Тезис был простой — на рынке есть море задач, за которые платят деньги, для которых не нужен высокий уровень. И эти простые задачи можно решать хорошо, не будучи суровым программистом.

Куда пойти учиться программисту: советы опытного тимлида, преподавателя и новичка
0
Evgeny Rodionov

Ожидания от комментариев вц: обсуждение маркетинговой стратегии крупной продуктовой сети
Реальность: уровень ок.ру с нытьем про бомжей, кассиров и детей

«Товарооборот на 44% превысил ожидания маркетологов»: история акции с «Прилипалами» в «Дикси»
0
Ivan Rakevich

Ты кто такой? 1 раз тебя вижу.

Facebook запретила Live-голосования на основе реакций и ужесточила правила использования эмодзи
0
Сергей Иванов

если вы хотите сказать что красный и синий провод это CAN-H и CAN-L то объясните где питание к датчику, как к примеру вибромотор 2 отпустит шину если сигнал от акселерометра? автор решил присобачить схему с какого нибудь автофорума, собрал бабки и съеб.......

Смерть стартапа: Как создатели «умного» кольца BioRing собрали $460 тысяч на краудфандинге и исчезли
0
Денис Семенов
Mokselle

Все счастливые стартапы похожи друг на друга в гениальности своей идеи, все неудачные стартапы - неудачливы по своему, но в корне каждой неудачи лежит огромная, политая спермой и мочой инвесторов, куча денег и неумение сдержать себя.

«Я потратил $10 млн и два года на то, что мог выяснить за 4 недели»: основатель Twenty20 об ошибках проекта
0
Показать еще