Как в Авито Работа создавали ассистента и почему наш чат-бот не здоровается
Мы уже начинали рассказывать, как команда Авито Работы придумала запустить ассистента, который помогает пользователям с поиском вакансий. Теперь — о самом интересном: как тестировали, какие баги находили и над чем еще нужно работать.
Запуск первый. Русский язык и «позже»
В декабре 2019 года мы запустили первую версию чат-бота для пользователей, которые искали работу водителя.
На этом этапе:
- 1222 человек получили push-приглашение побеседовать с ботом.
- Из них 25% начали диалог.
- И только 9,5% создали резюме, то есть ответили на все вопросы.
Мы решили выяснить, в чем дело, и связались с соискателями.
Оказалось, что люди покидали диалог в основном из-за трёх причин:
- Соискатель в момент между получением push-уведомления и окончанием диалоги с чат-ботом получал приглашение от работодателя. Человек не видел смысла продолжать;
- У некоторых людей были сложности с русским языком;
- Пользователь по ошибке нажимал не туда.
Что мы cделали:
- Мы дали соискателю возможность вернуться к взаимодействию с чат-ботом позже. Теперь на предложение начать диалог были не только ответы «да» и «нет», но и вариант «позже»;
- Чтобы помочь соискателям, которые имеют сложности с русским языком, мы упростили формулировки вопросов и добавили подсказки;
Мы столкнулись с еще одной проблемой. На вопрос о желаемой позиции люди отвечали: «с высокой зарплатой», «транспорт и логистика», «я не знаю» или «водитель категории Е». То есть наши соискатели пишут всё, что угодно, кроме чёткого названия должности.
Все эти ответы впоследствии становились названиями резюме соискателей, поэтому было важно получать корректные ответы. В результате нам пришлось, во-первых, ограничить количество символов в ответе, во-вторых — переформулировать вопрос, добавить подсказку: «Какая должность вас интересует? Напишите название, например: продавец. Если неважно, напишите: «Любая работа».
Запуск второй. В чем ценность взаимодействия с ботом для соискателей
Месяц спустя мы сделали второе тестирование. Участвовали 5000 пользователей, которые откликались на вакансии продавца, повара, водителя, курьера, администратора, уборщика и дополнительно на категории «студенты/без опыта».
На втором этапе результаты сильно не изменились:(
- конверсия на начале диалога выросла на 3,5% (и стала 28,5%)
- а на этапе создание резюме — на 5,5% (и стала 15%)
Пообщавшись с соискателями, мы столкнулись с новой проблемой: люди не понимали, в чем ценность их разговора с ботом. Многие уходили на вопросе «Хотите ли вы пообщаться с ботом?» и не понимали смысл создания резюме. Поэтому мы изменили два момента:
- больше не задавали дополнительные вводные вопросы, а сразу же спрашивали о желаемой вакансии
дали пользователю понимание, что он получит в результате взаимодействия с роботом. Мы объяснили: создадим резюме, проанализируем его и порекомендуем для вас подходящие вакансии. Работа — ценно, сам факт резюме — не очень.
Что еще было докручено:
- Чат-бот перестал здороваться, но не потому, что он не вежлив. Дело в том, что люди любят отвечать приветствием на приветствие: на «Здравствуйте! Какая должность вас интересует?» мы получали: «Привет! Кассир». И система создавала резюме на «Привет! Кассира». Поэтому слово «здравствуйте» пришлось убрать — люди в ответ здороваться перестали.
- Мы много экспериментировали с порядком вопросов. Выяснилось, что самые легкие вопросы нужно ставить в начале, а сложные — в конце, когда пользователь психологически уже готов отвечать более развёрнуто, чем просто «да» или «нет». Например, если речь идет про указание адреса или выбор локации на карте.
- Пользователям, которые по какой-то причине покинули диалог на любом этапе, мы стали отправлять повторное приглашение. Мы боялись надоесть, но выяснили, что люди переставали общаться с ботом по объективным причинам — например, были за рулем. Поэтому тем, кто прошел хотя бы один шаг, мы отправили напоминания: «Вы начали общение с ботом но почему-то не закончили». Теперь напоминаем через 2 часа после контакта и утром на следующий день.
После второго этапа доработок конверсия значительно улучшилась — мы решили, что это оптимистичные цифры и стали предлагать взаимодействие с чат-ботом каждому зарегистрированному пользователю Авито Работа.
Воронка и конверсии на сегодня выглядят вот так: создают резюме 30% соискателей.
И при этом, скорость роста базы выросла на 150% MoM
Над чем мы продолжим работать и куда идем
- Будем повышать качество резюме
Сейчас исследования говорят о том, что спрос на резюме «синего воротничка», которое создается с помощью чат-бота Авито Работы, не намного хуже, чем спрос на резюме, которое создает человек сам, но нам есть куда расти и в следующем квартале мы этим займемся. Мы сделаем так, что резюме от ассистента Авито будут даже более качественными, чем обычные.
- Будем улучшать рекомендации
Мы хотим, чтобы наши соискатели тратили меньше времени на поиск нужной им вакансии и видели только подходящий контент. Сейчас 60-70% пользователей Авито Работа в завершении диалога с чат-ботом получают релевантные их параметрам поиска рекомендации. Но по-прежнему остаются 30-40% пользователей, которые отмечают, что рекомендации им не подходят. Среди них примерно 10% — люди, которым нам сложно что-то порекомендовать, например, у нас просто нет подходящих вакансий (например, разработчикам). И 20-30% — та зона роста, с которой мы будем работать.
Мы знаем, как повысить показатель релевантности рекомендаций до 70-80% уже в следующем квартале. Что будем делать?
- Во-первых, учитывать в онлайн режиме негативные отклики пользователей (человек, получив предложения по вакансиям, может выбрать между «показать еще» и «мне не подходит»).
- Во-вторых, будем учитывать соответствие социально-демографического таргетинга определенным вакансиям. Проанализируем, на какие вакансии откликаются люди с конкретными данными «пол-возраст-гражданство» — и будем рекомендовать им что-то похожее. У соискателя также останется возможность получать и откликаться на совершенно непривычные ранее вакансии.
- В-третьих, проработаем историю с географией. Будем лучше учитывать локацию, которую обозначает пользователь, и предлагать как можно более близкие вакансии. Также выделим позиции, для которых местоположение не играет роли. Это может быть работа вахтовым методом, или позиция дальнобойщика.
- Упростим дальнейший путь соискателя и оптимизируем воронку для работодателя.
Со дня на день у нас будут тестироваться новые фичи. Пока мы придержим интригу о том, что это будет, но вернемся обязательно с результатами экспериментов.
И, конечно, мы планируем, что в результате всей большой работы над улучшением базы данных соискателей мы увеличим заработок на резюме в 2,5 раза.
Уважаемое Авито, здравствуйте! Отправлял в вашу поддержку сообщения, но там очень долго отвечают, а я теряю клиентов и свои деньги. Поймите пожалуйста, я пользовался лишь только этим аккаунтом tkilahboom@gmail.com, больше не каким. Потому что не хотел рисковать, уже был ознакомлен с правилами Авито. Это общий рабочий телефон, мы продаём квартиры и с него выкладываем объявления, возможно кто-то из моих коллег допустил ошибку, не буду утверждать. Поймите пожалуйста, это мой хлеб, разблокируйте мне пожалуйста мой этот аккаунт tkilahboom@gmail.com, потому что другого у меня нет. А другие блокируйте, к ним отношения я не имею и уверен в этом на все 100%. Просто по человечески прошу вас понять меня. С уважением, Кирилл Александрович.
Уважаемые господа из Авито как редактировать информацию переданную ассистенту. Например искал один тип работы, затем другой.
"То есть наши соискатели пишут всё, что угодно, кроме чёткого названия должности"
"Поэтому слово «здравствуйте» пришлось убрать — люди в ответ здороваться перестали."
- вообще конечно это боль. кожаные мешки ппц какие нелогичные я когда своего секретаря Машу делал, столько всего собрал, ужас просто, в страшном сне себе не можешь представить что сделают люди в продукте ))
Интересный опыт. Опечатались
спасибо) пофиксили!