Как в Авито Работа создавали ассистента и почему наш чат-бот не здоровается

Мы уже начинали рассказывать, как команда Авито Работы придумала запустить ассистента, который помогает пользователям с поиском вакансий. Теперь — о самом интересном: как тестировали, какие баги находили и над чем еще нужно работать.

В декабре 2019 года мы запустили первую версию чат-бота для пользователей, которые искали работу водителя.

На этом этапе:

• 1222 человек получили push-приглашение побеседовать с ботом.
• Из них 25% начали диалог.
• И только 9,5% создали резюме, то есть ответили на все вопросы.

Мы решили выяснить, в чем дело, и связались с соискателями.

Оказалось, что люди покидали диалог в основном из-за трёх причин:

- Соискатель в момент между получением push-уведомления и окончанием диалоги с чат-ботом получал приглашение от работодателя. Человек не видел смысла продолжать;

- У некоторых людей были сложности с русским языком;

- Пользователь по ошибке нажимал не туда.

Что мы cделали:

- Мы дали соискателю возможность вернуться к взаимодействию с чат-ботом позже. Теперь на предложение начать диалог были не только ответы «да» и «нет», но и вариант «позже»;

- Чтобы помочь соискателям, которые имеют сложности с русским языком, мы упростили формулировки вопросов и добавили подсказки;

Мы столкнулись с еще одной проблемой. На вопрос о желаемой позиции люди отвечали: «с высокой зарплатой», «транспорт и логистика», «я не знаю» или «водитель категории Е». То есть наши соискатели пишут всё, что угодно, кроме чёткого названия должности.

Все эти ответы впоследствии становились названиями резюме соискателей, поэтому было важно получать корректные ответы. В результате нам пришлось, во-первых, ограничить количество символов в ответе, во-вторых — переформулировать вопрос, добавить подсказку: «Какая должность вас интересует? Напишите название, например: продавец. Если неважно, напишите: «Любая работа».

Месяц спустя мы сделали второе тестирование. Участвовали 5000 пользователей, которые откликались на вакансии продавца, повара, водителя, курьера, администратора, уборщика и дополнительно на категории «студенты/без опыта».

На втором этапе результаты сильно не изменились:(

• конверсия на начале диалога выросла на 3,5% (и стала 28,5%)
• а на этапе создание резюме — на 5,5% (и стала 15%)

Пообщавшись с соискателями, мы столкнулись с новой проблемой: люди не понимали, в чем ценность их разговора с ботом. Многие уходили на вопросе «Хотите ли вы пообщаться с ботом?» и не понимали смысл создания резюме. Поэтому мы изменили два момента:

• больше не задавали дополнительные вводные вопросы, а сразу же спрашивали о желаемой вакансии

• дали пользователю понимание, что он получит в результате взаимодействия с роботом. Мы объяснили: создадим резюме, проанализируем его и порекомендуем для вас подходящие вакансии. Работа — ценно, сам факт резюме — не очень.

• Чат-бот перестал здороваться, но не потому, что он не вежлив. Дело в том, что люди любят отвечать приветствием на приветствие: на «Здравствуйте! Какая должность вас интересует?» мы получали: «Привет! Кассир». И система создавала резюме на «Привет! Кассира». Поэтому слово «здравствуйте» пришлось убрать — люди в ответ здороваться перестали.
• Мы много экспериментировали с порядком вопросов. Выяснилось, что самые легкие вопросы нужно ставить в начале, а сложные — в конце, когда пользователь психологически уже готов отвечать более развёрнуто, чем просто «да» или «нет». Например, если речь идет про указание адреса или выбор локации на карте.
  
• Пользователям, которые по какой-то причине покинули диалог на любом этапе, мы стали отправлять повторное приглашение. Мы боялись надоесть, но выяснили, что люди переставали общаться с ботом по объективным причинам — например, были за рулем. Поэтому тем, кто прошел хотя бы один шаг, мы отправили напоминания: «Вы начали общение с ботом но почему-то не закончили». Теперь напоминаем через 2 часа после контакта и утром на следующий день.

После второго этапа доработок конверсия значительно улучшилась — мы решили, что это оптимистичные цифры и стали предлагать взаимодействие с чат-ботом каждому зарегистрированному пользователю Авито Работа.

Воронка и конверсии на сегодня выглядят вот так: создают резюме 30% соискателей.

И при этом, скорость роста базы выросла на 150% MoM

• Будем повышать качество резюме

Сейчас исследования говорят о том, что спрос на резюме «синего воротничка», которое создается с помощью чат-бота Авито Работы, не намного хуже, чем спрос на резюме, которое создает человек сам, но нам есть куда расти и в следующем квартале мы этим займемся. Мы сделаем так, что резюме от ассистента Авито будут даже более качественными, чем обычные.

• Будем улучшать рекомендации

Мы хотим, чтобы наши соискатели тратили меньше времени на поиск нужной им вакансии и видели только подходящий контент. Сейчас 60-70% пользователей Авито Работа в завершении диалога с чат-ботом получают релевантные их параметрам поиска рекомендации. Но по-прежнему остаются 30-40% пользователей, которые отмечают, что рекомендации им не подходят. Среди них примерно 10% — люди, которым нам сложно что-то порекомендовать, например, у нас просто нет подходящих вакансий (например, разработчикам). И 20-30% — та зона роста, с которой мы будем работать.

Мы знаем, как повысить показатель релевантности рекомендаций до 70-80% уже в следующем квартале. Что будем делать?

1. Во-первых, учитывать в онлайн режиме негативные отклики пользователей (человек, получив предложения по вакансиям, может выбрать между «показать еще» и «мне не подходит»).
2. Во-вторых, будем учитывать соответствие социально-демографического таргетинга определенным вакансиям. Проанализируем, на какие вакансии откликаются люди с конкретными данными «пол-возраст-гражданство» — и будем рекомендовать им что-то похожее. У соискателя также останется возможность получать и откликаться на совершенно непривычные ранее вакансии.
   
3. В-третьих, проработаем историю с географией. Будем лучше учитывать локацию, которую обозначает пользователь, и предлагать как можно более близкие вакансии. Также выделим позиции, для которых местоположение не играет роли. Это может быть работа вахтовым методом, или позиция дальнобойщика.
   

• Упростим дальнейший путь соискателя и оптимизируем воронку для работодателя.

Со дня на день у нас будут тестироваться новые фичи. Пока мы придержим интригу о том, что это будет, но вернемся обязательно с результатами экспериментов.

И, конечно, мы планируем, что в результате всей большой работы над улучшением базы данных соискателей мы увеличим заработок на резюме в 2,5 раза.