Нужно было быстро обработать 127 откликов на вакансию и мы сделали ИИ-сервис, который справился в 5 раз быстрее чем человек

Всем привет! Меня зовут Константин Косвинцев, я руководитель компании ВишераСофт.

Мы разрабатываем AI-сервис SmartHire, предназначенный для оценки навыков соискателей при помощи кейс-интервью.

Если долго смотреть на процессы интервью с кандидатами – то можно заметить, что 80% всех вопросов повторяются. Справиться с этим можно при помощи кейс-интервью, ориентированных на нужную позицию.
Здесь я рассказываю, как мы применяем искусственный интеллект для подбора и оценки кандидатов, с какими сложностями мы сталкиваемся – и как их решаем.

Всегда буду рад обсудить опыт применения ИИ в практических задачах, пишите на @K_Kosvintsev.

В любой специальности соискатель назовет 5-10 самых любимых вопросов рекрутеров для оценки «хард» и «софт» - навыков. И эти вопросы повторяются на собеседованиях практически в любую компанию.

Это приводит к тому, что:

люди просто разучивают ответы на стандартные вопросы
рекрутер и руководитель после прохождения интервью получают оценку не реальных навыков кандидата в будущих рабочих ситуациях – а оценку того, насколько человек подготовился к прохождению интервью.

В теории такие ситуации могут решаться за счет применения кейс-интервью, «заточенных» под конкретную вакансию.

Кейс-интервью (Case Interview) – метод оценки кандидатов на основании «решения» рабочих ситуаций.
Например, для оценки навыка "Мониторинга рынка труда у кандидата на позицию "HR-специалист" может быть предложен такой кейс (рабочая ситуация):
"В кадровом агентстве "NNN" наблюдается снижение количества подходящих кандидатов, что увеличивает сроки закрытия вакансий и снижает удовлетворенность клиентов. Вам поручено разработать стратегию мониторинга рынка труда, чтобы улучшить процесс подбора персонала. Как бы Вы собрали и проанализировали информацию о текущих тенденциях на рынке труда, чтобы адаптировать стратегию поиска кандидатов?"

Но на практике применение кейс-интервью встречается не часто (либо опять-же – используются «типовые» кейсы и вопросы).

А было-бы красиво:

для каждой вакансии – свой набор кейсов (рабочих ситуаций), направленных на оценку необходимых для данной вакансии компетенций
в ходе решения этих кейсов кандидат демонстрирует свои навыки, которые ему точно пригодятся для решения его рабочих задач на будущем рабочем месте.

Кейсы дают возможность кандидату погрузиться, добавляют интерактивности и вовлеченности, позволяют выстроить логическую цепочку и снизить стресс.
А рекрутер и работодатель сразу могут понять – насколько навыки того или иного человека близки именно к их потребности, к их конкретной вакансии.

Кадр из мультфильма «Вовка в Тридевятом царстве»

Для проверки этой красивой идеи мы попробовали применить подход кейс-интервью на наши позиции как работодателя – и у нас «сходу» не получилось.

Как мы действовали:

описание вакансии (достаточно того, что есть на hh.ru)
формулируем кейсы и вопросы
«прогоняем» всех кандидатов (на одну и ту-же вакансию) через одни и те-же кейсы и вопросы, оцениваем ответы
ранжируем кандидатов по оценкам, выбираем самых подходящих.

На практике мы столкнулись со следующими сложностями:

процесс подготовки рабочих ситуаций и вопросов оказался очень сложным и трудозатратным
разные интервьюеры по-разному оценивали одних и тех-же кандидатов на основании их ответов.

Тогда мы решили облегчить себе жизнь и автоматизировать эти процессы - чтобы объединить все задачи в “единый поток” и использовать современные возможности искусственного интеллекта.

Таким образом «родился» сервис, который выполняет нашу главную цель – уйти от шаблонных вопросов, сделать прохождение интервью уникальным для каждой вакансии (даже если это две вакансии на одноименные позиции - но в разные компании).

У нас была вакансия на джуниор-аналитика с большим количеством откликов - только в первые два дня ее размещения на hh.ru мы получили 127 откликов кандидатов.

Мы попробовали реализованный сервис на нашей вакансии и получили следующие результаты:

Искусственный интеллект действительно может готовить описания рабочих ситуаций и вопросов к ним, может задавать вопросы и оценивать ответы кандидатов - но все зависит от качественной постановки задачи.
Качественная постановка задачи для ИИ - требует экспериментов, времени и усилий.
Эффект от внедрения сервиса на нашей вакансии - экономия времени HR-специалиста на первичные собеседования. Изначально мы закладывали на эти действия (выбор релевантных откликов, обзвоны и первичный контакт) примерно 40 часов - а “по факту” потратили на эти действия только 4-5 часов.

Совместно с несколькими компаниями мы провели эксперименты на их вакансиях. И дополнили наши выводы следующими ограничениями:

Для вакансий с большим количеством откликов (например на позиции маркетологов и HR-специалистов) ИИ позволяет очень значительно сократить время на первичную фильтрацию и отбор кандидатов. Например - на позицию маркетолога в HR-агентство было свыше 500 откликов, по грубым оценкам сервис позволил сэкономить около 60 HR-часов (выбрано 7 лучших кандидатов).
Для “дефицитных” вакансий (где мало кандидатов и мало откликов) применение ИИ может дать обратный эффект - соискатели предпочитают общаться с живыми людьми и могут просто игнорировать предложения пообщаться с ИИ. Можно считать, что общение с “живым” рекрутером становится признаком ценности кандидата со стороны компании-работодателя.

Результаты получились интересные и мы планируем дальше развивать наш ИИ-сервис:

протестировать его на различных специальностях, различных вакансиях
“встроить” сервис в процессы взаимодействия с порталом hh.ru
совместно с HR-экспертами улучшить качество вопросов и описаний кейсов, формируемых при помощи ИИ
сделать эксперименты с применением ИИ для поддержки “холодного поиска” кандидатов.

Буду рад услышать - какие из этих направлений наиболее интересны?.

В следующей статье хочу рассказать про то, как мы применяли искусственный интеллект, как сравнивали разные инструменты (ChatGPT / GigaChat / YandexGPT), с какими сложностями сталкиваемся и как их решаем.

Люди уже давно адаптировались к практике «типовых» вопросов на собеседованиях, заученные ответы не отражают реальные навыки.
Описание рабочей ситуации и набор вопросов «под конкретную вакансию» позволяет оценить готовность кандидатов именно для этой позиции.
Искусственный интеллект может помочь с подготовкой, проведением и оценкой результатов кейс-интервью - но постановка задачи для ИИ также потребует экспериментов, времени и усилий.
Расходы на внедрение ИИ в процессы подбора и оценки кандидатов - точно оправдываются для вакансий с большим количеством откликов.

Сейчас мы проводим пилотирование нашего решения, настраиваем его для конкретных вакансий и HR-процессов.

Приглашаю вас принять участие в beta-тестирование, для этого: