HR-GPT: практический кейс

LinkedIn провел опрос среди двух тысяч своих пользователей, занятых на лидирующих позициях в сфере найма сотрудников. Их спросили о том, как часто они используют в своей работе большие языковые модели (LLM). Попробуем провести серию экспериментов, которые подтвердили бы мнение техно-оптимистов из числа опрошенных.

Глядя на результаты опроса, нетрудно сделать вывод, что картина для прорывной технологии достаточно позитивная и демонстрирует явную тенденцию, однако HR-мир явно еще не чувствует себя достаточно уверенно в обращении с новыми инструментами:

Так все-таки, насколько текущие настроения рынка оправданы?

В рамках небольшого мини-исследования мы силами своей команды HR-специалистов, LLM-экспертов и профессионалов из рынка провели серию экспериментов на реальных данных, сравнив эффективность применения LLM (а конкретно – самый свежий gpt-4-turbo от openai в его варианте для API, то есть без применения перков именно продуктового chatGPT) для типичных задач современного найма.

Для этого мы взяли несколько реальных вакансий, сформировали формальные требования к соискателям, выгрузили из джоб-борды (не указываем, какой, но все понимают, что это был слоненок) по сотне наиболее вовлеченных в найм специалистов в каждой из областей, для верности искали только тех, кто за последние сутки был на сайте и указал статус “в активном поиске”, для чистоты эксперимента оставили специалистов с релевантным опытом не менее двух лет и только тех, кто был готов переехать в Москву на полный рабочий день в офис.

Основная задача эксперимента проста – показать способность современных коммерческих LLM закрывать собой (полностью или частично) как подготовительные этапы найма по декомпозиции требований вакансии, отбору кандидатов и формированию на основе шорт-листа наиболее подходящих под описание вакансии кандидатов на проведение собеседования, так и осуществление последующего анализа обработки результатов такого собеседования (в особенности негативных). Дополнительно как плюс рассматривались любые артефакты процесса, которые помогли бы живому HR или заменяющему его тимлиду в процессе найма, помимо собственно процесса отбора, например, при подготовке к проведению интервью.

Мы взяли из тематических телеграм-каналов три случайных позиции – этими вакансиями оказались CTO в стартап, senior react-native developer и маркетолог мобильных приложений – после чего попросили chatGPT выделить формальные требования к технологическому стеку, опыту и другим описательным характеристикам резюме идеального соискателя.

Далее мы взяли эти данные, включая описания вакансий, другие вводные от нашего штатного HR, и сравнили результаты того, что удалось получить по итогам просмотра живому специалисту в предметной области (т.е. знакомому с особенностями конкретной позиции), с тем, что произвел на свет механический ассистент. На предварительном этапе отбора базовые фильтры в целом совпадали.

При этом мы механически подготовили три базовых “шапки” виртуального ассистента (по одной на каждую вакансию) с кратким описанием задачи, после чего машинально скормили API каждое из CV по очереди (то есть сравнивать их LLM не могла, она видела одни и те же вводные плюс текст резюме). Машине предлагалось на первом этапе а) оценить по шкале от 0 до 10 насколько кандидат хорош б) без уточнения критериев мы попросили робота описать слабые и сильные стороны.

По данному параметру из ответа чатбота мы механически вычеркнули всех, кто получил менее 9 баллов (продолжая следить за тем, пройдут или не пройдут сквозь это сито наиболее подходящие кандидаты с точки зрения живого специалиста-асессора). Если количество подходящих соискателей оказывалось слишком небольшим или вообще нулевым, мы планировали вернуться к первичной выборке, однако де-факто этого не понадобилось – во всех трёх случаях мы получили от 10 до 20 подходящих по мнению нейросетки кандидатов.

Затем финалисты по каждой из вакансий попадали на финальный отбор. Для этого машине отдавались уже все кандидаты одновременно, на вход подавалась придуманная нами из головы “обратная связь” от HR о том, почему некие ранее проинтервьюированные кандидаты не были наняты (тут в случае фронтендера описывалось не пройденное тестовое задание, для маркетолога уточнялось отсутствие опыта со значительным бюджетом, а для CTO дополнительная информация состояла в том, что для него важна роль ко-фаундера стартарпа, а также фокусировалась специфика стартапа – edtech), после чего машинке предлагалось вновь отобрать лучших кандидатов с подробным описанием плюсов и минусов каждого. Ну и в финале LLM было предложено задать суперфиналистам серию вопросов, ответов на которые в их резюме не было, но которые были бы важны в определении наиболее желательного кандидата.

Таким образом мы хотели бы покрыть сразу заметную часть процесса найма в его части массового и интеллектуального отбора, потому что, например, сама задача переписать вакансию или дополнить ее показалась нам достаточно банальной и уже хорошо доказанной по итогам опроса выше. С этим машина точно бы справилась, нам хотелось бы понять ее способности в более интеллектуальном и менее детерминированном труде.

Краткие формулировки вакансий, ключевые навыки и технологический стэк машина формировала почти идеально, хотя иногда и слишком углублялась в частности (что в реальном кейсе было бы легко отмодерировано человеком). С фильтрацией откровенно не подходящих кандидатов машина также справилась очень хорошо, производя на свет такие брифы:

При этом те кандидаты, которые были независимым от машины образом отобраны как лучшие, у чатбота также получили высший балл:

Несмотря на то, что в явном виде роботу не давалось вводных о том, что нужно отбирать именно опытных соло-игроков, подходящих для ранней фазы стартапа, машина вполне справлялась с этим сама, формулируя соответствующие критерии для отбора. В общем и целом отбор кандидатов признан успешным и похожим на то, что сумел бы проделать достаточно опытный HR со знаниями по конкретным позициям или же непосредственно специалист в данной области, при этом сама достаточно муторная работа по фильтрации сотни кандидатов была, разумеется, проделана значительно быстрее и в рамках разумного бюджета.

Тут машинка должна была показать навык в углубленном анализе на основе полного списка прошедших в финал, в частности ей было предложено отобрать самых подходящих кандидатов без уточнения, что в данном случае означает “наиболее подходящий”. Тут чатботу была предоставлена максимальная свобода действий, чем он не преминул воспользоваться, отвечая следующим образом:

В данном случае, именно эти два кандидата были отобраны ручным поиском живым человеком. Ни один из брифов, составленных по финалистам, не вызвал при ручном просмотре никаких замечаний, результаты работы chatGPT по всем трем вакансиям были признаны успешными.

Однако все мы знаем, что вероятность нанять наилучшего кандидата далека от стопроцентной даже для известной компании с позитивным образом на рынке. Значит, всегда нужны запасные. Плюс мы же помним вводную про кандидатов, якобы не угодивших ранее придирчивым нанимателям, специально подготовленную для машины в качестве исходных данных. Кто из финалистов по мнению робота столкнулся бы с теми же проблемами, а кто напротив, имеет большие шансы пройти отбор?

По нашему заданию чатбот по каждому из соискателей составил вполне не комплиментарный отзыв, уточняющий, кто скорее всего не справится с тестовым, не сумеет быстро войти в процесс или же вообще не будет готов выполнить тестовое задание (этот робот умеет читать мысли!), а кто, напротив, кажется удачным кандидатом на замену двум лидерам, если они не согласятся принять оффер. Так были отобраны еще трое для проведения уточняющей сессии. Тут машина тоже справилась почти идеально – живой человек в большинстве случаев соглашался с роботом.

Наконец, соискатель как правило не отвечает на все 100% вопросов, ответы на которые являются ключевыми для каждой из вакансий. Потому мы приступили к задаче формулирования уточняющих вопросов, вот один из примеров для случая поиска CTO:

Технические проекты "под ключ": Ваш опыт включает работу с широким спектром технологий. Могли бы вы привести примеры проектов, которые вы вели "под ключ", от идеи до запуска? Какие технологии были использованы?

Управление малыми командами: Как вы подходите к управлению малыми командами разработчиков, особенно в условиях ограниченных ресурсов стартапа? Как вы мотивируете команду и поддерживаете высокий уровень производительности?

Привлечение и удержание талантов: Какие стратегии вы используете для привлечения и удержания высококвалифицированных специалистов в команде, особенно учитывая возможные ограничения бюджета стартапа?

Работа с инвесторами и заинтересованными сторонами: Каков ваш опыт взаимодействия с инвесторами и другими ключевыми заинтересованными сторонами? Как вы убеждаете их в ценности технических решений и стратегий?

Адаптация к изменениям: Стартапы часто сталкиваются с необходимостью быстро адаптироваться к изменяющимся условиям рынка. Могли бы вы привести пример, когда вам пришлось быстро адаптировать технологическую стратегию или продукт в ответ на изменения внешней среды?

Как нам показалось, машина с подбором вопросов справилась и подошла к ним исчерпывающе, по сути составив готовый план будущего интервью. При этом каждый из финалистов получал персонализированный подход, вопросы были заметно таргетированными под каждое резюме.

Вот также пример для react-native:

Работа в команде и самостоятельность: Как вы оцениваете свою способность работать в команде и самостоятельно? Можете ли вы привести примеры, когда вам приходилось брать на себя лидерство в проекте или когда вы успешно работали над задачами в одиночку?

Проблемы и решения: С какими наиболее сложными проблемами вы сталкивались при разработке на React Native и как вы их решали?

Инструменты и технологии: В вашем резюме упоминаются различные технологии, но могли бы вы уточнить, какой опыт у вас есть с использованием библиотеки Reanimated и других инструментов для создания сложных анимаций и интерактивных интерфейсов в React Native?

Как видно, тут представлена удачная компиляция из вакансии и общих “знаниях” о данной профессиональной сфере деятельности. Впрочем, довольно неудивительно, задачи компиляции для современных LLM считаются наиболее значимыми, и на них разработчики коммерческих генеративных сетей особо фокусируются в своей продуктовой работе.

В своем небольшом исследовании на трех случайных вакансиях и на сотне случайных анонимизированных кандидатов мы проверили всю цепочку предварительного отбора кандидатов перед интервью, для чего в три захода кратко декомпозировали формальные требования к соискателям, после чего успешно выделили сначала просто подходящих, а затем наилучших кандидатов.

При этом мы параллельно вкладывали человеческие усилия специалистов в предметной области (что почти всегда слишком затратно на таком этапе найма) для верификации успешности данного процесса. В результате ни один из отобранных человеком кандидатов не прошел мимо финала, причем одновременно был сформирован пул “запасных” кандидатов второго эшелона, а также подготовлен персонализированный бриф по каждому из них – сильные и слабые стороны, вопросы для уточнения и мини-аналитика по итогам получения “обратной связи” от HR со стороны нанимающей стороны. Отдельно стоит отметить, что в эксперименте использовались исключительно простые техники вопрос-ответ без применения дополнительной аугментации запросов предметными знаниями, а кандидаты рассматривались как по отдельности, так и списком, где они успешно подвергались сравнительному анализу.

Данное исследование наглядно демонстрирует преимущества и возможности LLM-инструментария в области HR. Надеемся, что его результаты помогут коллегам расширить горизонты возможной применимости генеративных нейросетей в процессе поиска талантов, особенно там, где это касается позиций, предполагающих заметный поток соискателей.