«Навыки» на hh.ru: как методология и алгоритмы сделали из них «бриллиант»
Как заставить навыки реально работать и быть не просто набором слов, а ориентиром на рынке труда для всех его участников? Сделать процесс найма skill-based осязаемым рабочим инструментом смог hh.ru с участием команды цифрового сервиса Frontliner. Рассказываем, при чём тут точные науки, как команда разглядела клад среди хаотичного списка ключевых навыков и какие возможности это дало.
Skill-based и hh.ru: начало
Skill-based подход подразумевает подбор персонала с опорой на навыки, то есть на то, что кандидат действительно умеет. Это конкретные требования к соискателям, выверенный список профессиональных компетенций и личных качеств, которыми должен обладать представитель каждой специальности, — от софт- до хард-скилов. Те самые навыки, которые включают знания, умения, обладание определёнными технологиями и простые человеческие свойства. Это общемировая тенденция, и сервис hh.ru оказался одним из тех крупных игроков рынка, кто разглядел в тренде skill-based большое будущее для своих продуктов и решил внедрить его на своей платформе.
Это внимание к навыкам и желание переосмыслить тему поиска людей, базируясь не только на том, что они о себе говорят в резюме, а взглянув с другой стороны, через другое измерение. Это тренд, который начался на более продвинутых и крупных рынках. Философия skill-based уже реализована в продуктах, сервисах и фичах LinkedIn, Indeed, SEEK и стала дефолтной для стартапов в оценке, карьерном развитии, EdTech. Менеджмент hh.ru 2−3 года назад включил этот подход в обновлённую стратегию сервиса, посчитав это важным. Это и стало стартовым запросом к нам.
Руководителю hh.ru Михаилу Жукову было очевидно, что skill-based набирает обороты и остаться в стороне от тренда — значит потерять перспективы развития результативного найма и упустить ключевые знания об этих процессах. В то же время не хотелось использовать готовую психометрику или схему ассесмента, попросту подключив их к опциям сервиса. Внедрение skill-based — не только технологическая, но и методологическая задача. Поэтому, чтобы путь от изучения данных до их алгоритмизации был последовательным, подойти к ней стоило экспертно.
Необходимо было сформировать новый объективный подход к отбору и найму. А для этой точечной настройки нужно иметь детальную структуру рынка труда в разрезе навыков, чтобы работодатель смог быстрее найти релевантного кандидата, а соискатель — описать своё профессиональное «я» на языке навыков. Необходимо было выстроить методологическую начинку — таксономию. То есть структуру навыков. Это определенная иерархия того, как у нас живет каталог навыков, по каким профессиям. Чтобы мы под каждую профессию могли рекомендовать самые подходящие навыки.
Идея перехода к skill-based хотя и была стратегически обоснована, но несла в себе много неизвестных составляющих. Её разработку начали с нуля. Потребовалось выполнить серьёзную домашнюю работу, чтобы продать идею внутри команды hh.ru: подготовить несколько сценариев развития skill-based подхода и его развёртывания на площадке сервиса, провести качественные и количественные исследования, приблизиться к наглядности будущего результата.
После потребовалось расставить акценты будущего продукта и понять, каким он будет в итоге: широко используемым для топовых ролей на всём hh.ru или чем-то нишевым и узкопрофильным. Уже в самом начале было ясно, что работа с категоризацией навыков и их структурированием коснётся всех систем сервиса и логичнее будет применить новую схему как можно более масштабно.
В итоге якорными инкрементами проекта стали:
- Модели компетенций
- Выделение подролей
Модели компетенций — это формализованное описание профессии, отвечающее на вопрос «Что должен уметь профессионал в рамках этой профессии?». Этот контекст задаётся и собирается в рамках конкретной компании, а в худшем случае вообще не задаётся. И при отборе кандидата компании, в которых нет формализованных карт компетенций, руководствуются субъективными или очень частичными критериями. Мы, как лидер рынка, поставили перед собой амбициозную задачу формализации компетентностных профилей всех профессий, поскольку обладаем большим объёмом аналитики по рынку труда и хотим создавать больше ценности нашим пользователям.
Помимо субъективности критериев, поиск усложняется и тем, что в одной роли зачастую может быть сразу несколько профессий. В вакансиях с одинаковым названием работодатели часто подразумевают сотрудников с принципиально разным набором скилсетов. К примеру, объявления с «дизайнером» в заголовке могут содержать абсолютно отличающиеся друг от друга ожидания от компетенций кандидата, ведь категорий и профилей в этой профессии очень много. Поэтому чем точнее и детальнее система позволяет работать с описанием, тем быстрее и чётче мэтчинг между работодателями и соискателями.
Выбор сценария и неожиданный «клад»
Когда работа над «Навыками» только начиналась, перед проектной командой стоял выбор между покупкой и адаптацией готовых таксономий и технологий или же разработкой собственной модели и наращиванием экспертности внутри команды. Двигаться решили по второму пути.
А источником для таксономии неожиданно стал раздел «Ключевые навыки» на hh.ru. Неожиданно, потому что до этого он воспринимался скорее как кладовая, хаотичное собрание всех компетенций, умений, знаний и дополнительных софтов, от пресловутой стрессоустойчивости до категорий водительских прав, от шаблонных качеств, которые предлагает сам сервис, до тех, что пользователи добавляли от себя. На деле же оказалось, что это «сундук» с настоящими сокровищами — данными, которые легли в основу методологической экспертизы навыков и позже помогли создать прочную платформу для автоматизации поиска. Но прежде чем использовать ключевые навыки в качестве сырья для моделей компетенций и работать с информацией о навыках в целом, необходимо было верифицировать все вводные.
Как проверяли достоверность данных
Для начала кастдевили, то есть тестировали спрос на skill-based у работодателей. Необходимо было понять, действительно ли они всё чаще нанимают на основе навыков, а не каких-то других данных, или же тренд преувеличен. Интервью с руководителями компаний и эйчарами подтвердило гипотезу.
Затем перешли к экспериментам.
Если говорить про эксперименты, то мы параллельно запустили их в трёх измерениях: пользователи, платформа, данные. Проводили эксперименты с «чистыми» навыками на пользователях, чтобы понять спрос; проверяли валидность данных в разделе «Ключевые навыки», чтобы оценить их реиспользуемость; проводили кастдевы с реальными рекрутерами, чтобы понять, где в процессе отбора возникает больше всего сложностей.
Чтобы проверить спрос, пользователям предлагали заполнить квалификационную анкету и выбрать те компетенции, которыми они владеют. Эксперимент показал: они заинтересованы в инструменте и готовы использовать ассистанс в описании своей квалификации. Это доказали показатели конверсии в заполнении и конверсии по заполнению до конца, которые превысили установленный барьер успешности.
В основу анкеты же легли модели компетенций, разработанные ещё и для задачи проверки валидности данных в базе ключевых навыков.
Мы уже поняли, что «Ключевые навыки» содержат много полезных квалификационных категорий. Челлендж для нас был в том, чтобы понять, насколько валиден и достаточен этот массив данных для описания квалификации в масштабе всего рынка — нужен был эталон для сравнения, система координат. Чтобы подступиться к этой задаче мы сфокусировались на хард-скилах. Мы не нашли достаточно полных для российского рынка таксономий и сформировали полноценные модели компетенций, описывающие весь спектр компетенций внутри роли (часто роль содержала несколько профессий). А затем сравнили, насколько ключевые навыки пересекаются с моделями компетенций: все харды из моделей уже содержались в ключевых навыках. Это означало, что ключевые навыки для нашей задачи являются валидным источником.
Отдельно стояла задача верификации самих моделей компетенций. Для этого при разработке использовали перекрёстную верификацию с участием отраслевых экспертов. Эксперты смотрели не только на модель, но и на то, как её корректируют другие эксперты — лидеры рынка в своей профессии. После того как модели были готовы, они проходили оценку ещё 10 экспертов — на актуальность и полноту.
Только когда команда получила подтверждение тому, что ключевые навыки — это валидный и достаточный источник данных для задачи проекта, сформировали первые модели компетенций с их использованием.
Работа в цифрах и фокус на big data
При создании модели компетенций на каждую топ-роль, то есть роль с наибольшим охватом на hh.ru, на старте работы приходилось до 6000 навыков. После того как она проходила через статистическую обработку и выделение веса навыка, число навыков сужалось до 500. Только по топ-10 самых популярных ролей на платформе команда обработала более 73 000 навыков.
Покажем, как выглядел процесс создания моделей компетенций из ключевых навыков на примере роли бухгалтера: базу в 3500 навыков «сушили», статистически определяя вес каждого навыка для роли — всего до 500 приоритетных навыков. После эти навыки кластеризовали по компетенциям. В итоге получили 308 навыков, распределённых по 22 компетенциям.
«Ключевые навыки» — это уникальная база сведений о рынке, которую за годы работы собрал hh.ru, big data — огромный пласт знаний о работодателях, соискателях и их потребностях, который методологи инвентаризировали, изучили и систематизировали.
Обработанный массив сведений утвердил ключевую мысль, с которой руководство hh.ru и проектная команда брались за направление: продукты, основанные на больших данных, на изученной и классифицированной информации — базис для прорывных возможностей на рынке, причём в глобальном значении. Пусть это и не открытие, но всё же констатация истины, и она стала ещё одним доказательством значимости skill-based, оправданности вложений в него и общих усилий по реализации проекта.
Уточнение продуктовой стратегии
К моменту финального уточнения продуктовой стратегии команда проекта сформировалась окончательно. У него уже был лидер и координатор на платформе hh.ru — Марина Дорохова. И руководитель проекта, СEO сервиса Frontliner Григорий Котомин. Екатерина Беннер, ведущий методолог проекта, лидировала задачи по аналитике данных, подготовке методических рекомендаций и гайдов, выстраивала работу с технической командой. Разработкой со стороны hh.ru руководил Сергей Лобанов. Ещё на этапе старта разработки первых моделей компетенций к проекту подключались коллеги из Frontliner: Никита Давыдов — главный методолог, Светлана Гернер — тимлид разработчиков-методистов, а также отраслевые эксперты по различным специальностям.
После верификационных шагов сфокусировались на автоматизации выделения подролей. Когда механики skill-based стали появляться на продакшене, а пользователи сервиса стали их видеть, встал вопрос о масштабировании и переходе к алгоритмам. Это было необходимо для того, чтобы работать с большим объёмом данных быстро. Чтобы позже система автоматически предлагала и работодателям, и соискателям только то, что им нужно, требовалась data science на базе той информации, которая была добыта методологической экспертизой.
Уточнение продуктовой стратегии помогло нам сформулировать приоритетную цель. Ею стала автоматизация разбивки роли на профессии на основании навыков: целевым результатом был алгоритм, «скормив» которому модель компетенций по роли и массив вакансий с описанием опыта и ключевых навыков, мы могли получить на выходе группы скилсетов — профессии внутри этой роли. Решив эту задачу, мы также незаметно для себя решили ещё одну, не менее важную — определили оптимальную конфигурацию работы связки методолог — разработчик.
Синергия методологии и разработки, а также lessons learning участников команды
До коллаборации с командой Frontliner разработчики hh.ru уже пытались переосмыслить роль навыков на сервисе и модернизировать их систему. Но без почвы, подготовленной методологами, это оказалось не так эффективно.
Мы решили, что попробуем улучшить рекомендации для пользователей, посмотреть, как влияет текущий контент навыков на сервис и поняли, что без попытки выделения чего-то полезного и не очень в компетенциях, мы ничего хорошего не получим. Делали базовые кластеризации рынка на базе того, что есть у нас в навыках. Для ряда профессий это получалось хорошо. К примеру, структура рынка программистов хорошо вырисовывалась при такой работе. Структура рынка других профессий, например ряда синих воротничков, не вырисовывалась никак. Нам нужна была методологическая поддержка для проекта, который перерастёт в продукты. Чтобы получать фидбэк и понимать лучше детали рынка, мы начали сотрудничать с командой Frontliner. Поэтому мы выгружали огромное количество данных порционными кусками, по ролям для работы методологов. Это помогало найти похожие между собой навыки в профессиях, определить сегментный признак.
Но и работа методологов без технологического подкрепления также осталась бы просто информацией.
На старте мы, методологи, пытались самостоятельно смоделировать работу алгоритмов, определить пороги и критерии для того, чтобы считать две вакансии схожими по скилсетам. Мы перебрали данные вручную, описали стартовые критерии для алгоритма и отдали разработчикам. При реализации оказалось, что наш алгоритм не даёт полного покрытия всех вакансий. Тогда наш data scientist Саша предложил алгоритм, основанный на статистической кластеризации, и он в итоге показал те результаты, которые мы ждали. Так мы поняли, где граница между методологией и разработкой.
На стыке экспертизы и технологии пришлось выполнить ещё и управленческую задачу, чтобы продуктивно соединить разные компетенции и профили команды и не отклониться от курса.
Методология — про чёткую постановку задачи и контроль качества выходных данных, разработка — про подбор инструмента и техническую реализацию. Такая конфигурация даёт максимальную отдачу и результативность.
Грамотная интеграция двух направлений, подсвечивание сильных сторон друг друга сработали как фактор успеха и помогли раскрыть потенциал skill-based, переведя идею в разряд того, что можно применять на практике. Конечно, необходимость чёткого разделения функций была понятна сразу. Но магия именно в том, что команде удалось найти баланс в этих процессах, не мешать, а наоборот, помогать партнёрам, продолжая работу по логически выстроенной схеме. Звучит просто, но на практике оказалось довольно сложно найти точку активации взаимодействия двух полюсов. Тем не менее это удалось и стало основным инсайтом команды.
Нам удалось подобрать оптимальный баланс между методологией и data science. Это лежало не на поверхности, а было результатом совместной итерационной работы, мы ошибались, и эти ошибки продвигали нас в понимании того, какие наши сильные стороны и в какой момент их нужно применить. Экспертность и статистика часто вступают в конфронтацию, но мы научились вовремя их активировать, чтобы получать оптимальный результат.
По сути, мы скрестили академические знания об организации труда с data science, с технологиями машинного обучения и создали базу для новых продуктов, фич и сервисов hh.ru. Очень часто научное остаётся научным и не находит реализации в реальном мире. Круто, что нам удалось добиться практической пользы и результаты проекта внедрены в работу, а не легли на полку.
Ещё один выученный урок от Марины Дороховой: «Мы поняли, что каталог ключевых навыков — это кладезь знаний о рынке труда. Навыки — это то, что позволяет намного лучше познать рынок. Речь не только про знания, харды, но и про то, что реально хочет рынок. Это знание, которое позволяет прочувствовать культуру некоторых профессий. Узнав эту формулу, мы получили инструмент для более структурированного управления трудовыми потоками».
Результат работы и что будет дальше
Сегодня у hh.ru есть около 150 моделей компетенций профессиональных ролей, существующих на рынке труда. Сервис точно знает, какими навыками внутри компетенции должен обладать представитель почти любой специальности. Что это даёт?
- Помогает руководителям и HR-менеджерам компаний понимать, какой профиль из карты им нужен, точнее формулировать запрос — быстрее получать результат, максимально приближенный к отправным критериям. Соискателям модели компетенций дают подсказку, чего именно им не хватает, чтобы получить должность или продвинуться по карьерной лестнице. Это фактически подробный чек-лист навыков, на который следует опираться и развиваться, если в каких-то скилах пробел.
- На основе карт компетенций сервис получил и другие производные продукты. Марина Дорохова приводит пример: «Мы можем давать инструменты скоринга каждого профессионала на основании компетенций, так называемые скоркарты. Мы знаем, из чего может состоять профессионал, и даём нанимателям инструменты оценки по тем базисам, которые они закладывают в карту компетенций. Это же базис для дальнейшего развития, когда тот самый соискатель получает работу по найму, HR-директора внутри компании могут основываться на этих картах».
- Это также позволяет влиять на энтропию рынка в целом — упорядочивать его и предлагать ему тех специалистов, которые востребованы сейчас. Подход к найму через проработанные с методологической и технической точки зрения навыки не только ускоряет и упрощает это занятие, но параллельно оперативно ориентирует участников рынка, как они должны меняться.
- Модели компетенций дают возможность вовремя проводить upskilling, reskilling или cross-skilling талантов. Иными словами, корректировать и дополнять квалификацию профессионала в зависимости от потребности рынка и работодателей. Каждый участник становится проектировщиком будущего: работодатели могут ювелирно собрать вакансию из навыков, а соискатели — со временем подогнать свой скилсет под актуальную формулу, о какой бы профессии ни шла речь.
Оглядываясь на год назад и оценивая всю проделанную работу, участники команды обещают не останавливаться в этой точке успеха и продолжить исследование разработок на основе больших данных. А ещё советуют аудитории держать руку на пульсе и следить за всеми новинками рынка, вовремя внедрять их в свою жизнь.
Так или иначе, проект «Навыки» ещё раз доказал, что за data driven и идеями на этой основе большое будущее. Совместная работа над внедрением skill-based на hh.ru показала, что изучать направление однозначно стоит и дальше, поскольку в создании продуктов для массового потребления на первый план выходят информация и большие данные. Более того, благодаря связке экспертизы и технологии ясно, как применять эти данные. Поэтому действовать в этом направлении продолжат все стороны процесса, который мы описали. Каждый — сам для себя.