Как Job Market Fit исследования помогают нам проектировать новые образовательные программы: опыт Яндекс Практикума

Привет! На связи команда Яндекс Практикума. Меня зовут Ира Ефимова, я руководитель исследований в направлении Анализа данных.

Перед запуском каждой новой профессии мы проводим Job Market Fit (JMF) исследование. Оно дает ответы на важные для нас вопросы: насколько профессия актуальна в России, какие навыки и задачи она подразумевает. Кроме того, JMF помогают нам адаптировать существующие курсы под меняющиеся запросы рынка и держать руку на пульсе. Рассказываем, как проводим такие исследования и какую практическую пользу они приносят на примере опыта направления Анализа данных.

Работа над курсами Яндекс Практикума всегда была построена на обратной связи от рынка, но в 2021-2022 годах мы значительно усилили исследовательские направления. Теперь мы регулярно проводим JMF исследования, миссия которых – добиться максимума по трудоустройству наших выпускников через обучение самым релевантным навыкам. Для нас важно не только исследовать рынок перед запуском новых профессий, но и постоянно актуализировать текущие программы с учетом как настоящих потребностей бизнеса, так и будущих.

В сфере обучения IT-профессиям такие исследования необходимо проводить раз в 6-12 месяцев, поскольку скиллсет меняется очень быстро. Например, в конце 2021-го мы изучили актуальный портрет аналитика данных (курс запущен два года назад). Как показало исследование, на первое место среди востребованных навыков вышел SQL, слегка потеснив Python, хотя раньше у джунов на собеседованиях к этому навыку предъявляли меньше требований. Например, у новичков не спрашивали про оконные функции, а сегодня это стало стандартом. В результате мы добавили в программу по аналитике данных дополнительный блок "Продвинутый SQL".

JMF исследования носят комплексный характер, мы используем количественные и качественные методы. Расскажем подробнее о каждом из этапов.

Когда в Яндекс Практикуме появляется идея о запуске новой профессии, продуктовая команда делает запрос исследователям по заданному направлению. Проводятся совместные встречи, на которых обсуждаются цели и задачи исследования, формулируются главные первичные гипотезы. Как правило, цель исследования – понять необходимость запуска, а также составить скиллсет и портрет выпускника новой программы.

Оценка релевантности существующих программ не требует специального запроса; по сути, этот процесс идет нон-стоп в виде сбора и анализа обратной связи от работодателей, но примерно раз в год оформляется по дизайну JMF исследования. Оно позволяет проверить, насколько выпускники текущих курсов востребованы на рынке труда, а также найти пробелы в действующих программах. На основе полученной информации мы дорабатываем и улучшаем свои продукты. Результаты исследований имеют большую практическую пользу для многих команд (контента, трудоустройства и т.д.)

На этапе подготовки исследователи и продуктовая команда выдвигают первичные гипотезы о том, как изменился скиллсет специалиста в данной области и какие навыки будут востребованы в будущем.

На втором этапе происходит анализ требований в существующих на рынке вакансиях по заданной специальности. Основной массив данных исследователи получают благодаря информации, представленной на агрегаторах вакансий, дополнительно изучаются и другие источники: телеграмм-каналы, Linkedin и т.д.

Анализируя эти данные, исследователи понимают главные тренды на рынке профессии: сильна ли потребность в специалистах, большой ли запрос конкретно на джунов, какие навыки им нужны, чтобы получить работу. Часть данных не имеет прямого отношения к спросу на специалистов, но она крайне важна для осознания целостной картины рынка. Например, высокая доля удаленных вакансий – благоприятный фактор для наших выпускников в регионах, это расширяет их возможности трудоустройства или продвижения в рамках текущей специальности.

Так, в конце 2021 года мы провели количественное исследование по профессии системного аналитика и изучили примерно 2000 вакансий. Запрос рынка на джунов оказался достаточно большим для того, чтобы инициировать следующий этап – качественное исследование. Забегая вперед: в итоге появился детальный портрет идеального кандидата, на основании которого мы разработали программу для нового курса "Системный аналитик".

Помимо оценки объема российского рынка вакансий, команда занимается поиском и интерпретацией существующих открытых исследований по миру. Это помогает понять, как развивается спрос на профессии в глобальных масштабах и спрогнозировать его на ближайшие годы. Иногда речь идет о новых специальностях, которые в России еще не успели отделиться от смежных профессий. Например, так было с дата-инженерами: мы начали исследовать профессию в начале 2021 года, когда на российском рынке было мало отдельных вакансий для этой категории. Точнее, функции дата-инженера выполняли дата-аналитики или дата-сайентисты. Сегодня это разделение уже гораздо заметнее, а в Яндекс Практикуме появился продвинутый курс «Инженер данных».

Еще один источник для количественного анализа – резюме специалистов по заданной специальности. Исследователи обращают внимание на бэкграунд кандидатов, их предыдущий опыт в IT, образование и пройденные курсы, ключевые скиллы и выполняемые задачи на предыдущих местах работы. В совокупности все эти данные (вакансии, открытые источники, резюме) позволяют оценить текущую ситуацию и перспективы рынка профессии.

По результатам аналитической работы проводится промежуточная валидация гипотез. Опираясь на них, команда исследователей вместе с продуктовой командой составляет дизайн качественного исследования. Он включает в себя детальный сценарий глубинных интервью с разными сегментами респондентов. На данном этапе привлекаются и действующие специалисты отрасли, которые отвечают за итоговую учебную программу (curriculum lead). Это важный аспект, поскольку глубокая экспертиза позволяет сформулировать точные и предметные вопросы в разных областях IT.

Исходя из характера исследования, мы проводим интервью со следующими сегментами респондентов:

1. Эксперты и нанимающие лиды

Мы общаемся с представителями компаний разного уровня и сфер, которые непосредственно отвечают за найм и оценку компетенций кандидата. В процессе интервьюеры выясняют, какие требования респонденты предъявляют к hard и soft скиллам, на что обращают внимание помимо этих навыков. Мы стараемся получить как можно больше данных о процессе отбора в компанию и конкретные команды, типичных ошибках кандидатов и конкретных задачах, которые им предстоит решить в ходе собеседования и после трудоустройства. Мы также спрашиваем, играет ли в пользу соискателей определенное образование и готовы ли компании рассматривать выпускников курсов.

2. Действующие специалисты отрасли

Эта категория очень важна для объективного анализа, особенно при проведении исследования перед запуском новой профессии. Мы выясняем, какие задачи решают профессионалы, какими инструментами они пользуются, над какими проектами работают. Их карьерный и образовательный трек представляет большой интерес, в том числе преодоление барьеров и способы получения знаний и навыков.

3. Выпускники Яндекс Практикума, занятые в исследуемой сфере

Они рассказывают, как проходил процесс трудоустройства, какие задачи выполняли в течение первого года работы. Важно проанализировать, какие знания, полученные на курсах, им помогли, а что пришлось изучать самостоятельно.

Качественное исследование среди прочего дает ответы на важные вопросы: почему кандидаты на джуниор-позиции не проходят собеседование, что конкретно не устраивает работодателей, где кроются основные проблемы – в hard или soft навыках? Если дело в первых, то интервьюеры задают детальные вопросы про пробелы в решении задач, трудности с алгоритмами или областями математики (в зависимости от профессии). Если в последних, то важно понять, что именно нанимающие менеджеры вкладывают, например, в понятия «продуктовое» или «критическое мышление».

Команда исследователей суммирует результаты количественного и качественного этапов и валидирует выдвинутые гипотезы.

Итоги JMF исследования, посвященного новой профессии, содержат анализ рынка труда, на основании которого подтверждается или опровергается гипотеза о необходимости запуска курса. Поскольку именно промежуточная валидация гипотез после количественного анализа дает старт качественному исследованию, итоги всегда включают в себя детализированный портрет навыков по заданной профессии, ключевые цитаты респондентов и другие разделы. После обсуждения итогов с продуктовой командой начинается подготовка к продуктовым исследованиям (поиску Product Market Fit) перед запуском курса.

В выводах JMF исследования, направленного на изучение релевантности существующих программ, помимо всего прочего содержатся данные о востребованности выпускников Яндекс Практикума по заданной профессии и анализ их основных ошибок на собеседованиях. На основе опыта действующих специалистов отрасли и интервью с работодателями составляется обновленный портрет навыков идеального кандидата. Продуктовая команда сравнивает его с текущей программой и приступает к разработке изменений.

С каждым годом в Яндекс Практикуме растет осознание ценности исследований, которые позволяют держать руку на пульсе IT-образования, получать ценную обратную связь, улучшать продукты и наращивать эффективность обучения, которая выражается в достижении карьерных целей выпускников. Мы расширяем исследовательские команды, чтобы глубже анализировать рынок и создавать множественную пользу для студентов и работодателей.