Я прогнал 10 000 вакансий продакт менеджеров через AI и вот что получилось

Привет, меня зовут Никита и я head of product в большой продуктовой компании. Если бы мне давали доллар за каждый раз, когда другие продакты спрашивают у меня «Куда дальше развиваться?» или «Какие навыки у продакт-менеджеров сейчас востребованы на рынке?», то у меня сейчас накопилось бы долларов 50, а может и все 100.

Поскольку я по натуре человек ленивый, то в какой-то момент задался целью отвечать на такие вопросы как-то автоматически. Плюс карантин честных людей развращает и меня довел даже до программирования, - на что, как известно, у честных продакт-менеджеров нет ни времени ни желания — им нужно таски ставить.

Первая версия моего сервиса давала всем желающим возможность ответить на список вопросов по предметной области. В результате человек получал на руки отчет, который по результатам короткого опроса подсвечивал сильные и слабые стороны его\ее профессиональных навыков. Результаты представлялись в виде листовидной диаграммы, которая, на мой взгляд, удачно демонстрирует перекосы.

Также в дополнение к отчету шло сравнение ответов того кто проходил тест, с усредненными ответами всех, кто отвечал ранее.

Оценка проходила в 5 разрезах: Аналитика, Дизайн, Стратегия, Взаимодействие и Команда и Процессы. Пару примеров вопросов прилагается.

Первая версия все еще доступна по ссылке — https://www.pmdev.report/

После того как сколько-то людей прошло опрос и я начал получать обратную связь, на свет вылезли две основные проблемы:

• Вопросы придумал я сам, они не обязательно проверяют те качества, которые действительно важны
• Данные для сравнения доступны только из предыдущих ответов. Для того, чтобы действительно сделать их объективными придется как-то заставить очень многих продактов пройти этот тест. И желательно честно ответить на вопросы.

Сперва я попробовал пустить платную рекламу на свой сервис, но выхлоп был, честно говоря, никакой. Да и цена кусалась. Конкуренция за внимание продактов, как оказалось, разворачивается нешуточная:)

Я начал думать где еще можно взять данные о навыках продактов за совершенно доступную цену.

Таких источников оказалось аж 3:

• Официальное описание необходимых скиллов для занятия определенной рабочей позиции. Такие данные храняться в больших open data отчетах, например таких. Тут основная проблема, что речь идет в подавляющем большинстве про рабочие специальности и найти среди тонны данных именно продактов достаточно сложно. Плюс такие данные есть в основном только про США. В меньшей степени про Британию, еще в меньшей степени про ЕС. Что уж говорить про наши широты или Азию.
• Второй источник — резюме тех продактов, которые находятся в поиске работы. Неплохая находка, но их не так много, плюс они не отражают того, что ищут работодатели или же того, что нужно для профессионального развития. Тут люди пишут какие они молодцы. Не факт, что это то, что востребовано в компаниях.
• Ну и наконец самый основной источник — вакансии продактов. Тут присутствует все разнообразие цветов и расцветок требований к продакту, более того есть привязка к профессиональному уровню (джун, мидл, сеньор), есть информация про регион, компанию и сферу работы. Иногда даже про уровень зарплаты. На этом я и сконцентрировался.

Проект разделился на 3 логических части:

• Парсер. Нужно было собрать данные. Для этого был написан парсер, который отбирал вакансии продактов с сайтов для поиска работы и складывал их в базу данных. Сервис парсит описание вакансии, название позиции, название компании, регион и уровень зарплаты, если он указан.
• Обработчик данных. Для обработки данных я использовал метод "тематического моделирования”. Суть его заключается в разбиении текста на одиночные слова, биграммы и триграммы (устойчивые словосочетания длиною в 2 или 3 слова. Важно, что если последовательность слов меняется, но суть биграммы/триграммы остается той же, это считается как одно упоминание). Примером биграммы может быть "UX дизайн" или "продакт менеджер". Примером триграммы — "Составить бизнес план". О логике обработки данных я расскажу дальше, так как это и есть самая важная часть.
• Интерфейс. Место, где пользователь вводит свои данные и получает на выходе отчет, который сравнивает его данные с нужным набором из базы данных, прогоняя все это через обработчик. Таким образом пользователь получает усредненный список самых востребованных в его регионе навыков продакт менеджера и условное сравнение себя с этими запросами.

Что получилось и как это работает?

Среди всех собранных данных модель находит наиболее часто встречаемые и наиболее "цитируемые” слова и словосочетания. Логика подсчета следующая: если у нас есть 3 вакансии продакт-менеджеров и в первой запрос на веб-аналитику упоминали 1 раз, во второй — 2 раза, а в третьей вообще не упоминали, то навык “веб-аналитика” встретился 3 раза, а процитирован был в 2-х вакансиях.

Добавляя нужные коэфициенты можно понять как часто требуют тот или иной навык вообще и в каком проценте от всех вакансий он вообще востребован. Далее модель разбивает все собранные навыки и разделяет их по большим кластерам — “темам” (отсюда название метода “тематическое моделирование”.

Примерами таких тем/кластеров у меня можно считать — “Финансы, продажи и ценообразование” куда модель относит требования работы с P&L, ответственность за план продаж, трейдовые активности и т.д. Или, скажем, кластер — “Лидерские качества" — куда входит такие требуемые навыки как: способность объединять команду, умение давать обратную связь и т.д.

После первичной обработки и создания модели такие кластеры легко высчитываются для различных разрезов, например, страны, профессионального уровня, сферы и т.д.

Теперь к делу, поделюсь частью данных, которые удалось вытащить (тут приведены усредненные данные по вакансиям со всех доступных стран мира):

• Запрос на хотя бы одно персональное качество встречается в 99% вакансий продактов. Наиболее часто встречаемое слово "able" или "ability" — т.е. быть способным что-то сделать
• Запрос на навыки работы с командой и управления процессами встречается в 98% вакансий. Наиболее часто встречаемые — умение планировать и приоритезировать.
• Внезапно запрос на работу с коммерческой частью встречается в 90%, тут наиболее часто встречаемый запрос — понимание отчетов P&L и работа с продажами
• Запрос на маркетинговые скилы встречается в 68% вакансий. Самый популярный — уметь в диджитал маркетинг
• В 58% вакансий хотят умения в области UX и/или Дизайна.
• В 98% случаев от продакта требуются навыки стратегического менеджемента своего продукта — виденье, управление ценностью и т.д.
• Что стало открытием — в навыках, которые касаются исследований, запросы на пользовательские интервью и т.д. встречаются сильно реже чем знание и исследование рынка.

Если подрезюмировать, умение факусироваться, деливерить результат и знание рынка сильно более встребованы чем дизайн, UX и маркетинг. Знание коммерческой части важнее пользовательских исследований.

Топ-10 личностных навыков, требование которых наиболее часто встречается в мировых вакансиях продакт менеджеров, это "Управление продуктом”, "Предоставление решений”, “Обеспечение результата”, “Производительность/Перформанс”, “Улучшения”, “Создание объединения? (не знаю как лучше перевести alignment)”, “Принятие решений”, “Креативность”, “Управление изменениями" и “Гибкость".

Подобный разбор есть в каждой отдельной группе навыков внутри персонального отчета.

Усредненные отчеты доступны тут — https://compatista.com/reports

Что дальше?

Я всегда воспринимал этот проект как пет-проджект и не задумывался всерьез над монетизацией. Скорее всего он останеться в таком виде, если ничего кардинально не измениться.

В планах провести такие же телодвижения для других схожих вакансий, а именно: проджект-менеджеров, бизнес-аналитиков, маркетологов и дизайнеров и доработать русскоязычную версию отчета. Пока тест и отчет доступны исключительно на английском языке.

Получить свой подобный отчет можно совершенно бесплатно тут https://compatista.com/

Буду рад обратной связи, это поможет понять, стоит ли продолжать лежать в эту сторону :)