Откуда приходят самые сильные кандидаты на роль AI/ML-продакт менеджера

В Wildberries я отвечал за техническую секцию собеседований на роль Technical Product Manager AI/ML-продуктов. В посте расскажу, как проводил собесы.

Портрет целевой роли: управление продуктами в проде (LLM/VLM-модели, эмбеддеры и сервисы на их основе), разработка новых решений, доведение до прода и интеграция в пайплайны заказчиков.

Я подготовил структуру из 5 блоков: ML, Infra, Discovery/Delivery, цели/эффекты и кейс. Всё собеседование занимало от 70 минут до 1,5 часов.

Все вопросы отстраивал от предыдущего опыта кандидата. Если человек указывал, что отвечал за разработку RAG-а или ассистентов на основе LLM, я спрашивал, из каких блоков состояло решение, как выбирали архитектуру, где хранили эмбеддинги, кто занимался деплоем. После каждого ответа можно было идти вглубь или вширь в зависимости от того, что отвечал кандидат.

В блоках ML и Infra проверял, различает ли кандидат эмбеддер и LLM, понимает ли как оценивать качество и производительность моделей и что нужно для деплоя.

В секции процессов фокусировался на Delivery. Обсуждали структуру текущей/предыдущей команды (DS/MLOps контур), путь от обучения модели до прода и роль кандидата в этом пути.

В блоке целей и эффектов проходились по тому, как был устроен процесс постановки целей, была ли формализация через метрики и как оценивали эффект.

Финальная секция — кейс из практики. Например, упал сервис, который недавно вывели в прод и интегрировали с заказчиком. Добавлялся контекст, и я просил кандидата рассказывал, как бы он решал задачу.

Моя статистика показала, что у самых сильных кандидатов сходились два признака:

• бэкграунд в анализе (Data Analyst/Product Analyst) или непосредственно в ML (Data Scientist/ML Engineer) до перехода в продакт-менеджмент

• опыт реальной работы с продом (понимание ограничений инфраструктуры, что нужно для деплоя, как мониторить нагрузку и тд)

Иногда оба сочетались, иногда был перекос в одну из сторон. Но закономерность одна: самые сильные кандидаты на роль AI/ML Product Manager — те, кто уже работал с данными/ML и знает, что такое прод.

Больше деталей о продуктовом менеджменте решений на основе AI/ML в моем телеграм-канале.