Отличия Product Manager от ML Product Manager. Важные детали при найме

В классической продуктовой разработке обычно можно четко описать ожидаемый результат. Функциональность проверяется относительно исходных требований к логике работы системы.

Решения на основе машинного обучения устроены принципиально иначе.

1. Недетерминированность

ML-продукты по своей природе носят вероятностный характер! На старте проекта невозможно заранее знать, какого качества модель удастся получить. Можно лишь зафиксировать с заказчиком целевые или пороговые значения метрик.

2. Конечный жизненный цикл модели

У большинства ML-моделей жизненный цикл ограничен. В классическом ML (особенно в задачах над табличными данными) необходимость периодического переобучения - это базовая практика.

Модель подвержена неизбежной деградации по двум основным причинам. Со временем происходят:

• изменение распределения входных данных (data shift)

• изменение предсказываемой переменной (concept shift)

Это означает, что работа с моделью не заканчивается после релиза. Для поддержки продукта нужно обеспечивать процессы переобучения и актуализации моделей.

Все это приводит к тому, что требования к продакту в домене DS отличаются от требований для классического PM.

Если вы нанимаете ML Product Manager

Важно проверять не только базовый продуктовый скилсет, но и понимание ML-процессов.

Как минимум кандидат должен уметь отвечать в общем виде на вопросы:

1. Как получить ML-модель?

• cобрать данные

• провести предобработку

• обучить модель

• оценить метрики качества

2. Как упаковать ML-модель в готовый к передаче заказчику сервис?

• продакшанализировать модель и пайплайн данных

• настроить API для работы с модель

• провести нагрузочные тесты

• настроить мониторинги, логирование, алертинги

Без этого понимания эффективно управлять продуктом и искать дополнительные точки роста будет довольно затруднительно.

P.s. на картинке схема методологии CRISP DM с описанием основных этапов жизненного цикла классической ML-модели.

Больше деталей о продуктовом менеджменте решений на основе AI/ML в моем телеграм-канале.