Уровни зрелости ML-процессов (процессов, связанных с машинным обучением)
Машинное обучение выходит из зоны хайпа. И сложно однозначно сказать, насколько это хорошо или плохо, но что совершенно точно видно – всё больше людей задаются вопросом: «А деньги где?». Всё меньше футуристических статей про тотальную победу машины над человеком, всё больше докладов и обсуждений посвящается автоматизации и систематизации процессов…
Сколько словоблудия и ни о чем. Самый верный способ просрать всё - это искренне и свято верить в то, что тут написано. "я решил вспомнить и систематизировать свой нелегкий путь в работе над различными ML-проектами" - видимо, на уровне "постоять рядом", потому что практики реального движения в становлении ML и набитых шишек в этой статье ноль.
Любая команда, которая занимается ML:
- Получили карт-бланш, сделали модель-две на коленке на узких сегментах. Обкатали на тесте. Руками вывели на прод.
- Сделали еще пяток моделей. Наняли сеньора. Отточили раскатку. Получили эффект. Разрекламировали себя бизнесу. "Ребята, деньги тут!"
- Пошли к руководству за деньгами: нужно автоматизировать и стандартизировать, ибо экономический эффект такой-то, косты такие-то. Время-деньги. Люди с опытом MLOPS - большие деньги и они на вес золота.
- Автоматизировали/внедрили выбранный стэк. Сократили косты. Наняли пару джунов/мидлов. Наваяли еще десяток моделей на прод. Параллельно описали методологию. Бизнес уже сам выстраивается в очередь за аплифтом в 4-5%.
- Запустили организационные изменения, консолидировали модельный риск в одном месте для управляемости.
- И вот тут начинаем оценивать, какой там уровень по факту вырисовывается, сравнивать с бенчмарками и двигаться дальше.
Вы, судя по писанине:
- Вбухали кучу времени на ненужную методологию оценки на старте.
- Нарисовали размытую картинку для стейкхолдеров.
- Через N месяцев/лет удивляетесь, что не соответствуете описанному уровню к часу Х и, скорее всего, получаете люлей от стейкхолдеров.
- И главное, никакой конкретики и ответов на вопросы: "Где бабки, чувак?"