Уверен, что упражнение по оценке уровня зрелости мало кого обойдет стороной (как минимум тех, кто ML планирует использовать в промышленном варианте, а не чисто «чтоб было»). У нас в Банке «Санкт-Петербург» этот вопрос первый раз был поднят ещё в рамках предпроекта по строительству нового хранилища данных и платформы машинного обучения. И это совершенно логичное желание, ведь, если перед глазами есть понятная оценочная шкала, всегда можно понять, где мы находимся, и иногда даже можно сравнить показатели с лидерами рынка, а также понять, что тебя ждет впереди. И как следствие – можно определиться с приоритетами, бюджетами и планированием, чтобы заняться налаживанием нужного здесь и сейчас, а не перепрыгивать через пару уровней и устраивать революцию, изобретая велосипед в придачу — ведь он может потом и не пригодиться. В общем, полезное со всех точек зрения упражнение.
Спасибо за комментарий, и отдельное спасибо за матрицу, выглядит любопытно.
В общем сама по себе мысль правильная – глупо отрицать, что "ML без бизнеса - деньги на ветер", и если бизнес не готов к использованию продвинутой аналитики, то начинать надо совсем с другого.
Другое дело, что эта конкретная статья написана немного о другом - именно о том как растить процессы в части ML, а про бизнес было сознательно не сказано ни слова (предполагая, что он готов, и данные есть).
А вот другую статью, которая сейчас готовится - про связку бизнеса и ML - примерно с этой идеи и начнем.
Сергей Щербаков,
Руководитель управления архитектуры данных и бизнес аналитики банка "Санкт-Петербург"
Тут возможно стоило начать с того, а как ML связан с остальным бизнесом. Ведь если у руководителей нет компетенций или структура не та, или данных нет, то ML сам по себе бесполезен.
Сколько словоблудия и ни о чем. Самый верный способ просрать всё - это искренне и свято верить в то, что тут написано. "я решил вспомнить и систематизировать свой нелегкий путь в работе над различными ML-проектами" - видимо, на уровне "постоять рядом", потому что практики реального движения в становлении ML и набитых шишек в этой статье ноль.
Любая команда, которая занимается ML:
- Получили карт-бланш, сделали модель-две на коленке на узких сегментах. Обкатали на тесте. Руками вывели на прод.
- Сделали еще пяток моделей. Наняли сеньора. Отточили раскатку. Получили эффект. Разрекламировали себя бизнесу. "Ребята, деньги тут!"
- Пошли к руководству за деньгами: нужно автоматизировать и стандартизировать, ибо экономический эффект такой-то, косты такие-то. Время-деньги. Люди с опытом MLOPS - большие деньги и они на вес золота.
- Автоматизировали/внедрили выбранный стэк. Сократили косты. Наняли пару джунов/мидлов. Наваяли еще десяток моделей на прод. Параллельно описали методологию. Бизнес уже сам выстраивается в очередь за аплифтом в 4-5%.
- Запустили организационные изменения, консолидировали модельный риск в одном месте для управляемости.
- И вот тут начинаем оценивать, какой там уровень по факту вырисовывается, сравнивать с бенчмарками и двигаться дальше.
Вы, судя по писанине:
- Вбухали кучу времени на ненужную методологию оценки на старте.
- Нарисовали размытую картинку для стейкхолдеров.
- Через N месяцев/лет удивляетесь, что не соответствуете описанному уровню к часу Х и, скорее всего, получаете люлей от стейкхолдеров.
- И главное, никакой конкретики и ответов на вопросы: "Где бабки, чувак?"
Согласен с автором поста, а вот с последним комментарием не очень, больше похоже на везение, что им удалось запустить, т.к. золотой спец не гарантия что продукт будет сделан и принесет денег, хоть и будет иметь с точки зрения ML верную архитектуру. Как ни крути, ML это только инструмент, один из кирпичиков в цепочке DevOps, а все остальные шаги от идеи до прода, от кода до сопровождения всегда должны быть и тот победит, кто их может выстроить в эффективный процесс.
Ну и как-то Валерий Бабушкин, сильный спец в ML, делился историей, когда один из наших крупных банков набрал на рынке много профи, но продукт почему-то в итоге не создался.