{"id":8499,"title":"vc.ru \u0438\u0449\u0435\u0442 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u043e\u0434\u044e\u0441\u0435\u0440\u0430 ","url":"\/redirect?component=advertising&id=8499&url=https:\/\/vc.ru\/team\/314459-vypuskayushchiy-prodyuser-kreativnogo-otdela&placeBit=1&hash=34698330acc58f51615fd71105e84a558eebd5a4f60d32de70f3a794ef4ca846","isPaidAndBannersEnabled":false}

Клик за 1 млн рублей и другие превратности машинного обучения

Я Анна Воеводская, специалист по Data Science в «Инфосистемы Джет». Работая на стороне системного интегратора, встречаешь разных заказчиков и наблюдаешь множество особенностей ML-проектов. Я обобщила свой опыт здесь в надежде, что он поможет вам прийти к счастливому внедрению.

Сейчас, кажется, что машинное обучение есть везде: оно таргетирует рекламу в Google Adwords, в Facebook и VK с его помощью формируется умная лента, а в Яндекс.Такси подбираются возможные адреса назначения и прогнозируется время подачи автомобиля (об этом есть прекрасная статья).

Но с ним не всё так просто. Согласно опросу Oxford Economics, 89% респондентов утверждают, что используют ML в своих организациях. При этом 40% из них находятся на стадии исследований и планирования, 26% на стадии пилотирования ML-проектов, 20% используют ML в некоторых сферах бизнеса и только 3% применяют ML в масштабах всей компании.

Почему такая воронка? Одним из самых больших отличий проектов Data Science от других проектов программной разработке является то, что успех зависит от многих параметров: объема и качества данных, существующих бизнес-процессов, уровня зрелости ИТ и др.

Перефразируя Льва Николаевича: все счастливые компании, успешно внедрившие ML в продуктив, похожи друг на друга (хотя бы своим подходом к таким проектам), каждая несчастливая компания, застрявшая на стадии пилотов, несчастлива по-своему.

Формирование в компании культуры работы с данными

Глава Intel Брайан Кржанич в 2017 году сказал, что «данные — это новая нефть». Но ведь важно ещё и знать, как пользоваться этой нефтью.

Компании считают, что данные у них в отличном состоянии. Но правда в том, что это не правда. И DS-проекты как раз открывают, насколько это действительно так: насколько они корректно обрабатываются, насколько полные. Правда жизни: специалисты Data Science примерно 3/4 времени занимаются тем, что собирают, преобразовывают и чистят данные.

Сейчас дальше всех в применении Data Science продвинулись те компании, которые долго и упорно собирали, знали и любили свои данные: банки, телеком, ИТ-компании.

Так МТС прогнозирует, кто из клиентов и когда захочет поменять свой мобильный телефон, оптимизирует работу салонов. Сбербанк снижает ставки по кредитам.

Сейчас в игру вступает промышленность. При этом одни (например, Сибур и Северсталь) набирают свои команды по Data Science, а другие (например, АлРоса или НЛМК) предпочитают комбинировать работу своих отделов и подрядчиков.

С помощью машинного обучения можно оптимизировать расход дорогого сырья, оптимизировать работу производства, скорректировать цены на закупки и т.д. Но для этого необходимо обладать разнообразными историческими данными — чем их больше, тем больше шансы построить модель с высоким качеством прогноза. Например, в случае оптимизации цен закупок важно знать цены конкурентов, стоимость разных вариантов логистики и даже погодные условия в местах закупок.

Но что ещё интереснее, начинается внедрение машинного обучения в сельском хозяйстве. Goldman Sachs прогнозирует, что применение технологий нового поколения способно увеличить производительность мирового сельского хозяйства на 70% к 2050 году. Уже сейчас есть такие начинания, как CattleCare — система, которая отслеживает здоровье коров по капле молока и помогает предотвращать заражения. А компания onesoil.ai уже советует, где какие культуры сажать и как удобрять, основываясь на спутниковых снимках.

Отдельно стоит упомянуть ритейлеров, которые активно внедряют в свои процессы машинное обучение. Например, для Утконос мы исследовали возможности прогнозирования спроса на скоропортящиеся товары, а для Рив Гош выявляли динамический «золотой» сегмент покупателей. X5 Retail Group с помощью ML оптимизирует сегодня выкладку товаров в гипермаркетах, а Wildberries создает товарные рекомендации на сайте.

С другой стороны, машинное обучение входит и в более локальные сферы. Например, один из самых интересных моих проектов был связан со снижением количества аварийных ситуаций в автолизинге.

Оценка целесообразности применения

К сожалению, не все проекты, связанные с применением машинного обучения в компаниях, начинаются с оценок возможного экономического эффекта от внедрения. По рынку ходит много историй про «внедрим машинное обучение, потому что это модно». И это не шутка! На курсе Data Mining In Action я слышала прекрасный пример того, как не надо делать ML-проекты. В одном банке серьезно разрабатывали рекомендательную систему, чтобы из шести предлагаемых услуг выбрать пять, которые будут показываться пользователю в блоке рекомендаций. Но еще ироничней закончилось тестирование разработанной модели на сайте: на блок рекомендаций кликнуло всего 2 человека за месяц, что с учетом бюджета проекта дало стоимость клика порядка 1 млн рублей. Проблема здесь была, конечно, даже не в бесполезности рекомендаций, а в дизайне блока и в его расположении, что испортило бы результат даже с самым лучшим алгоритмом. Возможно, некоторые компании могут позволить себе такое «машинное обучение», но вряд ли какая-то компания осознанно желает получить подобные результаты.

Предвидеть подобную ситуацию помогает хотя бы грубая оценка возможного эффекта от использования модели. Например, в приведенной истории про рекомендации банковских услуг простая предварительная оценка трафика на блоке рекомендаций, реализованном с помощью любого простого правила (например, рекомендовать всем одни и те же наиболее популярные услуги) дала бы понимание, что бороться в этом проекте не за что и лучше его не начинать.

В менее очевидных ситуациях пришлось бы правда что-то посчитать и оценить. Например, если мы решаем задачу прогнозирования оттока клиентов и их удержания, резонный вопрос: что для нас дешевле — удерживать клиента или привлекать нового. Чтобы оценить это, мы можем предположить, насколько хорошо наша модель может находить тех, кто планирует перестать пользоваться услугами компании, оценить вероятность успешности удержания, умножить это все на средний доход с пользователя, вычесть стоимость удержания и сравнить это с аналогичной величиной для привлечения нового пользователя.

Плюсом такой оценки является и то, что из нее сразу возникает понимание метрик, подходящих для оценки качества модели. Например, в нашем примере про отток имеет смысл смотреть на долю людей, действительно ушедших в отток, среди рекомендованных к удержанию моделью, т.к. эта величина сразу же пересчитывается в сэкономленные компанией деньги. Отсюда следует два важных вывода: во-первых, не все метрики одинаково хороши, а во-вторых, метрики, пересчитываемые в деньги, имеют приоритет. При том, что зачастую метрики качества для моделей специалисты Data Science выбирают из соображений своего удобства, а не понятности для бизнеса — важно это понимать.

Не играть в технологии ради технологий

Отдельной темой в современном мире является желание компаний демонстрировать свою технологичность. В ситуации, когда самыми дорогими компаниями считаются технологические гиганты, многие хотят выглядеть «технологичней». В этом контексте внедрять простые правила вместо машинного обучения, разумеется, становится не интересно. Например, автоматизировать ответы службы поддержки можно, разработав чат-бот, а можно просто завести стандартные ответы по некоторым ключевым словам. И даже если вашей компании для обработки 90% обращений хватит второго способа, рассказ о таком решении будет выглядеть менее прогрессивно.

Это обстоятельство хорошо накладывается на то, что специалисты по анализу данных тоже хотят применять свои знания. Соответственно, из вариантов «реализовать простое правило» или «сделать более сложное решение с помощью машинного обучения» специалистам зачастую интереснее второй.

Однако нужно помнить, что сложность решения увеличивает его стоимость, сроки разработки и сложность поддержки. А значит, начав разрабатывать очередного чат-бота для автоматизации техподдержки, можно потратить существенно больший бюджет, чем на автоматизацию ответов по ключевым словам в вопросе и даже ручной разбор не удовлетворенных таким образом обращений. И так со всеми задачами. В итоге, гонка за технологиями ради технологий может привести к тому, что экономика проектов просто не сойдется и внедрение разработанных моделей станет бессмысленным.

В сухом остатке

Для того, чтобы машинное обучение действительно приносило или экономило вашему бизнесу деньги, нужно организовать сбор и хранение данных, оценить, где вам может понадобиться ML и чего вы хотите получить от модели (деньги / клики / ускорения). Начинайте с простых методов и не гонитесь за хайпом.

Если следовать рекомендациям, работа с данными в компании может не только помочь решить ваши задачи, но и вырасти в отдельное направление бизнеса. В ИТ и телекоме это уже происходит. Причем компании в основном из-за масштабируемости нацелены на сервисы: в случае ИТ — для разработчиков (MS Azure, Amazon, Яндекс.Облако), в случае телекома — ближе к корпоративному сегменту (OneFactor).

0
6 комментариев
Популярные
По порядку
Написать комментарий...

Статья из серии 'пирожки ни с чем'. Ни конкретных кейсов (понимаю, NDA), ни отсылок. Напоминает "программные" статьи Володина и Медведева. И статьи для конференции в студенческий сборник.

Data Science переоценено? Несомненно. Только вот в летающие автомобили и точность detection покупателей в магазинах около 98% по-прежнему верят. И это ещё с обратной стороны не смотрим, где увлечённые питонисты, которые раньше херачили на Django, решили, что TensorFlow стал моднее и молодежнее.

Сейчас, кажется, наступает охлаждение в экономике и насыщение в Data Science. Последнее, правда, скорее в части бюджетов, но иначе как "завышенные ожидания" к этой области знания относиться сложно.

1

Действительно, об успешных проектах рассказывают куда охотнее, чем о проектах с неуспешным завершением. Но если вы хотите узнать больше о них, то есть записи failconf на YouTube с прошлого DataFest.

Как раз мысль этой статьи была в том, что Data Science сильный и мощный инструмент, но обращаться с ним нужно осторожно.

2

вопрос ниже

0

Причем компании в основном из-за масштабируемости нацелены на сервисы: в случае ИТ — для разработчиков (MS Azure, Amazon, Яндекс.Облако), в случае телекома — ближе к корпоративному сегменту (OneFactor).

Не могли бы вы раскрыть этот пассаж подробнее? Не совсем понятно о каких сервисах идет речь.

0

Указанные компании долго собирали данные, работали с ними, и в итоге у них получились дополнительные сервисы.
Вот у Microsoft появился MS Azure, у Amazon AWS.
Или я не совсем поняла Ваш вопрос?

0

Я понял что вы имели ввиду. Спасибо.

0
Читать все 6 комментариев
Путин поручил разработать вариант налогового вычета для частных инвесторов при долгосрочных вложениях в российские акции Статьи редакции

Фондовый рынок должен не только финансировать инвестиционные проекты, но и приносить доход гражданам, считает президент.

Мвидео отказал в замене товара ненадлежащего качества. Битый телевизор

14.11.2021 доставка магазина Мвидео привезла мне домой телевизор LG. При приёме телевизора от доставщиков никаких недостатков не обнаружили ( или не заметили, потому что телевизор был весь запотевший). Включать для проверки тоже не стали из-за запотевания. В тот же вечер через несколько часов телевизор повесили и попытались включить, он не…

Лайфхак в подборе: как ATS-системы помогают экономить время и бюджет рекрутеров

Процесс рекрутинга существенно не отличается от компании к компании. Есть несколько типичных шагов, которые проходит рекрутер: размещение вакансии на джоб-бордах, поиск соискателей по базам, согласование кандидатов с заказчиками, собеседование, выдача и проверка тестового задания, проверка кандидата службой безопасности.

«Мегафон» заблокировал 36 тыс. ₽ на 2 недели по ФЗ № 115

Являюсь абонентом Мегафона второй десяток лет. Несколько лет назад завёл себе карту Мегафон-банка. Очень нравилось, и рекомендовал всем, так как:

Мвидео, облажались. Дважды

1. Мультиварка

Эксперимент: оформляем банковские карты без бумажных документов

Оформление затянулось, но проект все равно продолжили развивать.

Это Элви Рэй Смит: он мечтал создать анимационный фильм на компьютере, соосновал Pixar, но ушёл из компании из-за Джобса Статьи редакции

Смит создал альфа-канал, который используется в Photoshop и других редакторах, работал в Xerox и LucasFilm и убеждал всех, что за компьютерной графикой будущее, однако всерьез его никто не воспринимал – кроме Стива Джобса.

Минэкономразвития РФ приняло предложения РСПП по совершенствованию рынка интеллектуальной собственности

На актуализации плана дорожной карты ТДК (трансформация делового климата) «Интеллектуальная собственность» в соответствии с пожеланиями бизнес-сообщества настоял первый заместитель председателя правительства Андрей Белоусов.

Kornia - Python библиотека для обработки изображений в задачах CV

В этой статье я хотел бы познакомить читателей с библиотекой для ЯП python — Kornia, имеющей богатый функционал в области computer vision. Библиотека написана с использованием pytorch, в ее основе лежат готовые решения, такие как torchvision, PIL, skimage, tf.image, OpenCV. В Kornia реализована возможность выполнения вычислений не только с…

На сайтах с эквайрингом от ПСБ появился Yandex Pay

Покупатели с аккаунтом «Яндекса» смогут оплачивать покупки, не вводя данные карты.

null