Зачем бизнесу ML и AI

Всем привет! Я Женя Лобанов, директор по стратегическому развитию в AGIMA. Мы уже 15 лет занимаемся заказной разработкой — помогаем нашим заказчикам внедрять digital-решения.

Пару лет назад наша компания вплотную занялась разработкой обучающихся алгоритмов. В этой статье расскажу, почему мы вообще обратились к этой сфере и зачем выделили её в отдельное направление. Уверен, наш опыт поможет другим компаниям найти точки роста и масштабироваться.

Как пришли к ML

Машинное обучение и искусственный интеллект захватывают мир. Мы каждый день пользуемся сервисами, в основе которых обучающиеся алгоритмы. Они упрощают жизнь: помогают с покупками, подбирают машину, советуют музыку. По прогнозам Business Insider, только рынок чат-ботов к 2024 году вырастет до 9,4 млрд долларов.

Наша внутренняя статистика подтверждает тренд. Со второго квартала 2020 по третий квартал 2021 года мы получили 2808 заказов. Из них 120 — запросы на продукты с использованием обучающихся алгоритмов. То есть 4% заказов — это заказы именно такого типа. В 2018–2019 году таких было всего 0,5%. За несколько лет спрос вырос почти в 8 раз.

Но даже не это заставило нас внимательнее следить за ML. В тот же период 2020–2021 года 80% заказчиков, с которыми мы уже работали, попросили внедрить в их продукты новые технологии. И все эти технологии подразумевали полное или частичное применение искусственного интеллекта.

В чем сила ML

Почти все наши заказчики, особенно из финтеха и ритейла, обзавелись чат-ботами. Яркий пример — АльфаСтрахование. Их клиенты через Telegram-бота оформляют полисы. Это снимает нагрузку с их сайта и колл-центра и увеличивает лояльность клиентов. Чтобы получить страховку, ты просто открываешь привычный мессенджер.

Позже мы стали чаще применять другие механики машинного обучения. Например, для умных рекомендательных систем. В классической схеме рекомендации основываются на статистике. Большинство покупателей онлайн-магазина вместе с томатной пастой берут оливковое масло и спагетти. Значит, если вы покупаете томатную пасту, система предложит вам именно оливковое масло и спагетти. Стоит ассортименту смениться, статистика обнуляется. В магазине больше нет того самого оливкового масла. Теперь вместе с томатной пастой вам посоветуют только макароны. Ваш итальянский ужин не состоится.

Но обучающиеся алгоритмы не допустят этого. Они анализируют описание товара при его добавлении в каталог и делают рекомендации исходя из самой его сути. Нет популярного оливкового масла — предложат менее популярное. Нет и его — предложат льняное или подсолнечное. Без масла вы не останетесь. В этом сила «умных» рекомендаций — они оперируют не статистикой.

Технологии искусственного интеллекта способны выполнять работу, в которой несколько лет назад нельзя было обойтись без человека. Например, мы научили робота ЭкоБот сортировать мусор. Программа распознает на конвейере пластик, стекло, металл и картон. Потом механическая рука распределяет разные типы мусора по разным контейнерам. Человеку остается контролировать и доучивать машину.

Эти примеры на практике показали, в чем преимущества обучающихся алгоритмов:

  • сокращают рутину за счет ТГ-ботов;
  • улучшают продажи за счет рекомендательных систем;
  • помогают находить целевую аудиторию через новые SMART-каналы;
  • делают клиентский сервис удобнее за счет автоматизации;
  • уменьшают издержки благодаря алгоритмам.

Данные исследований, наша внутренняя статистика и успешные кейсы убедили нас, что в будущем цифровой продукт без технологий машинного обучения обречен проигрывать конкурентам. Эта мысль стала отправной точкой для нашего нового направления — AGIMA.AI.

Почему отдельное направление

Мы не хотели работать над ML-проектами силами наших отделов аналитики и разработки. Тому было две причины:

  • проектирование обучающихся алгоритмов требует больше усилий на исследование модели данных;
  • для этой работы нужны уникальные компетенции.

Вместо этого мы выбрали другую стратегию. Она состояла из трех элементов:

  • Инкапсулировать весь процесс разработки с использованием искусственного интеллекта и машинного обучения в отдельное направление.
  • Явно очертить разницу между нашим отделом продуктовой аналитики и новым направлением.
  • Прокачать проектные офисы по таким компетенциям, как статистика в машинном обучении, экспериментальный анализ данных, добыча данных и т. п.

Как инкапсулировали направление

Мы собрали все текущие запросы и проекты по доработке продуктов по направлениям AI и ML. Смогли сформировать набор услуг, кейсов и выделить УТП по этим направлениям. Таким образом у нас сформировалась обёртка нового направления.

Отделить специалистов по этим проектам и сформировать управляющую структуру администрации нам помогло объединение с топовой компанией в этом сегменте.

Все наши активности мы моделируем в виде примитивного PnL (отчёта о доходах и убытках). Учитываем текущую выручку и потенциальный рост по конкретному направлению, а также все необходимые затраты (распределяем по головам производственников, поэтому инкапсуляцию провести легче). И в итоге видим потенциал направления и необходимые стратегические решения для его роста. Более подробно об этом можно почитать в моей статье про управленческий учёт.

Где граница между AGIMA и AGIMA.AI

Если в AGIMA приходят за комплексным редизайном или запуском нового продукта, то отдел продуктовой аналитики строит модель того, каких бизнес-показателей достигнем после запуска и за счёт чего. AGIMA.AI же исследует текущий или новый продукт для улучшения клиентского сервиса по профилю рекомендательных систем, компьютерного зрения, предсказания, чат-ботов, анализа текста, BI и т. п.

При этом, так как AGIMA занимается комплексной разработкой и интеграцией digital-продуктов, без компетенций проведения количественных, качественных исследований, предпроектного обследования, написания заданий на проектирование и запусков в софт-лонче/сплит-тестах мы не могли бы существовать. Но компетенции в статистике и понимании, как реализовывать обучающиеся алгоритмы, только дополняют весь веер наших компетенций.

Какие компетенции нужны для ML

Мы учитывали статистику (годовой прирост оборота по первому году и новым компетенциям выходил в районе 10%), потенциальные темпы роста, затраты на специалистов и повышение компетенций проектных офисов. Всё это помогло нам оптимизировать модель для эффективного старта нового направления.

Основные навыки, которые мы прокачали у наших проектных офисов для комфортной коммуникации со специалистами нового направления:

  • Формализация и формулировка самого вопроса, на который можно ответить статистически.
  • Вычисление, понимание и интерпретация метрик производительности: например, p-значение, ошибка первого и второго рода и другие.
  • Вычисление, понимание и интерпретация общих статистических данных.
  • ANOVA — понимать, как делают выводы из оценок местоположения и изменчивости.
  • Как применять матстатистику релевантно области использования.
  • Понимание процесса разработки экспериментов по проверке гипотез.

Также важно было интегрировать новые процессы в уже отлаженные. Поэтому мы провели большую организационную работу и поменяли текущие регламенты с учетом новых обстоятельств:

  • Мы описали отдельный раздел в нашей базе знаний по всем процессам и необходимым компетенциям.
  • Добавили соответствующие навыки во все регламенты и чек-листы по грейдированию руководителей проектов и тимлидов.
  • Провели презентацию нового направления и компетенций на нашей обязательной встрече Managers Club.
  • Для закрепления результатов выработали дополнительную мотивационную схему для руководителей проектов, которые смогут внедрить компетенций AI и ML на своих продуктах.

Что в итоге

Чтобы освоить новый рынок, мы смоделировали новое направление работы компании. Это помогло нам организовать его максимально эффективно:

  • задать вектор развития для наших специалистов;
  • использовать уже имеющуюся инфраструктуру AGIMA;
  • достичь оптимальной ставки часа.

В результате мы получили новые компетенции, которые умеем масштабировать на наши проектные офисы. И теперь, вновь убедившись на собственном опыте, можем утверждать, что при правильном подходе к организации новых направлений вы не потеряете инвестиции, вложенные в повышение квалификации своих сотрудников, а сможете найти точку роста для своего бизнеса.

Мы уже запустили несколько проектов, которыми мы с вами пользуемся:

В статье я попытался рассказать, как и почему мы открыли направление искусственного интеллекта и машинного обучения. Надеюсь, что она поможет увидеть другим компаниям свои точки роста и масштабироваться.

0
40 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов

Спасибо за ваш комментарий.
Лояльность формируется благодаря тому, что пользователь получает доступность бизнеса 24/7 (а не от использования конкретных инструментов). Безусловно, такую доступность бизнеса можно организовать и без чат-ботов. Но это значительно дороже.
Поэтому если использовать омниканальный подход и современных ботов на базе ИИ, то клиент в любое время суток может получить полный и качественный ответ, что повысит его лояльность.
К сожалению, открыть данные nps конкретно в этом кейсе до и после — не могу. Но это общий тренд и коллеги из маркетингового агентства hubspot отлично его описали (не только про чат боты, а в том числе про разные инструменты для урегулирования кризиса недоверия к бизнесу).
https://blog.hubspot.com/service/customer-acquisition-study

Ответить
Развернуть ветку
Efrem Neh

"доступность бизнеса" и "ебаться полчаса пытаясь решить простой вопрос и пробиться через сраного тупого как пробка бота" - немного разные вещи

Ответить
Развернуть ветку
Евгений Лобанов

Абсолютно с вами согласен и большинство ботов "собрано на коленке" (уровня ТГ ботов). Это хотелось бы изменить!
Поэтому я отметил в предыдущем комментарии имхо важную составляющую для повышения лояльности пользователя "использовать омниканальный подход и современных ботов на базе ИИ".

Ответить
Развернуть ветку
Efrem Neh

знаем, знаем

Ответить
Развернуть ветку
Евгений Лобанов

Картинка смешная, плюсанул, спасибо :)

Ответить
Развернуть ветку
Дмитрий Перепёлкин

Что мешает сделать старый добрый FAQ? Именно эту функцию сейчас выполняет большинство ботов, только через одно место.

Бот должен быть функциональным, выдавать какие-нибудь данные из БД, регистрировать в сервисе и т.д., в общем то, что малый бизнес не осилит по части backend+frontend, но может реализовать на коленке через ботов, т.к. это проще, бота сейчас любой школьник с базовыми навыками программирования соберёт, да и no-code решения есть.

Замена оператора поддержки кривыми алгоритмами пока выглядит скорее угрюмо, чем полезно.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов

Интересно кто платит по вашей логике?
AGIMA — занимается заказной разработкой на основе опыта пользователей. Никаких других источников финансирования у нас нет. Соответственно, чтобы получать деньги — надо развивать бизнес заказчика или от нас просто напросто откажутся.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов

Боюсь, что РСА и проверка БКИ (не зависимо от страховой компании) часто "на обед уходит и вечером домой" ;)
Именно в этот момент чат-бот может помочь покупателю и сориентировать по статусам оформления. Если говорить об этом конкретном кейсе.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов

1. Вы бы хоть загуглили, прежде чем всякую ерунду без аргументов писать.
downradar хотя бы посмотрите там статистику по доступности и сбоям, можете проверить этот факт на любом другом мониторинге.

2. Сориентирует по времени ожидания обработки запроса, как минимум.
А вообще более подробно в кейсе по ссылке. Если интересно, то можете там ознакомиться.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов
Ответить
Развернуть ветку
Евгений Лобанов

По вопросу 2:
Бот не знает, когда будет исправлен сбой.
Но если вы когда-нибудь оформляли е-осаго, то знаете что калькуляторы формируют запрос РСА и БКС, после этого пользователь уходит ждать email. Если там сбой, то письмо не приходит и клиент начинает терять "доверие", пытаться повторно заполнить заявление на страхование и т.д. В этом кейсе на помощь и приходит чат-бот, он отвечает что на таком-то сервисе сбой, всё в порядке и скоро вы получите своё письмо ответ на заявление.
Это лишь один самый распространённый пример.
Но полезных применений такого бота на процедуре оформления ОСАГО — очень много.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Лобанов

Я ответил на ваш первый комментарий. Там и про чат-бота и про лояльность (перечитайте).

Лояльность оценивали по NPS. Этот показатель вырос.

Клиент не может через колл-центр оформить ОСАГО в любое время суток, а с помощью чат-бота может.
В целом, процесс оформления ОСАГО (без учёта конкретной страховой) достаточно специфический, тем не менее если у вас есть автомобиль — то по закону придётся это сделать.

Ответить
Развернуть ветку
Anton Z.

вы просто не пользовались их сайтами и колл-центром. я весной оформлял страховку, так у меня от их UX глаза кровоточили. Начиная, что ребята, пилившие формы, ни разу не видели даже как в паспорте данные сформированы. Продолжая 404 ошибками на страницах с условиями программ. Неспособностью подгрузить старые данные пользователя во всратые огромные формы. Приложение для трубы, которое скачет через какие то левые домены аутсорс конторок.

Ответить
Развернуть ветку
Ияза Гара

Цель использования чат-ботов - сэкономить на поддержке (именно так оно и продаётся направо и налево).
Эффект от внедрения - разгневанные клиенты, не получающие помощи от бота и не получающие консультации от человека. О какой лояльности речь если эффект прямо проитивоположный?
Вы хоть раз видели адекватного чат-бота? Я не видел ни разу. За последние лет 5 боты решили ноль моих проблем, зато заставили потратить кучу времени на вызов оператора.
У Альфы боты - полное дно. Не просто дно, а днище! Стыдно такое в пример ставить.
Что же до лояльности - то респект Тиньков, когда бот без выкрутасов переключает на живого оператора.

Ответить
Развернуть ветку
Денис К

уже все боты переключают вроде как.
просто орешь в трубку до посинения - слова "оператор" и "консультант".
вот тебе и весь ML.

Ответить
Развернуть ветку
Невкусно и грустно

Когда видишь чат-ботов, как пример работающего МЛ, - это сразу отличный маркер, что перед тобой успешный успех.

Ответить
Развернуть ветку
Евгений Лобанов

Там есть и другие примеры, но виртуальный ассистент (чат-бот на нейросетках) — хороший пример, поэтому не совсем понял ваш комментарий.
Там используются обучающиеся алгоритмы, которые сравнивают реплики пользователя по лексическому смыслу. Вполне себе ML.

Ответить
Развернуть ветку
Денис К

как ты думаешь, если бы человек был работодателям, то долго бы продержался на работе этот виртуальный ассистент?)))

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Денис К

то есть обман "диджитал-стратегиями" перестал работать?
освоили новый способ развода?
я правильно понял?

Ответить
Развернуть ветку
Евгений Лобанов

AGIMA никогда не занималась разработкой "диджитал-стратегий", т.к. это ближе к маркетинговым услугам, а мы про разработку приложений на базе опыта пользователя.
Скорее всего вы говорите про наш новый продукт стратегия IT-продукта через ментальные модели и дизайн-спринты https://www.strategy.agima.ru/

Оба продукта: стратегия it-продукта и ML — сейчас популярны, а т.к. мы всегда смотрим не только на проектные метрики (рентабельность, утилизация ресурсов и т.д.), но и на продуктовые/бизнес метрики (например, конверсия в целевое действие), то какую бы услугу вы у нас не заказывали — можете быть уверены, что она лишена "развода" :)

Ответить
Развернуть ветку
Денис К

Понимаете ли...
Это, по сути своей, изначально развод.
И все трезвомыслящие люди понимают, что нейросети работают "отвратительно", читай - не работают. Я говорю о той работе нейросетей, где нужно взаимодействие с человеком.
Сейчас уровень технологий может сделать только АВТОМАТИЗАЦИЮ - четкий и верный алгоритм, либо просто запустить генерацию случайных или псевдослучайных чисел, ну, и дальше и глубже, то есть вариации. Но людей дурят и обещают им чудеса и фантазии. А люди хотят верить. Мы все хотим, чтобы всё было всегда хорошо )))
Почему так произошло и почему ЭТО продвигают в реальную жизнь это отдельный разговор.
И да, когда-то и я был менеджером по продажам)))

Ответить
Развернуть ветку
Олег Малахов

Очередной успешный успех 🤦

Ответить
Развернуть ветку
Владислав Брючко
В этом сила «умных» рекомендаций — они оперируют не статистикой

О как. Интересное заявление в статье про ML

Какие результаты у ваших клиентов после внедрения ML?

Ответить
Развернуть ветку
Евгений Лобанов

Речь конкретно про "умные" системы рекомендаций.
В обычных системах — пользователю будет рекомендоваться дополнительно тот товар, который чаще всего по статистике покупают вместе. Если товар обновили и такая статистика "обнулилась" (т.е. совместные покупки ещё не совершались), то обычные рекомендательные системы не смогут рекомендовать доп товар.
Именно в этом контексте я утверждаю, что "они оперируют не статистикой", ведь при добавлении каждого товара система анализирует его по описанию и именно благодаря описанию создаёт рекомендательные связи.

Ответить
Развернуть ветку
Владислав Брючко

А как у вас обучение происходит без "статистики" (данных для обучения)? Если данные для алгоритма также обнулятся (описание обнулилось), то система также не выдаст решение. Не будет данных, не будет ML (но это я уже докапываюсь к формулировкам).

Просто резануло глаз это предложение. Для ЦА, которая не знает, как работает ML в целом ок

Ответить
Развернуть ветку
Евгений Лобанов

Спасибо за корректировку, теперь надеюсь будет чуть более понятно читателям.

Ответить
Развернуть ветку
Вячеслав Устинов

Добрый день, было бы интересно узнать об используемом стеке на стороне ML и как заводите модельки на продакшн

Ответить
Развернуть ветку
Andrey Tatarinov

Стек и подход к MLOps зависит от области.

Стек:
- CV/NLP - Pytorch, Huggingface transformers, Mmdetection, Torchvision. (еще был болезненный опыт с TF Detection API :))
- чатботы - RASA и NLU модели HF transformers через обучалку RASA или собственные.
- табличный ML - XGBoost и опять же эксперименты с трансформерами
- recsys - разные матричные разложения типа ALS и трансформеры :)

Деплой:
- если делаем как хотим, то K8s + KServe
- если надо попроще, то самописный сервис с API под задачу

Ответить
Развернуть ветку
Sergei Zotov

Чатбот Альфа страхования имеет в себе хоть какой-то ML, чтобы его приводить в пример?

Судя по ссылке, там типичный сценарный бот уровня "вот тебе 3 варианта ответов" - "спасибо, что выбрали 1" - "я сходил по заданной логике в апишку и вот результат"

Никакого NLU/NLP, даже классификатора интентов нет

Ответить
Развернуть ветку
Mr Black

🤣🤣🤦

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
37 комментариев
Раскрывать всегда