Три ошибки на главных этапах внедрения ИИ-решений
Которые могут дорого обойтись вашему бизнесу.
Искусственный интеллект приносит бизнесу реальные деньги. Голосовой робот вернул сети пиццерий 5664 клиента, которые сделали 8000 заказов на сумму 6 млн рублей. А рекомендательная система на основе ИИ, внедрённая в систему электронных закупок, обеспечила площадке рост завершённых процедур в 3,7% и дополнительную ежегодную выручку в 76 млн рублей.
Но и цена ошибки при внедрении инструментов искусственного интеллекта становится выше. Это касается, например, выбора между самостоятельной разработкой AI-инструмента и использованием готового решения. А также корректной оценки результатов внедрения самой компанией или её ИТ-подрядчиками. О ключевых ошибках при использовании AI и способах их избежать поговорим в статье.
Велосипед уже изобретён, или Избыточное стремление бизнеса к собственной разработке
Разработка инструментов AI in-house на первый взгляд выглядит выигрышно: полный контроль процессов, прозрачность трат, возможность тонкой настройки и фокуса только на самых нужных конкретному бизнесу функциях. Остаётся только собрать компетентных специалистов нужного профиля и поставить им задачу. При этом ещё и деньги не будут уходить из компании, а пойдут на развитие внутренних же ресурсов, да и сотрудники станут лучше понимать запросы пользователей и бизнес-процессы.
Но для успеха нужно точно знать, как искусственный интеллект поможет бизнесу, какие задачи он будет решать. После ответов на эти вопросы, нужно оценить: нет ли готового решения, соответствующего поставленным целям, и не окажется ли его применение выгоднее?
По данным компании Сбер Бизнес Софт, в России в 2023 году было примерно 200 разработчиков AI-решений, из них около 50 — крупные. Однако, ни в одной отрасли доля аутсорса AI не превышала 0,1% выручки. Это говорит о том, что бизнес инвестирует в базовые решения или фокусируется на разработке in-house.
Избыточное желание разрабатывать AI самостоятельно может привести к тому, что компания потратит деньги и время, наймёт новых сотрудников (а специалистов по AI ещё не очень много, и они не дёшевы). А в результате окажется, что выстраданная разработка делает ровно то же, что и «коробочное» решение, которым уже полгода пользуется половина конкурентов.
Вообще создавать команды AI-специалистов для разработки in-house чаще всего реально выгодно только крупнейшему бизнесу. Именно там, на очень больших объёмах, условные итоговые 0,5% разницы в эффективности между собственноручно разработанным AI-инструментом и готовым решением превращаются в серьёзные деньги.
Но даже в этом случае может быть выгоден гибридный вариант, когда для оперативного выполнения поставленных задач покупается готовый продукт, а разработка своих инструментов искусственного интеллекта идёт параллельно. Это позволяет не только добиться тех самых 0,5% выгоды в долгосрочной перспективе, но и получить её от использования AI в моменте. А активная эксплуатация необходимого инструмента дополнительно поможет в разработке, демонстрируя на практике все тонкие места, нюансы и сложности реальной работы.
AI-математика
Стоимость разработки AI-решений внутри компании примерно можно оценить, умножив среднее время создания на почасовую ставку разработчика.
Так, скромный инструмент AI, который сможет анализировать прошлые события и прогнозировать на этом основании результат действий в будущем, потребует минимум 100 часов.
На средний инструмент, требующий распознавания и классификации объектов, уйдёт 2000—2500 часов.
Разработка больших проектов, которые требуют работы множества различных систем, может занять несколько лет.
При средней зарплате Python-разработчика в 202 000 рублей стоимость часа работы — 1270 рублей. В этом случае стоимость разработки небольшого проекта стартует от 127 000 рублей, среднего — от 2 540 000 рублей, а большой проект начинается с бюджета 3,175 млн рублей.
Но важно помнить, что в эти расчёты включена только стоимость работы разработчиков, которая сама по себе варьируется в зависимости от региона и опыта сотрудника (сроки разработки также могут сильно колебаться, обычно в сторону увеличения). А ещё есть зарплаты других специалистов — начиная с менеджера проекта и заканчивая тестировщиками. И, скорее всего, будут другие дополнительные расходы: на технологии, серверы и т. д. Так что для расчёта реальной стоимости разработки не зря привлекают обычно профильную компанию, которая оценит существующие ресурсы и пошагово определит стоимость разработки.
Расфокус, или Конфликт метрик
Необязательно знать, как работает технология, чтобы пользоваться ею. Но без понимания целей внедрения AI не удастся оценить результат и понять, есть ли выгода от применения. Определив бизнес-ценность, можно выяснить, какую метрику должен улучшить AI-инструмент.
Тут скрыта ещё одна опасность: взаимосвязь метрик не всегда очевидна и, более того, внедрённый инструмент может одновременно положительно влиять на одну метрику и негативно — на другую. Без выделения приоритета может сложиться впечатление, что AI приносит вред или как минимум не приносит пользы.
Например, у некоторых пользователей есть предубеждения против чат-ботов. Людям кажется, что бот не сможет ответить на вопрос так же, как живой человек. Поэтому они просят бота связать их с сотрудниками поддержки, даже если AI может ответить на вопрос. Доработка искусственного интеллекта позволит обрабатывать возражения таких пользователей и автоматизировать этот сегмент: чат-бот закрывает больше задач, ресурсов компании на работу с клиентами уходит меньше, а сокращение времени ожидания положительно влияет на клиентский опыт. Метрики, отслеживающие эти параметры, бизнес улучшит.
Однако пользователи, которые не любят чат-ботов, вполне вероятно, испытают больше негативных эмоций из-за новых скриптов, более продолжительного общения с ботом и невозможности перевестись на оператора. Они будут чаще отказываться от взаимодействия и, возможно, от услуг в целом. Метрики по этим параметрам ухудшатся, и ориентация только на них приведёт к отказу от AI. Даже в том случае, если экономия ресурсов из растущих метрик перевесит отсев недовольных пользователей.
Поэтому крайне важно сразу определить степень важности метрик и продумать их соотношение на случай расхождений. Для реальной оценки эффективности AI-инструмента нужно заранее определить, скольким пунктам показателя удовлетворённости клиента соответствует пункт экономии ресурсов.
Ошибки при оценке эффекта внедрения
При оценке результатов внедрения AI в бизнес можно столкнуться с конкуренцией метрик. Очень важно оценивать результаты по той метрике, которую компания определила для себя как основную. Например, точно конвертировать отношение клиента (удовлетворённость и лояльность) в финансовый успех продукта (доходы или прибыль) невозможно. Поэтому AI нужно оценивать по ключевой метрике для конкретной компании в конкретный момент.
Также важно понимать взаимодействие показателей при использовании квазифинансовых метрик. Например, учитывая наполнение склада при прогнозировании спроса, важно понимать картину полностью, просчитать возможные последствия как от недостатка товара на складе, так и от его избытка. Иногда хранение дополнительной единицы товара может оказаться затратнее, чем отсутствие того же количества товара.
Кроме того, правильная оценка требует достаточного для объективных выводов количества данных. Например, сравнивая традиционные и AI-инструменты важно иметь большое количество итераций, которые могут показать повторяемое влияние отдельных факторов. Доказать позитивное влияние чат-бота или другого AI-инструмента, проанализировав сто сделок по продаже чемоданов, — можно. Понять роль искусственного интеллекта в продаже двух яхт крайне сложно.
Кроме того, не всегда есть объект для сравнения работы AI-решений. Например, при слепом ретроспективном тесте работа модели проверяется на реальных данных. Посчитали нужный параметр за период, по которому уже есть данные, сверили результаты. Если результаты сходятся, модель эффективна. Но как проверить правильность работы AI, если от него требуется сегментировать клиентов и каждой группе предложить уникальный бонус? Готовых данных для сравнения нет, как отреагировали бы клиенты на другой тип бонуса — неизвестно. Выход — формирование контрольной группы и сравнение её результатов с AI. Возможно, это более затратно и совершенно точно это сложнее обычного сбора статистики. Но применение AI чаще всего выгодно: по исследованию аналитического центра НАФИ, 70% пользователей AI в бизнесе положительно оценивают свой опыт использования таких инструментов.