Алгоритмы работают, а экономика не сходится: 6 самых частых ловушек при оценке ИИ
Точность модели и скорость обработки ещё не доказывают, что искусственный интеллект приносит деньги. Альфа-Банк разбирает ошибки, которые мешают увидеть реальную отдачу от технологических проектов.
Спросите у случайной компании, окупилось ли их ИИ-решение. Вам покажут слайд, где всё хорошо: точность выросла, время обработки упало, людей освободили от не самой приятной работы, которая занимала уйму времени.
Теперь задайте вопрос: «А где эти деньги?». Тут обычно наступает тишина.
Дело не в том, что алгоритмы не работают — просто оценить их эффект может быть даже сложнее, чем внедрить технологию. Результат часто удваивают, расходы на содержание не считают или сравнивают модель с процессом, который и без неё был устаревшим. Бывает и обратное: проект приносит деньги, но эффект оценили неправильно — и тихо закрыли.
В Альфа-Банке работают десятки ИИ-систем, и экономику каждой считают до запуска — часть проектов так и не доходит до внедрения (где, как не в банке, любят считать деньги). Мы собрали шесть типичных ошибок, из-за которых цифры расходятся с реальностью.
1. Считаете один рубль дважды
Когда компании оценивают результаты внедрения ИИ, часто складывают вместе hard- и soft-эффекты, когда описывают один и тот же ресурс. Получается, что один рубль учитывается дважды. Это ошибка: расчётный эффект становится больше реального.
Soft-эффект — это экономия времени специалистов. Например, сотрудники тратят на задачу на 30% меньше времени.
Hard-эффект — это прямые деньги в итоговой прибыли. Например, модель привлекла новых клиентов или алгоритм увеличил конверсию продаж.
Ошибка возникает, когда эти метрики плюсуют. Компания считает, что сэкономила на зарплатах 50 человек (soft), и одновременно приписывает модели доход от новых задач, которые эти люди взяли на себя (hard). Но если по факту сотрудников не сократили, а перевели на другие проекты, в финансовый результат эти «сэкономленные» деньги не попадут. Поэтому нельзя складывать эффекты, которые описывают один и тот же ресурс.
Для проверки задайте себе вопрос: если убрать ИИ, эффект исчезнет? Если ответ «да», эффект реальный. Но если эффект остаётся, потому что люди просто перешли на другие задачи, — это не эффект модели.
2. Забыли, что у ИИ есть «зарплата»
На волне эйфории вокруг нейросетей бюджет на них многие воспринимают как разовую покупку: оплатили подписку, интегрировали модель, запустили — и начали оценивать отдачу. На деле ИИ в компании — это как дополнительный сотрудник. Его нужно «нанять» и обучить, платить регулярную «зарплату» за инфраструктуру и токены, а ещё оплачивать «больничные» — поддержку и восстановление, если система упадёт.
Если не оценивать эти расходы на старте, счета могут стать неприятным сюрпризом. В июле 2026 года Tesla была вынуждена ввести лимит в $200 в неделю на использование внешних ИИ-инструментов: инженеры сжигали тысячи долларов на токенах. А другая корпорация, по данным Axios, за месяц потратила $500 млн на лицензии Claude просто из-за того, что сотрудникам не установили лимиты генерации.
«Решение на базе ИИ — это не только разработка модели, но и стоимость владения: инфраструктура, поддержка, обновление, контроль качества, реагирование на инциденты. В Альфа-Банке мы стараемся закладывать эти затраты ещё до запуска — так проще отказываться от решений, которые не сходятся по экономике. Важно, чтобы стоимость владения была прозрачна на всём горизонте эксплуатации, а не только на этапе пилота».
3. Сравниваете модель с тем, что и так было сломано
Выгоду от внедрения нейросети нередко сравнивают с текущим неэффективным процессом или с его отсутствием. Расчёты выглядят убедительно, из-за чего картина искажается. Лучше сравнивать не с тем, что есть сейчас, а с лучшей возможной альтернативой. Альтернатива — это не «как сейчас», а лучший из доступных вариантов: нанять опытных специалистов, поменять процесс, купить готовое решение
Например, часто выгоднее не заменять ИИ-агентами сотрудников, а внедрить автоматизацию части из рутинных процессов без использования дорогостоящей LLM.
Похожая ошибка случается, когда по процессу вообще нет базы, но бизнес сразу хочет строить сложную модель — например, чтобы она принимала решение о размере бонусов для клиентов. Но, вероятно, можно просто привязать бонусы к размеру оборотов: максимальные привилегии получает тот, кто больше тратит. Эффект сопоставим, а стоимость внедрения и поддержки существенно ниже.
«Прежде чем запускать сложный проект, мы честно отвечаем себе на вопрос: действительно ли ИИ — лучшая альтернатива? Иногда простые бизнес-правила, изменение процесса или обычная автоматизация решают ту же задачу быстрее и дешевле».
4. Гоняетесь за точностью или решением, которые вовсе не нужны
Команда может месяцами докручивать алгоритм, выжимая дополнительные проценты точности. В одних случаях это действительно приносит миллионы, в других — впустую сжигает рабочие часы дата-сайентистов и ресурс видеокарт. Вопрос не в безупречности работы системы, а в том, даёт ли эта точность реальные деньги в конкретном бизнес-процессе.
В 2025 году в городе Дублин, штат Огайо, запустили робота-парковщика за $128 тыс. Технически он работал идеально: точно распознавал номера, быстро ездил между рядами, фотографировал машины. При этом за 10 месяцев работы он не выписал ни одного штрафа — все водители в Дублине парковались правильно. Робот оказался бесполезным не из-за плохой точности, а из-за специфики процесса.
«В банках точность модели имеет смысл там, где за ней стоит действие, меняющее экономику процесса. В риск-моделях даже небольшой прирост точности может быть заметен, потому что решение принимается по каждому клиенту. В моделях оттока бывает иначе: алгоритм хорошо предсказывает, кто уйдёт, но если у бизнеса нет рычага удержания, точность сама по себе не конвертируется в результат. Поэтому стоит всегда начинать с вопроса: что мы сделаем с этим предсказанием? Если ответа нет — точность не поможет».
5. Верите в эффект без A/B-теста
Вот компания запустила модель. Подождали месяц, сравнили метрики с предыдущим периодом — эффект вроде бы есть. Но это не значит, что его дала именно нейросеть. Мог измениться рынок, наступить сезонность, сработать другая инициатива. Отделить реальный вклад алгоритма от внешних факторов помогает контрольная группа — часть базы, которая работает по-старому, без модели.
«Методология A/B-тестов заслуживает отдельной статьи, но базовое правило одно: влияние алгоритма нужно изолировать. Сравнивать метрики на разных временных отрезках нельзя — слишком много внешних факторов. А при делении базы важно следить за однородностью выборок: например, нельзя, чтобы премиальные клиенты попали только в одну. Контрольная группа — довольно точный способ отделить реальную пользу модели от рыночных колебаний».
6. Смотрите на метрику отдела, а не на клиента
Локальная метрика продукта редко отражает реальную пользу для всего бизнеса. Если оценивать внедрение технологии только по отчётам одного подразделения, можно упустить важные сопутствующие изменения.
Получится другая форма искажения эффекта — каннибализация. Если в первой главе статьи мы рассматривали задвоение как переток эффектов внутри одного продукта, то здесь — между разными продуктами.
«Когда в банковском процессе следят за метриками только одного локального продукта, часто упускают из виду клиента в целом. Например, банк запускает маркетинговую коммуникацию для привлечения средств в инвестиции и видит рост. Но на деле это оказывается перетоком с депозитов того же банка. Получилось идеально выполнить задачу для конкретного направления, но маржинальность параллельного продукта упала. Без CLTV мы рискуем радоваться ложному росту, не замечая, что совокупный результат оказался ниже ожидаемого».
Бывает и так: алгоритм запрещает выдачу кредитной карты с улучшенными условиями части клиентов, чтобы не ухудшать экономику продукта. Но если оценивать клиента в целом, может выясниться, что наличие кредитки с улучшенными условиям мотивирует пользоваться другими услугами (рост транзакций через карту банка, покупку страховок и так далее). В экономике кредитной карты такой клиент приносит незначительное ухудшение, при этом в сумме банк получает значительный плюс.
Чтобы этого избежать, в Альфа-Банке смотрят на пожизненную ценность клиента — CLTV (Customer Lifetime Value). При запуске пилотов оценивают, как меняется общая доходность банка по клиенту, и строят математический прогноз этой доходности на несколько лет вперёд.
Что в итоге
ИИ — мощный инструмент, но его эффект легко исказить на этапе оценки. Увидеть реальную отдачу помогают простые правила: не задваивать hard- и soft-эффекты, учитывать стоимость содержания, сравнивать с лучшей альтернативой, смотреть на бизнес-пользу (а не только на точность), проводить A/B-тесты и не забывать про сопутствующие эффекты.
Если хотите, чтобы ваш ИИ окупался, начните с правильного учёта: считайте не то, что легко посчитать, а то, что действительно создаёт для компании ценность.