Каких результатов ждать от AI-инструментов: 7 метрик, кейсы и сроки окупаемости

По данным McKinsey State of AI, 78% компаний уже используют GenAI (Generative AI) хотя бы в одной бизнес-функции. Измеримую прибавку к EBIT (Earnings Before Interest and Taxes) фиксирует, по разным оценкам, заметное меньшинство: разные волны опроса называют разную долю, а цифра «26%», которая часто гуляет по пересказам, в открытых материалах отчёта не встречается. Для точной ссылки нужна конкретная страница PDF-отчёта, а не общее воспоминание о цифре. Дело не в технологии, а в ожиданиях и методологии измерения. Дальше — конкретные цифры по семи метрикам, разбор кейсов Klarna, Octopus Energy и ANZ Bank, и честный разговор о том, почему большинство пилотов не доживают до масштабирования.

1. Продуктивность (issues/задачи в час)

2. Скорость выполнения задач (% сокращения времени)

3. Скорость создания контента (маркетинг)

4. Стоимость лида / CPC

5. Конверсия (email, продажи)

6. Удовлетворённость клиентов (CSAT на AI-ответах vs человек)

7. Стоимость одного обращения / тикета

Дальше — что об этих метриках говорят реальные исследования, и где цифры нужно смягчать, потому что источник не подтверждает точное число.

Неравномерный рост производительности важнее средних цифр.

Исследование Brynjolfsson, Li и Raymond (NBER, 2023) охватило 5 179 агентов поддержки: внедрение LLM (Large Language Model)-ассистента дало +14% к продуктивности в среднем, но у новичков прирост составил +34%. Опытные сотрудники выиграли меньше: модель фактически передала им накопленные знания коллег, а не заменила их экспертизу. Ключевой вывод — AI сильнее всего там, где есть разрыв между junior и senior.

GitHub вместе с Accenture измерял влияние Copilot на предприятии: рост доли завершённых pull request на около 26%. Речь идёт о метрике по закрытым pull request, а не о «времени на задачу»: формулировки стоит различать. Эффект здесь тоже завязан на опыт: младшие разработчики выигрывают больше, потому что меньше зависают на поиске синтаксиса и шаблонов.

Goldman Sachs в отчёте 2024 года оценил долю рабочих задач, которую можно автоматизировать, в диапазоне от четверти до половины для профессий, наиболее подверженных автоматизации: 25% — скорее нижняя граница оценки, а не единственная цифра. Реальный охват в 2026 году — 8–12%, и разрыв объясняется интеграционными барьерами, а не возможностями моделей.

По данным Bain & Company, пилоты GenAI в среднем дают 10–15% прироста продуктивности, но этот эффект часто не превращается в реальный ROI, если сэкономленное время не перенаправляется на задачи с более высокой ценностью. Медианный срок окупаемости в месяцах Bain нигде явно не публикует: диапазон «9–14 месяцев» встречается в пересказах отчёта, но без ссылки на первоисточник он остаётся предположением, а не цитатой.

Самый измеримый эффект AI в маркетинге — не качество текста, а скорость итерации.

Кейс Klarna остаётся эталонным. По данным официального объявления компании от 27 февраля 2024 года, AI-ассистент на базе OpenAI закрыл 2,3 млн диалогов за один месяц: эквивалент работы 700 FTE (full-time employees), с ожидаемым эффектом на прибыль в $40 млн за 2024 год. Важный контекст: Klarna начала внедрение с чётко ограниченного сценария, первичной обработки запросов по возвратам и платежам, где сценарии предсказуемы и данных достаточно.

По данным HubSpot, контент-маркетинг — самый популярный сценарий использования AI у маркетологов, и доля тех, кто называет его главным применением, заметно выросла год к году. Цифры «в 2,7 раза быстрее» и «−12% CPC» кочуют по пересказам отчёта, но в открытом доступе мы их не встретили. Честнее написать «заметно быстрее», чем подкреплять оборот множителем, который нельзя проверить.

Notion AI используют миллионы команд; в отдельных корпоративных кейсах компания сообщает о сокращении времени на поиск информации и адаптацию новых сотрудников на 35%. Точную цифру «более 4 млн платящих команд» и привязку именно к «документации» лучше не давать без прямой ссылки на конкретный кейс: сейчас данные подтверждены только для отдельных клиентов (например, кейс с ~3000 сотрудников), а не как общий показатель по всей базе пользователей.

Риск, который нельзя игнорировать: по более свежим данным Gartner, более 40% существующих AI-проектов будет заброшено к 2027 году, а по данным S&P Global Market Intelligence в 2025 году уже провалилось 42% инициатив против 17% годом ранее. Более ранний прогноз Gartner (2024 год) называл цифру «минимум 30% к концу 2025 года» с теми же причинами: низкое качество данных, неясная бизнес-ценность и завышенные затраты. Тренд один: ситуация не улучшается, а по части направлений (кастомные модели) становится жёстче.

В клиентском сервисе AI даёт измеримый результат быстрее, чем в любой другой функции, при условии, что объём тикетов достаточен.

Salesforce сообщает о росте конверсии в отдельных сценариях использования Einstein-инструментов (например, скоринг лидов), а цифра «+25% конверсии email-кампаний на Dreamforce 2024» гуляет по вторичным источникам без указания оригинала. Без прямой ссылки на кейс или пресс-релиз разумнее говорить о росте конверсии без конкретного процента.

Octopus Energy активно переводит клиентскую переписку на AI-генерацию: с февраля компания использует нейросеть для ответа на письма, которые раньше обрабатывали около 250 сотрудников, и удовлетворённость клиентов такими AI-ответами составила 80% против 65% у ответов операторов-людей. Цифры «44% писем / +18% удовлетворённости», которые встречаются в некоторых пересказах кейса без прямой ссылки на отчёт, этому не соответствуют. При использовании цифр по Octopus Energy лучше опираться на конкретную дату замера, потому что показатели менялись от одного измерения к другому.

Intercom Fin AI Agent продаётся по модели $0,99 за решённое обращение: это подтверждает официальная страница продукта. Доля автономно решённых тикетов у разных клиентов и в разное время отличается: компания публично называла показатели от около половины до заметно больше в зависимости от волны отчётности. Цифра «51%» на март 2025 года ходит по обзорам без ссылки на конкретный пресс-релиз, и полагаться на неё стоит ровно настолько, насколько доверяете источнику, который её пересказал.

BCG Henderson Institute совместно с Harvard Business School провёл эксперимент с 758 консультантами: работа с GPT-4 дала более +40% к качеству ответов на задачи в зоне компетенции модели, но на задачах вне этой зоны — падение на 19%. Консультанты, которые доверяли модели безоговорочно, ошибались чаще тех, кто работал без AI. Не аргумент против инструмента, а аргумент за понимание его границ.

В разработке AI-инструменты дают наиболее воспроизводимый эффект, потому что задачи структурированы и результат легко измерить. Но именно здесь заметнее всего разрыв между субъективным ощущением скорости и тем, что показывают контролируемые измерения.

GitHub сообщал об ускорении написания кода до 55% в собственном раннем лабораторном эксперименте. Более свежее и методологически строгое исследование, рандомизированный контролируемый эксперимент METR 2025 года, даёт куда менее однозначную картину: опытные разработчики open source, работавшие над знакомыми им реальными задачами, с доступом к современным AI-инструментам показали результат на 19% медленнее, чем без них, хотя сами были уверены, что стали быстрее примерно на 20%. Независимое исследование не подтверждает «+55% скорости» как универсальный эффект — оно, наоборот, показывает, что на реальных задачах у опытных разработчиков эффект может быть отрицательным, а субъективное ощущение ускорения не совпадает с объективным измерением. Главный тезис статьи только усиливается: эффект AI сильно зависит от опыта пользователя и типа задачи, а не является константой.

ANZ Bank в 2023 году провёл шестинедельный внутренний пилот GitHub Copilot на 100 разработчиках: участники с доступом к Copilot выполняли задачи на 42% быстрее контрольной группы, а код в среднем содержал меньше ошибок и code smells. Позже инструмент развернули шире, примерно на 1000 пользователей внутри банка, которые сообщают о росте продуктивности и удовлетворённости работой. Точную цифру сокращения времени на code review в процентах публично подтвердить не удалось.

Amazon Q Developer — показательный пример операционного масштаба. Один из проектов компании занял 50 дней ручной работы на обновление одного Java-приложения; с помощью Amazon Q аналогичные обновления стали занимать часы. По более поздним данным Amazon, инструмент помог перевести порядка 30 000 приложений на новую версию Java, сэкономив около 4500 человеко-лет разработки. Технологию анонсировали на re:Invent 2023, но именно эти агрегированные цифры компания раскрыла позже, в отдельных материалах и заявлениях руководства.

По данным Zapier, часть команд тратит существенное время на исправление и доработку AI-сгенерированных результатов: важный контраргумент к историям про чистую экономию времени. «8 часов экономии в неделю на команду из 5 человек» — цифра, которая переходит из статьи в статью без ссылки на конкретный отчёт Zapier. Пока такой отчёт не найден, лучше не выдавать её за установленный факт.

Самая дорогая ошибка при внедрении AI — ожидать результата раньше, чем он физически возможен.

По данным исследования RAND Corporation более 80% AI-проектов не доходит до продакшена, что вдвое превышает типичный процент неудач для IT-проектов без AI. Важная оговорка: сама RAND описывает это как оценку на основе интервью с 65 практиками, а не как точный измеренный процент по большой статистической выборке. Формулировку стоит держать как «по оценкам практиков», а не как строгий статистический факт.

Опрос Upwork Research Institute 2024 среди 2 500 сотрудников и руководителей дал неудобный результат: 77% сотрудников, использующих AI, говорят, что инструмент добавил им работы, а не убрал. Так бывает, когда AI генерирует черновики, которые потом нужно долго редактировать, или когда инструмент требует постоянного промпт-инжиниринга без чёткого шаблона.

Deloitte в своих регулярных опросах о состоянии GenAI в компаниях фиксирует, что путь к измеримой ценности занимает дольше, чем изначально ожидали руководители, при этом итоговая доля тех, кто в итоге достигает или превышает ожидания по ROI, у Deloitte скорее высокая, чем низкая. Позитивная в целом статистика не отменяет главного вывода: сроки почти всегда длиннее, чем в изначальном плане. Реалистичные сроки выглядят так:

• 2–3 месяца — пилот на одной функции с измеримым baseline

• 6–9 месяцев — масштабирование одной функции до рабочего состояния

• 12–18 месяцев — измеримая дельта EBIT

Если кто-то обещает измеримый ROI за 30 дней, уточните, что именно они считают ROI.

Без зафиксированного baseline результат пилота — просто история, а не данные.

Первый шаг — выбрать 3–5 метрик и измерить их до запуска. Примеры: часы на создание одного лида, CAC (customer acquisition cost), время first response в поддержке, cost-per-ticket. Без этого через 90 дней вы будете спорить о субъективных ощущениях.

Второй шаг — выбрать функцию с объёмом более 1 000 повторяющихся операций в месяц. Таков ориентир McKinsey для определения пригодности процесса к автоматизации: меньший объём не даст статистически значимого результата за разумное время.

Целевая дельта должна быть конкретной: минимум +15% к скорости или −20% к стоимости. Если пилот не достигает этого порога, он не окупит стоимость внедрения и поддержки. AI при этом не перестаёт работать — просто выбранный процесс оказался не лучшим кандидатом.

Контроль качества обязателен: сравнивайте AI-выход с human baseline на выборке не менее 100 артефактов. Иначе вы рискуете оптимизировать скорость за счёт качества и не заметить потерю качества до момента, когда её уже заметят клиенты.

Через 90 дней считайте ROI по формуле:

(Сэкономленные часы × ставка сотрудника − стоимость подписок и внедрения) / Стоимость внедрения

Отрицательный результат — не повод закрыть проект, а повод пересмотреть выбор процесса или инструмента.

Большинство компаний с бюджетом 500K–5M ₽ в год реалистично попадают в первый или второй сценарий в первый год. Немало — измеримо и воспроизводимо.

Чтобы определить, какой процесс у вас — лучший кандидат для 90-дневного пилота, начните с аудита: зафиксируйте пять самых повторяющихся операций, посчитайте их объём в месяц и текущую стоимость в часах. Так вы соберёте достаточно данных для обоснованного решения о бюджете, без завышенных ожиданий.

Сколько времени нужно, чтобы увидеть первый результат от AI-пилота?

Обычно 2–3 месяца — на пилот в одной функции с уже зафиксированным baseline. Измеримая прибавка к EBIT на уровне всей компании требует 12–18 месяцев.

Почему AI помогает новичкам больше, чем опытным сотрудникам?

Потому что модель по сути передаёт накопленные знания более опытных коллег, а не заменяет экспертизу senior-специалистов, которым и так есть на что опираться.

Правда ли, что AI всегда ускоряет написание кода?

Нет. Эффект сильно зависит от опыта разработчика и типа задачи: контролируемые лабораторные тесты показывают ускорение, а независимые полевые эксперименты на реальных задачах опытных разработчиков фиксировали и обратный эффект — замедление.

Сколько компаний забрасывают AI-пилоты, так и не доведя их до продакшена?

По разным оценкам, очень существенная доля, вплоть до большинства. Основная причина не в самой технологии, а в низком качестве данных и отсутствии зафиксированного baseline до старта.

Можно ли доверять AI-инструменту полностью, без проверки результата?

Нет. Даже на задачах, где AI объективно силён, качество ответа резко падает за пределами его «зоны компетенции». Пользователи, которые доверяют модели безоговорочно, ошибаются чаще тех, кто её результаты проверяет.

Какой объём операций нужен, чтобы AI-пилот вообще имел смысл запускать?

Ориентировочно от 1000 повторяющихся операций в месяц: меньший объём не даст статистически значимого результата за разумный срок.

Что делать, если пилот не окупился за 90 дней?

Не повод закрывать AI-направление. Сигнал пересмотреть выбор процесса, объём данных или конкретный инструмент, а не отказываться от подхода целиком.