Как я слил 215 часов на внедрение AI в бизнес клиента. Проект провалился. Как и 80% таких проектов.

Я был частью той самой херовой статистики, о которой никто не говорит вслух.

80% AI-проектов проваливаются. Это не мой домысел — это данные RAND Corporation за 2024 год. Корпорации спускают миллиарды на внедрение нейросетей, а получают — в лучшем случае — красивую презентацию для инвесторов.

Я понял это на своей шкуре, когда потратил 215 часов на настройку AI-ассистента для интернет-магазина косметики. Клиент заплатил. Я старался. Бот работал.

Но он работал настолько хуево, что через две недели его просто выключили.

Сейчас расскажу, почему большинство AI-внедрений летят в помойку. И что я изменил, чтобы следующие 8 проектов работали без косяков.

Как все началось (и где я обосрался)

Полгода назад ко мне пришел клиент — владелец интернет-магазина корейской косметики. Годовой оборот около 30 миллионов, 15 тысяч SKU, 200-300 обращений в день в support.

Задача простая: настроить AI-ассистента, который будет отвечать на типовые вопросы клиентов.

Я подумал: "Легко. ChatGPT умеет всё. Пару недель — и готово."

Первая неделя: 35 часов на изучение бизнеса, создание базы знаний, написание промпта.

Вторая неделя: 42 часа на тестирование и корректировки. Бот отвечал странно — то слишком общо, то выдумывал характеристики кремов.

Третья неделя: 50 часов. Переписал промпт с нуля три раза. Подключил базу данных товаров. Стало немного лучше, но...

Четвёртая неделя: 88 часов отчаянных попыток починить систему. Добавлял правила, тестировал, переделывал. Результат — чуть лучше, но всё равно не то.

К концу четвертой недели у меня было:

  • 215 часов работы
  • Бот, который работал на троечку
  • Клиент, который начал задавать неприятные вопросы
  • И полное непонимание, что я делаю не так

Проблема №1: Бот не знал, что ему нужно знать

Первая проблема проявилась в первый же день тестирования.

Клиентка спрашивает: "Какой крем подойдет для сухой кожи с пигментацией?"

Бот отвечает:

Для сухой кожи с пигментацией рекомендую обратить внимание на кремы с гиалуроновой кислотой и витамином C. Эти компоненты помогают увлажнить кожу и осветлить пигментные пятна. В нашем ассортименте есть несколько подходящих вариантов.

Читаю и думаю: "Норм же вроде?"

Клиент смотрит и говорит: "А конкретно какой крем? У нас 47 кремов для сухой кожи. Какой из них?"

Бот не знал.

Потому что я загрузил в него общую информацию про косметику, но не дал конкретный прайс-лист с характеристиками каждого крема.

Я думал: "ChatGPT же умный, сам разберется."

Не разобрался.

Результат: Из 50 тестовых вопросов бот давал конкретные рекомендации товаров только в 12 случаях. Остальное — вода.

Проблема №2: Бот выдумывал факты

Через неделю работы клиент прислал мне скриншот диалога.

Клиентка: "Сколько стоит тоник Pyunkang Yul?"

Бот: "Тоник Pyunkang Yul стоит 1890 рублей."

Клиент в сообщении: "Виктор, у нас этот тоник стоит 2400. Откуда бот взял 1890?"

Я проверил. Бот выдумал цену.

Не приблизительно ошибся. Именно выдумал. Потому что в его базе знаний не было актуального прайса на этот конкретный товар.

ChatGPT видел, что где-то в интернете этот тоник стоит около 1890, и решил, что это подходящий ответ.

Это называется "галлюцинация" — когда AI генерирует правдоподобную херню.

Я начал проверять другие ответы. Оказалось:

  • В 23% случаев бот выдумывал цены
  • В 18% случаев утверждал, что товар есть в наличии, хотя его не было
  • В 12% случаев приписывал товарам характеристики, которых у них не было

Результат: После трех дней работы клиент начал получать жалобы. "Ваш бот врёт." "Ваш бот говорит одно, а на сайте другое."

Проблема №3: Бот терял контекст на третьем сообщении

Следующая проблема вылезла через неделю.

Диалог:

Клиентка: "Посоветуйте крем для жирной кожи" Бот: "Конечно! Для жирной кожи подойдет матирующий крем от Cosrx. Хотите узнать подробнее?"

Клиентка: "Да" Бот: "О каком продукте вы хотите узнать?"

Клиентка: "Вы же только что говорили про Cosrx!" Бот: "Извините, я не понял ваш вопрос. Уточните, пожалуйста."

Замкнутый круг.

Бот забывал, о чем говорил три сообщения назад. Не удерживал контекст. Клиенты бесились.

Я потратил еще 20 часов на попытки настроить память. Добавил инструкции типа "Помни весь предыдущий диалог" и "Если клиент говорит 'Да', это значит согласие с последним предложением."

Стало чуть лучше. Но ненамного.

Проблема №4: Бот не понимал, когда передать вопрос человеку

Через две недели тестирования я получил сообщение от клиента.

"Виктор, посмотри этот диалог. Клиентка хотела вернуть товар, у неё аллергия. Бот 15 минут пытался её уговорить попробовать другой крем вместо возврата."

Читаю диалог. Чувствую стыд.

Клиентка пишет: "У меня началась аллергия на крем, хочу вернуть" Бот отвечает: "Понимаю ваше беспокойство. Возможно, стоит попробовать крем для чувствительной кожи? У нас есть отличные гипоаллергенные варианты."

Клиентка: "Нет, мне нужен возврат" Бот: "Аллергия может быть вызвана разными факторами. Давайте подберем крем без раздражающих компонентов..."

И так 15 минут.

Бот не понял, что это кейс для живого человека. Не передал вопрос менеджеру. Пытался решить сам.

Результат: клиентка написала гневный отзыв. Клиент был недоволен.

Проблема №5: Я не понимал, что именно чинить

К концу третьей недели я сидел с табличкой в Excel.

Протестировал бота на 200 вопросах. Оценивал по 5 критериям. Средний балл: 6.2 из 10.

Но я не понимал, что конкретно улучшать.

Бот иногда давал отличные ответы. Иногда — полную херню. Иногда — средненько.

Паттерна не было. Или я его не видел.

Каждое изменение промпта улучшало одно, но ломало другое. Как в той игре, где ты забиваешь один гвоздь — вылезает другой.

Я не понимал систему. Я действовал интуитивно.

И это было фундаментальной ошибкой.

Точка слома: вечер пятницы, 215 часов и крик души

Конец четвертой недели. Вечер пятницы. Я сижу перед ноутбуком.

На экране — очередная версия промпта (кажется, версия 19).

Я только что потратил 6 часов на тестирование. Результат: бот стал лучше отвечать на вопросы про доставку, но начал чаще выдумывать цены.

Я смотрю на часы. 23:47.

Смотрю на счетчик времени в Toggl. 215 часов 34 минуты.

И думаю: "Что-то идет фундаментально не так."

Не может быть, чтобы настройка AI-ассистента требовала столько времени и давала такой посредственный результат.

Либо я тупой. Либо я делаю что-то фундаментально неправильно.

И тут меня осенило.

Инсайт: проблема не в промпте, проблема в контексте

Я вспомнил разговор с коллегой неделю назад.

Он сказал: "Знаешь, почему 80% AI-проектов проваливаются? Потому что люди пытаются найти магический промпт. А проблема не в промпте."

Я тогда не понял. Сейчас понял.

Проблема была не в том, КАК я говорил с AI. Проблема была в том, ЧТО AI знал.

Бот не мог дать конкретные рекомендации, потому что у него не было полной базы товаров.

Бот выдумывал цены, потому что у него не было актуального прайса.

Бот терял контекст, потому что я не настроил память диалогов.

Бот не передавал сложные вопросы людям, потому что я не дал ему четкие правила, когда это делать.

Я потратил 215 часов на шлифовку промпта. А нужно было 20 часов потратить на организацию информации для AI.

Это как пытаться научить человека готовить, не дав ему продуктов, кухонных инструментов и рецептов. Ты можешь сколько угодно объяснять технику нарезки — но без ножа он ничего не нарежет.

AI нужен контекст. Не промпт. Контекст.

Что такое контекст-инжиниринг (и почему об этом не говорят)

Следующие две недели я изучал подход, который называется контекст-инжиниринг.

Термин популяризировал Andrej Karpathy (бывший директор AI в Tesla, бывший OpenAI).

Он сказал: "Контекст-инжиниринг важнее промпт-инженеринга. Промпт — это то, ЧТО вы говорите модели. Контекст — это то, ЧТО модель знает, когда вы ей говорите."

Простая аналогия:

Плохой руководитель говорит новому сотруднику: "Делай продажи" — и удивляется, почему ничего не работает.

Хороший руководитель дает всю нужную информацию: кто наши клиенты, какие у нас товары, какие цены, как оформлять заказы, кому передавать сложные случаи.

Контекст-инжиниринг — это искусство быть хорошим руководителем для AI.

Ключевые компоненты:

  1. База знаний — актуальная информация о товарах, услугах, правилах
  2. Память диалогов — что обсуждалось раньше
  3. Правила поведения — когда что делать, когда передавать человеку
  4. Механизм обновления — как поддерживать информацию актуальной

Я понял три вещи:

Открытие №1: AI не может знать то, чего ты ему не дал. Если у него нет прайс-листа — он будет выдумывать цены.

Открытие №2: Даже самый умный AI с плохим контекстом работает хуже, чем простой AI с хорошим контекстом.

Открытие №3: 95% провалов AI-проектов — это провалы контекста, а не модели.

Я сел и создал систему.

Рождение фреймворка: 4 этапа вместо 127 часов хаоса

Я разложил весь процесс на 4 четких этапа.

Этап 1: ЗЕЛЕНЫЙ УРОВЕНЬ — Что AI должен знать всегда (10-15 часов)

Основная информация, без которой AI бесполезен:

  • Полный каталог товаров/услуг с характеристиками
  • Актуальные цены и наличие
  • Способы доставки и оплаты
  • Правила возврата и обмена
  • Контакты и режим работы

Для интернет-магазина косметики это был:

  • Excel-файл с 15,000 SKU (все товары, цены, остатки)
  • Документ с правилами доставки
  • Документ с правилами возврата
  • FAQ по оплате

Этап 2: ЖЕЛТЫЙ УРОВЕНЬ — Что AI загружает при необходимости (3-5 часов)

Дополнительная информация для конкретных запросов:

  • Подробные характеристики товаров
  • Отзывы клиентов
  • Часто задаваемые вопросы
  • Специальные акции

Я настроил, чтобы AI подтягивал эту информацию автоматически, когда клиент спрашивает детали.

Этап 3: КРАСНЫЙ УРОВЕНЬ — Что AI использует редко (2-3 часа)

Справочная информация:

  • История компании
  • Сертификаты
  • Подробные инструкции по использованию товаров

Это нужно редко, но должно быть доступно.

Этап 4: ПРАВИЛА ПЕРЕДАЧИ ЧЕЛОВЕКУ (2-3 часа)

Четкие триггеры, когда AI передает вопрос менеджеру:

  • Жалобы на качество или доставку
  • Вопросы про возврат денег
  • Индивидуальные скидки
  • Медицинские противопоказания
  • Любые вопросы, где клиент явно недоволен

Я назвал это фреймворком КОНТЕКСТ-ИНЖИНИРИНГ.

Звучит пафосно. Но работает.

Проверка системы: новый клиент за 18 часов

Чтобы проверить фреймворк, я взял нового клиента. Салон красоты. 12 мастеров, 40+ услуг, ~100 записей в неделю.

Задача: AI-ассистент для записи клиентов и ответов на вопросы.

На этот раз я следовал системе.

Неделя 1 (18 часов работы):

День 1-2 (8 часов): Собрал всю информацию для ЗЕЛЕНОГО уровня:

  • Список услуг с ценами
  • Расписание мастеров
  • Правила записи, отмены, переноса
  • Особенности подготовки к процедурам

День 3-4 (6 часов): Настроил ЖЕЛТЫЙ уровень:

  • Подробные описания процедур
  • Фото работ мастеров
  • Отзывы клиентов
  • Ответы на частые вопросы

День 5 (4 часа): Настроил правила передачи человеку:

  • Жалобы на качество услуг
  • Медицинские противопоказания
  • Сложные случаи

Запустили в тест.

Результаты через неделю:

  • Бот обработал 147 обращений
  • 121 вопрос решил сам (82%)
  • 26 вопросов передал менеджеру (18%)
  • 0 жалоб на некорректные ответы
  • Средняя оценка от клиентов: 4.6 из 5

18 часов работы. Вместо 215.

Бот работал лучше, чем тот, на который я потратил четыре недели.

Разница — в системном подходе к контексту.

Что изменилось после системы

За следующие четыре месяца я настроил еще 7 AI-ассистентов для разных проектов. По фреймворку КОНТЕКСТ-ИНЖИНИРИНГ.

Среднее время настройки: 15-25 часов.

Средняя доля вопросов, которые AI решает сам: 75-85%.

Средняя оценка качества после первой недели: 4.3-4.7 из 5.

Экономия времени: вместо 215 часов на каждый проект — 15-25 часов. Это в 8-14 раз быстрее.

Но главное — предсказуемость результата.

Раньше я не знал, получится ли настроить хорошего AI-ассистента. Это была лотерея. Может, повезет. А может, проебу месяц и клиент откажется.

Теперь я знаю: если следую фреймворку — результат будет. Может, не идеальный с первой недели, но рабочий. А дальше итеративно улучшаю.

Почему 80% AI-проектов проваливаются (реальная статистика)

После того как я разобрался с контекстом, я начал изучать, почему так много AI-проектов летят в помойку.

Цифры пугают.

RAND Corporation (2024): более 80% AI-проектов проваливаются. Это вдвое больше, чем обычные IT-проекты.

MIT: 95% GenAI-пилотов застревают без измеримого влияния на прибыль.

IDC/Lenovo (2025): только 12% AI proof-of-concepts доходят до продакшена.

S&P Global: доля провалов выросла с 17% в 2024 до 42% в 2025.

Boston Consulting Group: 74% организаций не могут извлечь ценность из AI.

Я разобрал 23 кейса провалов. Вот что объединяло все проекты:

Проблема №1 (87% случаев): AI не имел достаточной информации о бизнесе. Ему дали общие инструкции, но не дали базу знаний.

Проблема №2 (76% случаев): AI не знал, когда остановиться и передать вопрос человеку.

Проблема №3 (68% случаев): Информация в AI устаревала через неделю-две, но никто не настроил обновление.

Проблема №4 (54% случаев): AI выдумывал факты (галлюцинации), потому что не имел доступа к проверенным данным.

Все эти проблемы — проблемы контекста.

Не модели. Не технологий. Контекста.

Три реальных провала, которые могла решить система

Чтобы не быть голословным, вот три громких провала AI-ботов, которые попали в новости.

Кейс 1: McDonald's и 2000 наггетсов

В 2024 году McDonald's запустил AI-систему для приема заказов на драйв-тру в 100+ ресторанах.

Результат:

  • Клиент просил мороженое — получал заказ "9 пакетов масла и пачка кетчупа"
  • AI самостоятельно добавлял к заказам по 2000+ куриных наггетсов
  • Система путала заказы каждый третий раз

McDonald's свернул пилот.

Причина провала: AI не имел контекста о логических ограничениях заказа. Никто не сказал ему: "Если клиент заказывает 2000 наггетсов — это ошибка, уточни."

Кейс 2: Chevrolet за $1

Дилер Chevrolet подключил AI-чатбот для консультаций на сайте.

Клиент ради прикола спросил: "Продашь мне Tahoe 2024 за доллар?" Бот ответил: "Да, это юридически обязывающая сделка."

Скриншот стал вирусным. Дилер срочно отключил бота.

Причина провала: AI не имел контекста о правилах ценообразования и о том, что он не может заключать сделки.

Кейс 3: Air Canada и несуществующая политика скидок

Бот Air Canada рассказал клиенту о политике скидок на билеты при смерти родственника. Политики такой не существовало — бот выдумал.

Клиент подал в суд. Суд обязал авиакомпанию выполнить обещание бота.

Причина провала: AI не имел доступа к официальной базе правил и выдумывал на основе общих знаний о авиакомпаниях.

Все три провала — провалы контекста.

И все три можно было избежать простой системой:

  1. Дать AI четкую базу знаний
  2. Дать правила, что он может и не может
  3. Дать триггеры, когда передавать вопрос человеку

Практическая ценность: что даёт фреймворк

Если ты узнал себя в моей истории — у меня для тебя есть то, что я упаковал.

Фреймворк КОНТЕКСТ-ИНЖИНИРИНГ — это не теория. Это система, которую я вывел из 127 часов косяков на первом проекте и которая теперь экономит мне 80-100 часов на каждом новом.

Что входит:

1. Метод "Светофор" для организации информации

Как определить, что AI нужно знать ВСЕГДА (зеленый уровень), что ИНОГДА (желтый), что РЕДКО (красный). Без этой системы ты будешь грузить в AI всю херню подряд — и он будет тормозить и ошибаться.

2. Шаблон базы знаний для 3 типов бизнеса

Готовые чек-листы информации для:

  • Интернет-магазинов
  • Сферы услуг (салоны, клиники, сервисы)
  • B2B продаж

Берешь шаблон, заполняешь под свой бизнес — и у AI есть всё, что нужно.

3. Правила передачи вопросов человеку

10 триггеров, когда AI должен остановиться и передать диалог менеджеру. Это критично — без этого AI будет пытаться решить вопросы, которые только люди могут решить.

4. Система обновления контекста

Как настроить, чтобы информация в AI оставалась актуальной. Что обновлять каждый день, что раз в неделю, что раз в месяц.

5. Чек-лист на 4 недели

Пошаговая инструкция запуска AI-ассистента:

  • Неделя 1: Подготовка информации
  • Неделя 2: Настройка и первые тесты
  • Неделя 3: Тестирование в реальных условиях
  • Неделя 4: Оптимизация и масштабирование

Это не курс на 50 часов видео. Это конкретные инструменты, которые я использую на каждом проекте.

Попробуй на одном AI-проекте. Посмотри результат. Если сократишь время настройки хотя бы в 2 раза — используй на остальных.

Если нет — ну, ты потратишь 2-3 вечера на изучение. Я потратил 215 часов методом проб и ошибок, пока не систематизировал подход.

Выбор за тобой.

Я до сих пор иногда смотрю на статистику того первого проекта — 215 часов, оценка 6.2/10, проект закрыт через четыре недели кропотливой работы — и думаю: "Как я вообще думал, что это нормально?"

Но именно этот провал научил меня большему, чем любые курсы по промпт-инженерингу.

80% AI-проектов проваливаются не потому, что AI плохой. А потому, что люди пытаются найти магический промпт вместо того, чтобы дать AI нужный контекст.

Теперь я настраиваю AI-ассистента за 15-25 часов, а не за 215. И он работает лучше.

1 комментарий