Я потратил 127 часов на настройку AI-ассистентов. Пока не понял, что делаю всё не так.

Я проебал 127 часов своей жизни.

Не на игры. Не на бесполезные совещания. Не на прокрастинацию в YouTube.

На настройку AI-ассистентов, которые работали хуже, чем я сам за 5 минут.

Сейчас расскажу, как я дошел до точки, когда в 2 часа ночи смотрел на очередной промпт на три страницы и думал: "Может, я тупой? Или эти нейросети — просто хайп, а не инструмент?"

Спойлер: проблема была не в нейросетях. И не в моем IQ. Проблема была в отсутствии системы.

Как все началось (и где я накосячил)

Полгода назад я вел несколько проектов по интеграции ИИ в бизнес-процессы. Казалось бы, понимаю тему. Знаю, как работают промпты. Могу настроить ChatGPT для конкретной задачи.

И вот приходит ко мне клиент — онлайн-школа. Задача простая: настроить AI-ассистента для ответов на типовые вопросы студентов.

Я подумал: "Легкотня. Пару вечеров — и готово."

Первый вечер: 4 часа на изучение специфики школы, составление списка типовых вопросов, написание базового промпта.

Второй вечер: 5 часов на тестирование и корректировки. Бот отвечал слишком формально.

Третий вечер: 6 часов. Бот стал дружелюбнее, но начал нести херню и придумывать несуществующие дедлайны.

Четвертый вечер: 7 часов. Я переписал промпт с нуля. Стало немного лучше, но все равно не то.

К концу недели у меня было:

  • 22 часа потраченного времени
  • 7 версий промпта
  • Ассистент, который работал на троечку
  • И абсолютное непонимание, что я делаю не так

Проблема №1: Я не знал, когда остановиться

Вот как выглядел мой промпт к концу первой недели:

Ты дружелюбный куратор онлайн-школы по графическому дизайну. Твоя задача — отвечать на вопросы студентов четко, лаконично и по делу, но при этом сохраняя теплоту и поддержку. Ты должен понимать, что студенты могут быть начинающими, поэтому избегай сложной профессиональной терминологии, если вопрос не требует этого. Всегда будь вежлив и терпелив. Если ты не знаешь ответа на вопрос, честно признайся в этом и предложи обратиться к куратору. Ты знаешь следующую информацию о курсе: [дальше 2 страницы информации про курс, расписание, дедлайны, технические требования...] При ответе на вопросы: 1. Сначала убедись, что правильно понял вопрос 2. Дай прямой ответ на вопрос 3. Если нужно, добавь пошаговую инструкцию 4. Предложи дополнительную помощь, если вопрос сложный 5. Всегда будь позитивным...

И так далее. Промпт занимал 3 страницы А4.

Тестовый вопрос: "Когда дедлайн по домашке?"

Ответ бота:

Спасибо за вопрос! Дедлайны — это важная часть структурированного обучения, они помогают вам не откладывать выполнение заданий. Чтобы дать точный ответ, уточните, пожалуйста, о каком уроке идет речь? В нашем курсе несколько модулей, и у каждого свои дедлайны. Если вы про урок 3 по типографике, то дедлайн — 15 апреля. Но если речь о другом уроке...

Я перечитал. Потом еще раз. Потом закрыл ноутбук и пошел гулять.

Проблема была очевидна: бот давал воду вместо ответа.

Но я не знал, КАК это исправить. Какую конкретно часть промпта менять? Что добавить? Что убрать?

Я просто тыкал пальцем в небо и надеялся, что станет лучше.

Проблема №2: Каждое изменение ломало что-то другое

Следующие 30 часов я потратил на бесконечные итерации.

Добавил инструкцию: "Отвечай максимально кратко, без воды."

Результат: бот стал отвечать односложно. "15 апреля." "В личном кабинете." "Обратитесь к куратору."

Слишком сухо и неинформативно.

Убрал это. Попробовал: "Дай прямой ответ, а потом краткое пояснение."

Бот вернулся к многословию.

Добавил примеры идеальных ответов — штук 10.

Бот игнорировал примеры и продолжал делать по-своему.

Каждое изменение занимало 3-4 часа:

  • Переписать промпт
  • Протестировать на 15-20 вопросах
  • Увидеть, что в одних местах стало лучше, в других хуже
  • Откатиться
  • Попробовать по-другому

После 30 часов экспериментов я сидел со средней оценкой ответов 6.5 из 10. Не ужасно, но и не хорошо. Слишком много косяков для реального использования.

Проблема №3: Я не понимал, что измерять

В какой-то момент я понял: мне нужны метрики.

Я начал записывать результаты тестов. Создал таблицу в Excel. Оценивал каждый ответ бота по шкале от 1 до 10.

Но по какому критерию оценивать?

Сначала я оценивал "общее качество". Потом понял, что это субъективная херня.

Попробовал оценивать "полезность". Но полезность — тоже размытое понятие.

Добавил критерий "корректность информации". Лучше, но недостаточно.

У меня не было четкой системы оценки. Я не понимал, что именно улучшается или ухудшается после каждого изменения.

Это как пытаться настроить гитару на слух, когда у тебя нет музыкального слуха. Может, звучит лучше? Или хуже? Или одинаково?

Проблема №4: Контекст пропадал на третьем сообщении

Через 40 часов настройки я запустил бота в тестовую группу из 15 студентов.

Первый же день показал новую проблему.

Студент: "У меня не открывается файл с шаблонами" Бот: "Проверьте, установлен ли у вас Adobe Illustrator. Если нет, скачайте его с официального сайта."

Студент: "Установлен, всё равно не открывается" Бот: "Убедитесь, что у вас установлена последняя версия Adobe Illustrator. Старые версии могут не открывать новые форматы файлов."

Студент: "У меня последняя версия! Что делать?" Бот: "Попробуйте скачать файл заново. Возможно, произошла ошибка при загрузке."

Студент: "Я уже 3 раза скачивал!" Бот: "Проверьте, установлен ли у вас Adobe Illustrator..."

Замкнутый круг.

Бот не удерживал контекст. Не помнил, что студент уже сказал. Повторял одни и те же рекомендации.

Я потратил еще 15 часов на попытки научить бота удерживать контекст. Добавлял инструкции типа "Перед ответом анализируй весь предыдущий диалог" и "Не повторяй рекомендации, которые уже давал."

Помогло, но не сильно.

Точка слома: 127 часов и крик души

К концу второго месяца у меня на счетчике было 127 часов работы над этим проектом.

127 часов на задачу, которая должна была занять "пару вечеров".

Я сидел перед очередной версией промпта (кажется, это была версия 23) и думал:

"Бля. Что-то идет не так. Не может быть, чтобы настройка AI-ассистента требовала столько времени. Значит, я делаю что-то фундаментально неправильно."

И тут меня осенило.

Проблема была не в промптах. Проблема была в отсутствии системы.

Я пытался настроить ассистента интуитивно. Методом проб и ошибок. Без четкой структуры, без критериев оценки, без понимания, что именно я делаю на каждом этапе.

Это как пытаться построить дом без чертежей. Кладешь кирпичи куда-то, надеешься, что получится. А потом удивляешься, почему стены кривые.

Рождение фреймворка ПИЛОТ

Следующие две недели я потратил на систематизацию своего опыта.

Я разложил все 127 часов работы на составляющие:

  • Что я делал?
  • Где тратил больше всего времени?
  • Какие проблемы повторялись?
  • Что работало, а что нет?

Выяснилось несколько вещей.

Открытие №1: Я тратил 60% времени на бесконечные правки промпта, потому что не знал, когда остановиться. У меня не было четких критериев "хорошо" и "плохо".

Открытие №2: Я каждый раз начинал с чистого листа. Не было шаблона, структуры, чек-листа. Каждый промпт писал с нуля, пытаясь вспомнить, что важно включить.

Открытие №3: Я пытался сделать идеально с первого раза. Вместо того чтобы быстро сделать "работающее", потом итеративно улучшать.

Открытие №4: Я не тестировал граничные случаи. Проверял только типовые вопросы. А потом в реальной работе вылезали косяки на нестандартных запросах.

Я сел и написал для себя четкую инструкцию:

  1. Базовая настройка за 15-20 минут (роль, стиль, правила, формат)
  2. Тестирование на 10 типовых вопросах с оценкой по 4 критериям
  3. Точечные корректировки на основе метрик
  4. Тестирование на граничных случаях
  5. Итеративные улучшения раз в неделю

Никакой интуиции. Только система.

Я назвал это фреймворком ПИЛОТ — Практичная Инструкция по Лаконичной Оптимизации Тоновости.

Звучит как из госучреждения, но мне похер. Главное — работает.

Проверка системы: новый ассистент за 3 часа

Чтобы проверить фреймворк, я взял новый проект. Другая онлайн-школа, другая тематика. Задача та же — ассистент для ответов студентам.

На этот раз я следовал системе.

Час 1: Определение профиля ассистента и базовой тоновости. Написал короткий промпт по шаблону:

Ты куратор онлайн-школы по копирайтингу. Твой стиль: конкретный, дружелюбный, без воды. Всегда: начинай с прямого ответа, давай примеры. Никогда: не придумывай информацию, не уходи в теорию. Ты особенно хорош в: навигации по курсу, проверке заданий. Формат ответов: 2-4 предложения максимум.

7 строчек. 15 минут работы.

Час 2: Тестирование на 10 вопросах. Оценка по 4 критериям (полезность, тональность, точность, лаконичность). Средний балл: 7.8.

Час 3: Точечные корректировки на основе метрик. Добавил 2 контекстных триггера для проблемных ситуаций.

Повторное тестирование: средний балл 8.6.

Три часа работы. Вместо 127.

Ассистент работал лучше, чем тот, на который я потратил два месяца.

Разница — в системном подходе.

Что изменилось после ПИЛОТ

За следующие три месяца я настроил еще 8 ассистентов для разных проектов. По фреймворку ПИЛОТ.

Среднее время настройки: 3-5 часов.

Средняя оценка качества после первой недели: 8.2-8.7 из 10.

Экономия времени: вместо 127 часов на каждый проект — 3-5 часов. Это в 25-40 раз быстрее.

Но главное — предсказуемость результата.

Раньше я не знал, получится ли у меня настроить хорошего ассистента. Это была лотерея. Может, повезет. А может, проебу месяц и получу говно.

Теперь я знаю: если следую фреймворку — результат будет. Может, не идеальный, но рабочий. А дальше улучшаю итеративно.

Три главных принципа, которые я усвоил

Принцип №1: Итерации побеждают перфекционизм

Лучше сделать рабочее за 3 часа, потом улучшать раз в неделю — чем потратить 50 часов на попытки сделать идеально с первого раза.

Принцип №2: Без метрик ты работаешь вслепую

Если не можешь измерить — не можешь улучшить. 4 простых критерия (полезность, тональность, точность, лаконичность) дали больше пользы, чем все мои интуитивные ощущения.

Принцип №3: Система освобождает креативность

Звучит парадоксально, но это так. Когда у тебя есть четкая структура — ты не тратишь энергию на придумывание "а что же написать в промпт". Ты следуешь шаблону, а мозг освобождается для решения реальных проблем.

Почему я упаковал это в отдельный фреймворк

После того как я настроил 8 ассистентов и увидел стабильные результаты, ко мне начали обращаться коллеги.

"Виктор, как ты так быстро настраиваешь ботов?" "У меня не получается, подскажешь?" "Можешь посмотреть мой промпт?"

Я понял: проблема, с которой я столкнулся, — массовая. Куча людей тратят десятки часов на настройку AI-ассистентов и получают посредственный результат.

Не потому что они тупые. А потому что нет системы.

Я решил упаковать свой опыт в фреймворк, чтобы другие не проходили через те же 127 часов боли.

ПИЛОТ — это не мой гений. Это систематизация моих косяков.

Я прошел через все грабли, чтобы ты не наступал на них.

Что делать прямо сейчас

Если ты узнал себя в моей истории — у меня для тебя есть то, что я упаковал.

Я собрал стартовый набор для настройки AI-ассистента по фреймворку ПИЛОТ:

✅ Шаблон базового промпта — готовая структура на 15 минут вместо часов экспериментов

✅ Чек-лист качества ответов — 10 конкретных критериев для оценки работы ассистента

✅ Эмоциональная матрица тональности — как настроить "личность" бота под твою задачу без танцев с бубном

✅ 5 готовых контекстных триггеров — для типовых проблемных ситуаций

✅ Журнал тестирования — таблица для отслеживания улучшений (то, чего мне жутко не хватало)

Плюс пошаговая инструкция на 4 недели: от первого промпта до полноценного работающего ассистента.

Это не теория. Это инструменты, которые я вывел из 127 часов своих косяков. И которые теперь экономят мне 20-25 часов на каждом новом проекте.

Попробуй один шаблон. Посмотри результат. Если сработает — используй остальные.

Если нет — ну, ты потратишь вечер. Я потерял 127 часов, пока не систематизировал подход.

Выбор за тобой.

Я до сих пор иногда смотрю на свои первые промпты на 3 страницы и думаю: "Как я вообще думал, что это будет работать?" Но именно эти косяки научили меня большему, чем любые курсы. Теперь я настраиваю ассистента за вечер, а не за месяц.

Может, это и есть то самое "обучение на своих ошибках", о котором все говорят?

2
Начать дискуссию