Я потратил 127 часов на настройку AI-ассистентов. Пока не понял, что делаю всё не так.
Я проебал 127 часов своей жизни.
Не на игры. Не на бесполезные совещания. Не на прокрастинацию в YouTube.
На настройку AI-ассистентов, которые работали хуже, чем я сам за 5 минут.
Сейчас расскажу, как я дошел до точки, когда в 2 часа ночи смотрел на очередной промпт на три страницы и думал: "Может, я тупой? Или эти нейросети — просто хайп, а не инструмент?"
Спойлер: проблема была не в нейросетях. И не в моем IQ. Проблема была в отсутствии системы.
Как все началось (и где я накосячил)
Полгода назад я вел несколько проектов по интеграции ИИ в бизнес-процессы. Казалось бы, понимаю тему. Знаю, как работают промпты. Могу настроить ChatGPT для конкретной задачи.
И вот приходит ко мне клиент — онлайн-школа. Задача простая: настроить AI-ассистента для ответов на типовые вопросы студентов.
Я подумал: "Легкотня. Пару вечеров — и готово."
Первый вечер: 4 часа на изучение специфики школы, составление списка типовых вопросов, написание базового промпта.
Второй вечер: 5 часов на тестирование и корректировки. Бот отвечал слишком формально.
Третий вечер: 6 часов. Бот стал дружелюбнее, но начал нести херню и придумывать несуществующие дедлайны.
Четвертый вечер: 7 часов. Я переписал промпт с нуля. Стало немного лучше, но все равно не то.
К концу недели у меня было:
- 22 часа потраченного времени
- 7 версий промпта
- Ассистент, который работал на троечку
- И абсолютное непонимание, что я делаю не так
Проблема №1: Я не знал, когда остановиться
Вот как выглядел мой промпт к концу первой недели:
Ты дружелюбный куратор онлайн-школы по графическому дизайну. Твоя задача — отвечать на вопросы студентов четко, лаконично и по делу, но при этом сохраняя теплоту и поддержку. Ты должен понимать, что студенты могут быть начинающими, поэтому избегай сложной профессиональной терминологии, если вопрос не требует этого. Всегда будь вежлив и терпелив. Если ты не знаешь ответа на вопрос, честно признайся в этом и предложи обратиться к куратору. Ты знаешь следующую информацию о курсе: [дальше 2 страницы информации про курс, расписание, дедлайны, технические требования...] При ответе на вопросы: 1. Сначала убедись, что правильно понял вопрос 2. Дай прямой ответ на вопрос 3. Если нужно, добавь пошаговую инструкцию 4. Предложи дополнительную помощь, если вопрос сложный 5. Всегда будь позитивным...
И так далее. Промпт занимал 3 страницы А4.
Тестовый вопрос: "Когда дедлайн по домашке?"
Ответ бота:
Спасибо за вопрос! Дедлайны — это важная часть структурированного обучения, они помогают вам не откладывать выполнение заданий. Чтобы дать точный ответ, уточните, пожалуйста, о каком уроке идет речь? В нашем курсе несколько модулей, и у каждого свои дедлайны. Если вы про урок 3 по типографике, то дедлайн — 15 апреля. Но если речь о другом уроке...
Я перечитал. Потом еще раз. Потом закрыл ноутбук и пошел гулять.
Проблема была очевидна: бот давал воду вместо ответа.
Но я не знал, КАК это исправить. Какую конкретно часть промпта менять? Что добавить? Что убрать?
Я просто тыкал пальцем в небо и надеялся, что станет лучше.
Проблема №2: Каждое изменение ломало что-то другое
Следующие 30 часов я потратил на бесконечные итерации.
Добавил инструкцию: "Отвечай максимально кратко, без воды."
Результат: бот стал отвечать односложно. "15 апреля." "В личном кабинете." "Обратитесь к куратору."
Слишком сухо и неинформативно.
Убрал это. Попробовал: "Дай прямой ответ, а потом краткое пояснение."
Бот вернулся к многословию.
Добавил примеры идеальных ответов — штук 10.
Бот игнорировал примеры и продолжал делать по-своему.
Каждое изменение занимало 3-4 часа:
- Переписать промпт
- Протестировать на 15-20 вопросах
- Увидеть, что в одних местах стало лучше, в других хуже
- Откатиться
- Попробовать по-другому
После 30 часов экспериментов я сидел со средней оценкой ответов 6.5 из 10. Не ужасно, но и не хорошо. Слишком много косяков для реального использования.
Проблема №3: Я не понимал, что измерять
В какой-то момент я понял: мне нужны метрики.
Я начал записывать результаты тестов. Создал таблицу в Excel. Оценивал каждый ответ бота по шкале от 1 до 10.
Но по какому критерию оценивать?
Сначала я оценивал "общее качество". Потом понял, что это субъективная херня.
Попробовал оценивать "полезность". Но полезность — тоже размытое понятие.
Добавил критерий "корректность информации". Лучше, но недостаточно.
У меня не было четкой системы оценки. Я не понимал, что именно улучшается или ухудшается после каждого изменения.
Это как пытаться настроить гитару на слух, когда у тебя нет музыкального слуха. Может, звучит лучше? Или хуже? Или одинаково?
Проблема №4: Контекст пропадал на третьем сообщении
Через 40 часов настройки я запустил бота в тестовую группу из 15 студентов.
Первый же день показал новую проблему.
Студент: "У меня не открывается файл с шаблонами" Бот: "Проверьте, установлен ли у вас Adobe Illustrator. Если нет, скачайте его с официального сайта."
Студент: "Установлен, всё равно не открывается" Бот: "Убедитесь, что у вас установлена последняя версия Adobe Illustrator. Старые версии могут не открывать новые форматы файлов."
Студент: "У меня последняя версия! Что делать?" Бот: "Попробуйте скачать файл заново. Возможно, произошла ошибка при загрузке."
Студент: "Я уже 3 раза скачивал!" Бот: "Проверьте, установлен ли у вас Adobe Illustrator..."
Замкнутый круг.
Бот не удерживал контекст. Не помнил, что студент уже сказал. Повторял одни и те же рекомендации.
Я потратил еще 15 часов на попытки научить бота удерживать контекст. Добавлял инструкции типа "Перед ответом анализируй весь предыдущий диалог" и "Не повторяй рекомендации, которые уже давал."
Помогло, но не сильно.
Точка слома: 127 часов и крик души
К концу второго месяца у меня на счетчике было 127 часов работы над этим проектом.
127 часов на задачу, которая должна была занять "пару вечеров".
Я сидел перед очередной версией промпта (кажется, это была версия 23) и думал:
"Бля. Что-то идет не так. Не может быть, чтобы настройка AI-ассистента требовала столько времени. Значит, я делаю что-то фундаментально неправильно."
И тут меня осенило.
Проблема была не в промптах. Проблема была в отсутствии системы.
Я пытался настроить ассистента интуитивно. Методом проб и ошибок. Без четкой структуры, без критериев оценки, без понимания, что именно я делаю на каждом этапе.
Это как пытаться построить дом без чертежей. Кладешь кирпичи куда-то, надеешься, что получится. А потом удивляешься, почему стены кривые.
Рождение фреймворка ПИЛОТ
Следующие две недели я потратил на систематизацию своего опыта.
Я разложил все 127 часов работы на составляющие:
- Что я делал?
- Где тратил больше всего времени?
- Какие проблемы повторялись?
- Что работало, а что нет?
Выяснилось несколько вещей.
Открытие №1: Я тратил 60% времени на бесконечные правки промпта, потому что не знал, когда остановиться. У меня не было четких критериев "хорошо" и "плохо".
Открытие №2: Я каждый раз начинал с чистого листа. Не было шаблона, структуры, чек-листа. Каждый промпт писал с нуля, пытаясь вспомнить, что важно включить.
Открытие №3: Я пытался сделать идеально с первого раза. Вместо того чтобы быстро сделать "работающее", потом итеративно улучшать.
Открытие №4: Я не тестировал граничные случаи. Проверял только типовые вопросы. А потом в реальной работе вылезали косяки на нестандартных запросах.
Я сел и написал для себя четкую инструкцию:
- Базовая настройка за 15-20 минут (роль, стиль, правила, формат)
- Тестирование на 10 типовых вопросах с оценкой по 4 критериям
- Точечные корректировки на основе метрик
- Тестирование на граничных случаях
- Итеративные улучшения раз в неделю
Никакой интуиции. Только система.
Я назвал это фреймворком ПИЛОТ — Практичная Инструкция по Лаконичной Оптимизации Тоновости.
Звучит как из госучреждения, но мне похер. Главное — работает.
Проверка системы: новый ассистент за 3 часа
Чтобы проверить фреймворк, я взял новый проект. Другая онлайн-школа, другая тематика. Задача та же — ассистент для ответов студентам.
На этот раз я следовал системе.
Час 1: Определение профиля ассистента и базовой тоновости. Написал короткий промпт по шаблону:
Ты куратор онлайн-школы по копирайтингу. Твой стиль: конкретный, дружелюбный, без воды. Всегда: начинай с прямого ответа, давай примеры. Никогда: не придумывай информацию, не уходи в теорию. Ты особенно хорош в: навигации по курсу, проверке заданий. Формат ответов: 2-4 предложения максимум.
7 строчек. 15 минут работы.
Час 2: Тестирование на 10 вопросах. Оценка по 4 критериям (полезность, тональность, точность, лаконичность). Средний балл: 7.8.
Час 3: Точечные корректировки на основе метрик. Добавил 2 контекстных триггера для проблемных ситуаций.
Повторное тестирование: средний балл 8.6.
Три часа работы. Вместо 127.
Ассистент работал лучше, чем тот, на который я потратил два месяца.
Разница — в системном подходе.
Что изменилось после ПИЛОТ
За следующие три месяца я настроил еще 8 ассистентов для разных проектов. По фреймворку ПИЛОТ.
Среднее время настройки: 3-5 часов.
Средняя оценка качества после первой недели: 8.2-8.7 из 10.
Экономия времени: вместо 127 часов на каждый проект — 3-5 часов. Это в 25-40 раз быстрее.
Но главное — предсказуемость результата.
Раньше я не знал, получится ли у меня настроить хорошего ассистента. Это была лотерея. Может, повезет. А может, проебу месяц и получу говно.
Теперь я знаю: если следую фреймворку — результат будет. Может, не идеальный, но рабочий. А дальше улучшаю итеративно.
Три главных принципа, которые я усвоил
Принцип №1: Итерации побеждают перфекционизм
Лучше сделать рабочее за 3 часа, потом улучшать раз в неделю — чем потратить 50 часов на попытки сделать идеально с первого раза.
Принцип №2: Без метрик ты работаешь вслепую
Если не можешь измерить — не можешь улучшить. 4 простых критерия (полезность, тональность, точность, лаконичность) дали больше пользы, чем все мои интуитивные ощущения.
Принцип №3: Система освобождает креативность
Звучит парадоксально, но это так. Когда у тебя есть четкая структура — ты не тратишь энергию на придумывание "а что же написать в промпт". Ты следуешь шаблону, а мозг освобождается для решения реальных проблем.
Почему я упаковал это в отдельный фреймворк
После того как я настроил 8 ассистентов и увидел стабильные результаты, ко мне начали обращаться коллеги.
"Виктор, как ты так быстро настраиваешь ботов?" "У меня не получается, подскажешь?" "Можешь посмотреть мой промпт?"
Я понял: проблема, с которой я столкнулся, — массовая. Куча людей тратят десятки часов на настройку AI-ассистентов и получают посредственный результат.
Не потому что они тупые. А потому что нет системы.
Я решил упаковать свой опыт в фреймворк, чтобы другие не проходили через те же 127 часов боли.
ПИЛОТ — это не мой гений. Это систематизация моих косяков.
Я прошел через все грабли, чтобы ты не наступал на них.
Что делать прямо сейчас
Если ты узнал себя в моей истории — у меня для тебя есть то, что я упаковал.
Я собрал стартовый набор для настройки AI-ассистента по фреймворку ПИЛОТ:
✅ Шаблон базового промпта — готовая структура на 15 минут вместо часов экспериментов
✅ Чек-лист качества ответов — 10 конкретных критериев для оценки работы ассистента
✅ Эмоциональная матрица тональности — как настроить "личность" бота под твою задачу без танцев с бубном
✅ 5 готовых контекстных триггеров — для типовых проблемных ситуаций
✅ Журнал тестирования — таблица для отслеживания улучшений (то, чего мне жутко не хватало)
Плюс пошаговая инструкция на 4 недели: от первого промпта до полноценного работающего ассистента.
Это не теория. Это инструменты, которые я вывел из 127 часов своих косяков. И которые теперь экономят мне 20-25 часов на каждом новом проекте.
Попробуй один шаблон. Посмотри результат. Если сработает — используй остальные.
Если нет — ну, ты потратишь вечер. Я потерял 127 часов, пока не систематизировал подход.
Выбор за тобой.
Я до сих пор иногда смотрю на свои первые промпты на 3 страницы и думаю: "Как я вообще думал, что это будет работать?" Но именно эти косяки научили меня большему, чем любые курсы. Теперь я настраиваю ассистента за вечер, а не за месяц.
Может, это и есть то самое "обучение на своих ошибках", о котором все говорят?