Почему ИИ может хорошо выполнить запрос — и всё равно не решить задачу?
Есть неприятный тип ошибки в работе с ИИ.
Ты получаешь хороший ответ. Логика есть. Текст аккуратный. Таблица заполнена. Модель уверенно пишет: «Готово».
А потом смотришь внимательнее и понимаешь:
ИИ действительно сделал то, что ты попросил. Но задача осталась нерешённой.
Чем дольше я работаю с ИИ над сложными задачами, тем сильнее вижу разницу между двумя вопросами:
«Выполнил ли ИИ мой запрос?»
и
«Получил ли я результат, ради которого вообще этот запрос давал?»
На коротких задачах разница почти незаметна. На длинных — становится принципиальной.
«Готово». Хотя ещё не готово
Просишь ИИ собрать информацию по нескольким пунктам, сравнить варианты и подготовить вывод.
Получаешь аккуратный результат и уверенное: «Задача выполнена».
Но при проверке оказывается, что один пункт пропущен, ограничение потерялось или часть вариантов сравнили не по тем критериям.
При этом ответ выглядит вполне убедительно.
Запрос формально выполнен. Задача — нет.
Можно очень хорошо решать уже не ту задачу
Допустим, исходная цель — выбрать решение по трём критериям.
Начинаем анализировать. Появляются уточнения. Один критерий оказывается сложнее остальных, и постепенно работа всё глубже уходит именно в него.
ИИ хорошо выполняет каждый следующий запрос.
Но через двадцать шагов можно обнаружить, что мы уже очень качественно решаем частный вопрос, а исходная цель почти исчезла.
Локально работа идёт хорошо, а глобально — не туда.
Последовательность хороших ответов не гарантирует хороший итоговый результат.
Ошибку исправили. Потом она вернулась
ИИ делает ошибку.
Ты показываешь её:
Здесь неправильно. Нужно делать вот так.
Модель исправляет результат. Несколько шагов всё работает нормально.
А потом та же ошибка появляется снова.
И снова приходится объяснять то, что вроде бы уже было исправлено.
Для меня здесь главный вопрос:
стало ли исправление частью дальнейшей работы или осталось локальным эпизодом одного диалога?
Для человека «мы это уже исправили» обычно означает: дальше делаем правильно.
Для ИИ — не всегда.
ИИ может знать правило и всё равно его не применить
Можно спросить модель:
Как правильно поступать в такой ситуации?
Она прекрасно объяснит правило и расскажет, почему оно важно.
После этого даёшь реальную задачу — и в конкретном результате правило не применяется.
То есть модель знает правильный ответ, но знание не повлияло на действие.
Знать правило ≠ применить правило в нужный момент.
Исправил одно — сломал другое
Ещё один сценарий особенно заметен в сложных задачах.
Мы видим локальную проблему и просим ИИ её исправить.
Он исправляет.
Но изменение затрагивает что-то ещё.
Исправили абзац — вывод ниже перестал ему соответствовать.
Изменили ограничение — другой вариант решения стал невозможным.
Улучшили один показатель — ухудшили другой.
Поэтому недостаточно спрашивать:
«Правильно ли сделано это изменение?»
Нужно ещё понимать:
«Что изменилось из-за него во всём результате?»
Разные ошибки, один общий признак
ИИ слишком рано сказал «готово».
Потерял исходную цель.
Вернул исправленную ошибку.
Знал правило, но не применил.
Исправил одно и ухудшил другое.
Ситуации разные, но общий признак один:
локальный ответ может быть вполне качественным, а исходная задача при этом остаться нерешённой.
Отсюда главный тезис:
КАЧЕСТВЕННО ВЫГЛЯДЯЩИЙ ОТВЕТ≠ФАКТИЧЕСКИ ДОСТИГНУТЫЙ РЕЗУЛЬТАТ.
Мы много говорим о качестве промптов, контексте, памяти и выборе модели. Всё это важно.
Но в длинной работе появляется другой вопрос:
кто проверяет, что цепочка хороших ответов действительно привела туда, куда мы собирались прийти?
«Запрос выполнен» и «задача решена» — не одно и то же
Иногда между этими состояниями почти нет расстояния.
Попросили перевести короткий абзац — получили перевод.
Но если задача состоит из десятков шагов, уточнений и изменений, проверить последний ответ уже недостаточно.
Нужно понимать:
- сохранилась ли исходная цель;
- закрыты ли существенные части задачи;
- не вернулись ли старые ошибки;
- применились ли известные правила;
- не ухудшило ли локальное исправление общий результат.
То есть проверять нужно не только качество ответа, а достигнут ли результат.
Формула получается простой:
Недостаточно проверить, выполнил ли ИИ запрос.Нужно проверить, достигнута ли исходная цель.
Здесь появилась следующая гипотеза Collective Mind
Именно эта проблема сейчас интересует нас в работе над Collective Mind OS.
Важно: мы не утверждаем, что уже решили её.
Пока это продуктовая гипотеза.
Мы хотим проверить, можно ли поверх обычной работы с ИИ создать дополнительный контрольный уровень, который удерживает связь между:
исходной задачей → действиями → фактическим результатом.
Он должен возвращать работу к нескольким вопросам:
Мы действительно закончили?
Мы всё ещё решаем исходную задачу?
Не вернулась ли исправленная ошибка?
Знание действительно применилось?
Не создало ли исправление новую проблему?
Рабочую идею можно сформулировать так:
ИИ выполняет запрос.Отдельный контур должен проверять, решена ли задача.
Именно должен.
Не «уже умеет».
Насколько надёжно это можно реализовать и не превратится ли такая проверка в новую бюрократию — ещё предстоит выяснить.
А у вас такое бывает?
Сейчас мне интереснее проверить не нашу гипотезу, а масштаб самой проблемы.
«Сталкивались ли вы с ситуацией, когда ИИ формально сделал именно то, что вы попросили, но в итоге не решил вашу настоящую задачу?»
Особенно интересны случаи, когда он:
- слишком рано сказал «готово»;
- вернул уже исправленную ошибку;
- потерял исходную цель;
- знал правильное правило, но не применил его;
- исправил одно и сломал другое.
Если сталкивались — напишите:
- что вы хотели получить;
- что сделал ИИ;
- в какой момент стало понятно, что задача на самом деле не решена.
Именно реальные случаи помогут понять, является ли это частной проблемой сложных сценариев или более общим ограничением долгосрочной работы человека с ИИ.