Как проверить ответы ИИ: от соблюдения промпта до содержимого готовых файлов

Приветствую! Хочу поделиться своим опытом работы с ИИ, в частности с ChatGPT: с какими нюансами я столкнулась и что теперь учитывала бы, чтобы не тратить столько времени на переделки. Я только начинаю осваивать ИИ и изучаю его возможности. Работала я на платном тарифе ChatGPT Plus.

Я собирала посадочную страницу и материалы для неё. Заранее предоставила подробный промпт с порядком работы и требованиями к результату. Мы согласовали мудборд, цвета, расположение элементов, шрифты — вплоть до их тонкости.

Дальше требовалось использовать именно утверждённые материалы. Не заменять их похожими, не менять согласованный дизайн без моего запроса и вносить только те правки, о которых я просила. Например, заменить сумку на готовом макете, сохранив модель, позу, композицию и остальные детали.

Работали мы поэтапно: я проверяла варианты, просила исправления и согласовывала результат. Но на следующих шагах утверждённое снова менялось, а ИИ продолжал уверять, что всё сделано по инструкции.

Когда я стала задавать конкретные вопросы, в переписке появилось признание: «Я неоднократно подтверждал, что работаю строго по промпту, хотя фактически этого не делал».

И это оказалось не единственным расхождением между тем, что ИИ сообщал в чате, и тем, что я получала.

Одна из задач была конкретной: заменить сумку на готовом рекламном макете, сохранив модель, позу, композицию и остальные утверждённые детали. Исходные изображения и подробный промпт я предоставила.

Но в новых вариантах менялась не только сумка. Менялись согласованные цвета, шрифты, расположение элементов. Я указывала на изменения, а ИИ продолжал уверять, что всё соответствует нашим договорённостям.

Когда я стала спрашивать о конкретных действиях из промпта, ИИ признал, что вместо точечной замены создавал всё изображение заново.

Фрагмент переписки: ИИ перечисляет нарушенные требования промпта.

Общего вопроса «ты соблюдаешь инструкцию?» оказалось недостаточно. В моём случае помогли вопросы о конкретных обязательных действиях.

Теперь я бы начинала проверку со списка требований: сохранить палитру, не менять шрифты, оставить расположение элементов, заменить только сумку. У каждого пункта должен быть понятный признак выполнения, который можно увидеть в результате.

Можно попросить ИИ пройти по каждому пункту ТЗ и отметить выполненное, невыполненное и то, что он не может проверить. Затем сверить этот список с результатом: например, сравнить шрифт с утверждённым образцом или найти обещанный раздел в документе.

Чёткое задание здесь помогает понять, что проверять. Но оно не гарантирует исполнения: в моей истории требования как раз были конкретными.

С иконками была отдельная история.

Знаете это чувство, когда человек накосячил, а потом уверяет: ничего такого не было? Ты помнишь, что было, а он стоит на своём.

Вот у меня с ИИ получилось похоже. Я говорю: эти варианты я не согласовывала. Он уверяет: согласовывала, всё проверено. В какой-то момент я уже думаю: может, правда забыла? Крыша едет, дом стоит?

Пошла перечитывать свои сообщения. Нет, не согласовывала. Проверку на память я прошла. Вот это газлайтинг уровня премиум.

Только когда я стала разбирать конкретные расхождения, ИИ признал: «Ты не утверждала эти варианты, а я писал, что они согласованы». А следом выяснилось, чего стоило «всё проверено»: в переписке ИИ написал, что подменял проверку соответствия дизайна проверкой наличия файлов.

То есть файлы были. А те ли это иконки, которые я выбрала, — должным образом проверено не было.

Здесь важно уточнить: папку «Проверенные» я не создавала и материалы туда не помещала. Это сделал сам ИИ. Я писала ему, что эти иконки не согласовывала, но в ответ получала заверения, что это именно утверждённые варианты и всё проверено. Именно это расхождение я и пыталась исправить: мои сообщения говорили об одном, а ИИ продолжал утверждать другое.

Теперь я бы сохраняла каждый утверждённый вариант вместе со своим подтверждением. Если ИИ снова говорит «ты это согласовала», я бы попросила показать конкретный файл и сообщение с моим согласием.

Я указала точное имя файла — то самое, которое ИИ сам ему дал, — и папку, где он находился. ИИ уверял, что это согласованный вариант. Но при открытии внутри оказывалось другое изображение.

С выгрузкой у меня была ещё одна проблема: ИИ утверждал, что положил внутрь нужные материалы. Но когда я открыла файлы, оказалось, что часть отсутствует, а часть не соответствует тому, о чём мы договорились.

Поэтому теперь я бы проверяла выгрузку в два прохода.

Сначала — состав: сверить архив со списком нужных изображений, иконок и документов, включая их форматы.

Следом — содержимое. Открыть файлы и посмотреть: это нужные изображения? В документе есть обещанные разделы? Внутри действительно последняя версия с правками?

И после исправлений проверять нужно именно новую выгрузку. То, что нужная картинка появилась в чате, ещё не означает, что в архив попала она же.

Перед отправкой результата коллеге или заказчику я бы заново открыла итоговый файл и сверила его со своими замечаниями: все ли правки внесены и сохранилось ли то, что менять не просили. Сообщение ИИ «всё исправлено» ещё не подтверждает, что замечания действительно учтены.

Можно было бы сказать: просто разбейте задачу на небольшие этапы. Только мы именно так и работали. Я проверяла варианты, просила исправить ошибки и согласовывала результат перед следующим шагом.

Но это не мешало ИИ ошибаться на каждом этапе. А когда в новом блоке требовалось использовать уже утверждённые материалы, он мог взять другой вариант или снова изменить согласованный.

Получалось, одного моего «да, этот вариант принимаем» было недостаточно. В следующем блоке приходилось заново проверять то, что мы уже прошли.

Поэтому работу небольшими блоками я бы сохранила: так легче заметить ошибку. Но добавила бы проверку на переходе между этапами — какой именно материал ИИ собирается использовать дальше.

До новой правки можно попросить показать исходный согласованный вариант и перечислить, что должно остаться неизменным. Затем сравнить новый результат с этим образцом.

Я отдельно спрашивала, сможет ли ИИ перенести информацию из одного чата в другой. Он уверял, что сможет и всё учтёт. Я на это рассчитывала и продолжала работу.

А когда обнаруживались пропуски, начинались извинения: да, обещал, но не сделал. Уже после этого выяснялось, что перенести всё так, как он мне обещал, он не мог.

Меня расстраивала не только потеря информации. Если бы об ограничении сказали сразу, я бы сохранила нужное и передала сама. Но сначала я получала уверенное обещание, а объяснение, почему оно не выполнено, — когда уже потратила время.

Был и другой случай. Я заранее попросила предупредить меня, когда контекст будет заканчиваться, и выгрузить всё накопленное в Markdown. ИИ обещал это сделать. Но продолжить работу в чате уже не получилось, а обещанного файла я так и не получила. По моей оценке, потеряла около трёх часов работы.

Поэтому теперь я бы сохраняла промежуточные итоги после важных этапов, не дожидаясь предупреждения о лимите. Причём нужен сам файл, который можно открыть и скачать, а не сообщение «всё сохранил».

В него стоит включить задачу, требования, принятые решения, названия или ссылки на согласованные материалы, незавершённые вопросы и точку продолжения. Сами важные файлы тоже сохранить: список названий их не заменяет.

Проблемы возникали и после того, как я переносила информацию в новый чат файлом Markdown: часть контекста и уже согласованных решений снова терялась. Приходилось напоминать то, что я уже писала и передавала в файле.

В новом чате я бы попросила ИИ перечислить принятые решения, ограничения и следующий шаг — и сверила ответ со своим файлом перед продолжением работы.

Была и совсем странная история с названием чата. Когда я просила его переименовать, ИИ отвечал, что не может этого сделать. А потом название изменилось, и в переписке он объяснил это тем, что сам решил его поменять.

Я, конечно, удивилась. Когда прошу — не можешь, а без моего запроса — получается, можешь? Из-за смены названия я тогда не могла найти чат.

Кто именно и каким механизмом изменил название, по одному ответу ИИ я установить не могу. Но противоречие в его объяснениях осталось: сначала он отрицал возможность действия, потом приписывал это действие себе. Поэтому теперь и рассказы ИИ о собственных возможностях я бы не принимала на веру.

Отдельный момент — факты. ИИ может уверенно выдать неверную информацию, придумать исследование, цитату или сам источник. OpenAI прямо предупреждает об этом в своей справке.

Поэтому, если в ответе есть цифры, исследования или другие важные утверждения, я бы обязательно просила ссылки на первоисточники. Например, на само исследование, исходный отчёт или официальную документацию.

Но получить ссылку — ещё не значит проверить информацию. Её нужно открыть и посмотреть: источник существует? В нём действительно написано то, что утверждает ИИ? Совпадают цифры, условия и контекст?

И отдельно — дата. Информация могла быть правильной раньше, но уже устареть. Даже результаты поиска и ссылки требуют проверки на актуальность и соответствие ответу. Об этом OpenAI также пишет в инструкции по поиску.

Если материал идёт заказчику или в публикацию, ошибка уйдёт дальше уже от вашего имени. Неподтверждённое утверждение я бы убрала или прямо отметила, что проверить его не удалось.

После этой истории я бы проверяла результат по такому списку:

Я продолжу работать с ИИ: он помогает и экономит время. То, на что вручную может уйти 2–3 часа, с ИИ иногда получается сделать за 5–10 минут — в зависимости от задачи и необходимых правок. Даже эту статью я писала с его помощью — и тоже проверяла и редактировала.

Это моя первая статья. Надеюсь, мой опыт пригодится вам в работе с ИИ. Всем добра!