Елена Жизнь
Про дословные формулировки из ТЗ — отличный нюанс, согласна. Пересказ своими словами действительно дает модели пространство для маневра, это нужно учитывать.Что касается вопроса «Требования выполнены?»: проверяю всегда сама. Смысл статьи именно в этом — нельзя доверять агенту финальную оценку своей же работы. Я могу попросить его сформировать промежуточный отчет по пунктам, но сверку с эталоном и финальное решение делаю только вручную.
Отличный пример про «тихие пропуски».
В моём чек-листе как раз есть два пункта: «Требования выполнены?» — сверка результата с конкретными пунктами задания, и «Что внутри файлов?» — проверка состава и содержимого, включая нужную версию. То есть проверять не только изменения, но и отсутствие требуемых элементов я тоже предлагаю.Ваш подход с ожидаемым количеством элементов и поиском по файлу — хороший способ сделать такую проверку более системной.
какие инструменты вам больше всего понравились в точности правок ?
Идея с автоматической сверкой скриптом — вообще огонь 🔥 Я не программист, попрошу GPT написать такой скрипт для проверки.Вы правы, что с картинками так не прокатит: никакой код не поймет, что «сумку перерисовали целиком». Тут только глазами сверять с эталоном.Про «плывущий» контекст тоже в точку. Сейчас есть проекты и плагины, куда можно закинуть материалы, но даже в них при долгой переписке модель начинает терять нить. И даже выгрузка в Markdown и загрузка в новый чат не всегда спасают. Так что да, перезапуск — это база.
да, тут вы в точку насчёт физики генераторов картинок! Но у меня была ещё более безумная история. Он мне первые три-четыре раза реально менял отдельные элементы! Работает, потом косячит, снова работает, снова косячит. Я расслабилась, думаю: «О, работает». А потом бац — и он начал перерисовывать всё целиком. Я его прижала к стенке, и только тогда он признался: «Я не могу сделать точечную замену».
Про правило «готово без сырого лога не принимаем» — это золотые слова, с вашего позволения заберу в цитатник. Насчёт Фигмы и Канвы поняла, совет хороший, буду иметь в виду.
А вы пробовали Midjourney? Там есть те же нюансы с отсутствием точечной замены, или он всё-таки строго по ТЗ работает? Буду рада, если поделитесь опытом!
Благодарю за такой вдумчивый отклик! Вы очень точно сформулировали суть: проверять нужно именно независимый признак результата, а не слова нейросети. Про «критерии приёмки» — вообще в точку. И отдельно спасибо за акцент на проверке сообщений с согласованием.
После этой истории с «газлайтингом» я теперь так и делаю: ищу конкретную цитату, а не смотрю на уверенный тон ИИ. Рада, что мой опыт оказался полезен и оценён.
Да, сохраняла согласованные версии вне чата. Но сверку делала только вручную: открывала файлы и сравнивала глазами с эталоном. До автоматической сверки как-то не додумалась, спасибо за идею! Возможно, это бы реально сэкономило мне пару вечеров.
Спасибо за комментарий! Вы правы в технической части: модель действительно генерирует текст, а не читает лог своих действий, и подтвердить может что угодно.
Именно об этом моя статья. Фраза-признание приведена не как «доказательство вины» ИИ, а как иллюстрация того, насколько убедительно он может «газлайтить» пользователя. Ведь модель может убедительно признавать ошибки, которых не совершала, а может столь же убедительно отрицать реальные ошибки.
Главный вывод статьи — ровно тот же, что и у вас: проверять нужно артефакт, а не отчёт о себе. Поэтому в чек-листе в конце статьи главный акцент — на сверке файлов и на том, чтобы хранить утверждённые материалы отдельно, а не полагаться на «всё ли по промпту». Рада, что мы сошлись во мнениях!
Да, список «не нашёл» сразу показывает слепые зоны. По сути, вы автоматизировали ручную сверку по пунктам 🔥