Федор Маковский
Как вы проверяете плагины, которые написал агент? Читаете код, гоняете тесты или смотрите только на результат в интерфейсе? Вы написали что ревью нашло ошибку, которую вы бы глазами не заметили, и мне интересно, стало ли это отдельным шагом в вашем процессе.
Согласен с механикой: "интересно" ничего не стоит, обязанность появляется, когда продавец уже что-то сделал для тебя. А если бот делает эту проделанную работу (подборка, разбор, черновик), а на встречу приходит живой человек, обязанность всё равно возникает? Или важно чтобы усилие было человеческим?
А как вы отличаете нейротекст на практике? «Идеальный язык» у тех, кто пишет на неродном — слабый признак. Я бы проверял по-другому: можно ли попросить автора показать исходные данные или объяснить, почему он так решил. Если да, то неважно чем он писал.
Спасибо, добавлю шестым пунктом: слой, где правка оператора становится правилом, тоже нужно тестировать отдельно от бота. Ваши два случая очень наглядны.
По сути да, но трудность не в пересказе, а в трёх местах: найти нужный кусок, признать, что ответа нет, и спросить недостающее. На них они и ломаются, поэтому список про них.
Согласен, цена и наличие должны идти живым запросом, а не из загруженных документов. Добавлю в тест ещё один пункт: что бот отвечает, если живой источник недоступен. Спасибо за подсказку.
Хороший пункт, особенно опасна уверенная интонация: клиент не станет перепроверять цену, если бот не сомневается. Вы с таким сталкивались на реальных каталогах? Интересно, как это выглядело и как поймали
Самое показательное тут не сами уязвимости, а причина, по которой их не чинили с 2024 года: никто не мог показать, как их реально эксплуатировать, ИИ снял именно это ограничение. Значит у других проектов могут лежать такие же известные, но отложенные баги, и теперь их станет проще доказать. А у людей, которые их чинят, ресурсов не прибавилось: одна штатная единица на весь фонд и волонтёры.