ModernQA
Full-stack QA о современных технологиях, влияющих на тестирование и качество digital-продуктов. Обзоры, практика, эксперименты.
Спасибо за комментарий! Вы совершенно правы. Тема действительно очень важная и заслуживает отдельного поста.
Данные с прода бывают порой “невероятными”. Для решения подобной проблемы существуют разные подходы и инструменты, например, MessyData (https://github.com/sodadata/messydata).
Но моей целью в посте было показать, насколько важно QA критически относиться к данным от LLM и сохранять непредвзятость в работе.
Еще активно обсуждается подход "пещерного человека". Тоже из необходимости экономии токенов
Подобный подход актуален к любому не английскому языку
Да, конечно! Тестирование ии-агентов — отдельная тема. Примечательно, что классические подходы, к которым привыкли тестировщики, работают не полность, т.к. работать приходится с вероятностным поведением. Даже ответы на повторяющиеся запросы не гарантированно будут одинаковыми. И тут, на мой взгляд, большую роль играет сам человек, а именно глубина его инженерной погруженности и широта мировоззрения. Автоматизация стала проще. Проверка надежности — нет = )
UPD. Убрал из источников ChatGPT Prompt Engineering for Developers. Он все еще может дать базовые понимания промптинга, но современные подходы ушли гораздо дальше.