Вежливый запрос к «ChatGPT» улучшает качество её ответа
В феврале этого года, группа учёных из Университета Васэда (Япония) выяснила, что невежливые вопросы снижают качество ответов больших лингвистических моделей вроде «ChatGPT».
Для эксперимента, учёные писали вежливые и невежливые промпты на английском, китайском и японском языках. В качестве универсальных лингвистических моделей, использовали GPT-4 и GPT-3.5. Но также, для запросов на английском, обращались к Llama2-70B, на китайском — к ChatGLM3, на японском — к Swallow-70B.
Тематика промптов касалась переводов, генерации текста и вопросов на знание различных фактов, в том числе культурных.
Оценивали результаты путём сравнения точности ответов на вежливые и не очень промпты. Непосредственно вежливость запросов оценивали по шкале от 1 до 8, где 1 — грубое обращение, а 8 — торжественное, подобострастное.
Оказалось, что грубые запросы ухудшают результат. Кроме того, лучше других с задачами при вежливых вопросах справлялись GPT-4 и GPT-3.5. Модель ChatGLM3 для китайского языка давала качественные ответы практически исключительно на вежливые запросы, неверно интерпретируя грубые промпты или вообще игнорируя их. Японская модель Swallow-70B также давала более точные и полные ответы при использовании вежливых запросов.
Летом этого года, лингвист Александр Пиперски провёл похожий эксперимент на русском. Он обращался к ChatGPT-4 в вежливой и не очень форме с просьбой решить четыре задачи и дать к ним пояснения. Так вот, в ответ на вежливый запрос, чат выдал правильные решения для всех четырёх задач. А при невежливом обращении — решение двух задач «слил».
Признавайтесь, насколько вежливые промпты пишете?