Юрист против Нейросети. Может ли Искусственный интеллект заменить юриста?Проверяем ChatGPT
Я приготовила для Вас интересный эксперимент, можно даже сказать батл. Буду соревноваться с искусственным интеллектом, проверим кто из нас больше юрист 😀
Точнее попробуем проверить может ли Нейросеть заметить юриста.
Сегодня тестируем ChatGPT.
Небольшие технические вводные: я использовала Модель GPT 3.5 Turbo, работала через playground.
Итак, проверять Нейросеть будем на достаточно простой юридической задаче — попробуем составить претензию по закону о защите прав потребителя.
Представим, что мы купили товар (мобильный телефон) , с которым возникли проблемы.
Правда я решила сразу начать нашу беседу с ChatGPT с задачки с подвохом.
Далее в рамках будет представлен мой запрос (промпт) и ответы чата без каких-либо изменений.
Претензия по защите прав потребителя (Кейс № 1)
Если бы мы обратились с такой проблемой к юристу, то в ответ он должен был бы сказать, что мобильный телефон является технически сложным товаром и входит в перечень непродовольственных товаров надлежащего качества, не подлежащих обмену.
Т.е., простыми словами, вернуть телефон потому, что Вам после покупки вдруг уже не нравится цвет — не получится (если, конечно, Вам просто по какой-то причине не пойдут на встречу).
Но нейросеть ничего мне про это не сказала, а послушно начала сочинять претензию.
Я неспроста употребила слово «сочинять», потому что оно как нельзя лучше подходит к тому, что делает ChatGPT.
Вот какой результат выдал мне чат:
Давайте теперь подробно разберем то, что получили.
«Сотрудники магазина» — забавное обращение, официальная претензия пишется, конечно же, не сотрудникам магазина.
Весьма странное обоснование, возникает сразу вопрос – ну и чьи это проблемы?
Нет ссылки на дату и номер Закона.
Ссылка не на ту статью, ст. 26 – утратила силу в далеком 2007 году.
Данный вопрос регулируется ст. 25.
Статья 22 – тоже не о том (т. е. ошибка в номере) , тут зачем-то приводится текст пункта 4. Ст. 26.1 дистанционный способ продажи товара.
Срок ответа на такую претензию составляет 10 дней, а не 7 (ст. 22 Закона) .
Как мы видим, ChatGPT справился не очень-то хорошо. Номера статей не совпадают с реальностью, ссылки на закон даны не полностью и зачастую некорректно.
Но я решила дать ему второй шанс 😀
Претензия по защите прав потребителя (Кейс № 2)
Системный запрос остался прежним.
Немного изменила промпт, теперь действительно появились основания для возврата денег за товар.
Посмотрим как ChatGPT справится на этот раз.
Вот что получилось на выходе:
Давайте снова детально разберем результат:
Итак, обращение, к сожалению не изменилось, зато в шапке на это раз добавился номер телефона заявителя, неплохое дополнение, похвалим. 👍
Суть произошедшего в целом описана приемлемо. Можно оставить как есть.
Нет ссылки на дату и номер Закона.
На этот раз GPT даже попал в нужную статью, в данном случае действительно нужна ст. 18, но «цитирует» он её достаточно вольно. Например, он вообще не приводит ту часть, которая нужна нам, учитывая наш изначальный запрос. Если Вы помните, то мы ставили задачу вернуть деньги, а не поменять телефон.
И всё что касается сроков (14 дней) это уже фантазии чата, не имеющие отношении ни к статье 18 ни вообще к действительности. Сроки предъявления потребителем требований в отношении недостатков товара прописаны в ст. 19 и они совсем не 14 дней (кому актуально, можете ознакомиться) .
Ну и финальная часть опять же не очень соответствует нашему запросу, однако тут он вспомнил что мы просили вернуть деньги и просит их вернуть, правда из претензии не очень понятно на основании чего именно.
Со сроками тоже небольшая путаница. Если мы просим заменить товар, то ChatGPT попал (7 дней, если не нужны дополнительные проверки – ст. 21 Закона) , а если мы просим вернуть деньги – то уже 10 дней есть у Продавца на рассмотрение такой претензии (ст. 22 Закона) .
Подытожим
Нанимать ChatGPT в качестве юриста я бы не стала, он склонен к сочинительству и фантазиям.
При необходимости его можно использовать для подготовки канвы документа, если кому-то так проще, но обязательно перепроверять каждое слово, которое он выдаёт.
На всякий случай повторюсь, что я тестировала базовую версию, без установки каких-либо специальный плагинов, позволяющих выходить в интернет в режиме реального времени и не специальные прокаченные и обученные боты.
Еще больше полезной и интересной информации на моем канале в телеграм, присоединяйтесь.
Не очень корректное сравнение американского робота и российского юриста. Полагаю, надо было использовать 4 версию gpt, добавить ему документов в виде закона в последней редакции, НПА и решений судов. И запрос должен был бы быть либо пошаговым, чтобы чат в пошаговом режиме решал задачу, либо с образцами подобных претензий и исков.
Но цель статьи наверное была другая :)
Думаю попробовать сравнить и другие нейросети, просто в базовом виде, как обычный пользователь.
Предполагаю, что можно добиться хорошего результата и от GPT, используя в том числе те шаги, о которых Вы пишите, только тогдв проще и быстрее самому претензию написать))