Сравниваем ChatGPT и нейросеть Google «Bard»

Bard — это нейросеть от Google, которая умеет общаться с пользователем, сохранять контекст диалога и гуглить любые вопросы. И вместо сотен ссылок по запросу она дает структурированный ответ, чтобы пользователю не пришлось серфить по сайтам. Но насколько хорошо работает нейросеть и лучше ли она ChatGPT — разбираемся в статье.

Важно! Пока что Google Bard не работает на русском языке, поэтому общаться с ним приходится на английском. Под каждой фотографией я оставлю перевод на русский, чтобы всегда был понятен контекст.

Как работает Google: вы вводите поисковый запрос, Google отбирает все страницы, которые связаны с вашим запросом, анализирует их и подготавливает к выдаче в определенном порядке. И чем полезнее сайт, тем выше он будет в выдаче. При этом Google не умеет работать со сложными запросами.

То есть, на вопрос «кто был президентом США в 2008 году» Google ответит правильно — Джордж Буш.

Но, если мы усложним вопрос до такого: «кто был президентом США, когда обанкротился банк Lehman Brothers», Google не ответит ничего путного (банк обанкротился в том же 2008 году).

Теперь пора сравнивать. Начнем с Bard.

Результат радует. Проверим, справится ли ChatGPT.

Я не люблю задавать такие вопросы в Google, потому что в ответ получаю бесполезные SEO-статьи. И они не помогают выбрать;)

Посмотрим, что скажет Bard.

В целом, информация очень поверхностная и выбрать хороший велосипед она не поможет. Теперь посмотрим, что посоветует ChatGPT.

У ChatGPT ответ получился более полным. Но, ни Bard, ни ChatGPT не ответили на мой вопрос на 100%. В любом случае придется задавать дополнительные вопросы и давать много уточняющих деталей.

Здесь я имею ввиду то, как он ориентируется во времени и работает с интернетом. Дело в том, что база ChatGPT ограничена осенью 2021 года и бот не знает ничего, что происходило с того времени. Поэтому в этом тесте он не участвует.

А вот разработчики Bard заявляют, что он умеет гуглить информацию в интернете. Проверим, правда ли это.

Теперь усложним задачу: спросим, сколько лет было королю Англии 19 лет назад. Так мы проверим, действительно ли бот всегда работает на самой актуальной базе или какой-то информации у него нет. Ведь коронация была совсем недавно и неизвестно, знает ли Bard об этом.

Бот обманул. Поэтому спросим у него, что он знает о коронации.

Когда я попытался выяснить, почему бот соврал в первый раз, вот, что он ответил: «У меня нет доступа к реальному миру, поэтому я не могу знать о текущих событиях, если они не упомянуты в тексте, по которому я обучаюсь. Приношу извинения за любую путаницу».

Что бот имел ввиду под словами «у меня нет доступа к реальному миру» я так и не выяснил. На любые вопросы по поводу его умения гуглить или взаимодействовать с миром, он отвечал, что у него нет глаз ушей и рук. Он умеет только отвечать текстом. В общем, тут у Bard большой недостаток: он вроде бы и умеет гуглить, но все равно ошибается. И это значит, что даже нейросетям с подключенным интернетом нельзя доверять — могут обмануть.

Еще больше интересного контента о нейросетях в моем телеграм-канале «Миша, давай по новой».