Сравниваем нейросеть YandexGPT от Яндекса с нейросетью Bard от Google

Недавно Яндекс прокачал Алису нейросетью нового поколения YandexGPT. Разработчики заявляют, что она умеет писать пресс-релизы, статьи или коммерческие предложения, а также искать информацию в интернете. А у Google есть своя нейросеть с таким же функционалом — Bard.

Я решил сравнить оба сервиса и выяснить, какой из них лучше справляется с задачами: поиск информации в интернете, создание заголовков и текста, генерация письма об увольнении. Суть простая: даю ботам один и тот же запрос, а потом сравниваю ответы.

Важно! Bard умеет писать только на английском. Поэтому я буду показывать его ответы сначала в оригинале, а ниже — давать перевод.

И YandexGPT, и Bard имеют доступ к интернету. Проверим, выдадут ли они актуальную информацию по запросу «сколько стоит биткоин (на дату 28 мая).

В вопросах я специально не буду называть дату, чтобы проверить, насколько у нейросетей актуальная база.

Первым на вопрос о курсе биткоина отвечает YandexGPT:

Нейросеть от Яндекса сильно ошиблась с ответом. Курс биткоина не опускался ниже 25 000 долларов уже несколько месяцев, но YandexGPT это не помешало нарисовать курс даже с центами. А выяснить, откуда нейросеть берет информацию, у меня не вышло.

Важно! Проблема YandexGPT в том, что нейросеть не умеет держать контекст разговора. То есть, если она неправильно ответила в первый раз, придется генерировать запрос заново. Уточнить что-то не получится, потому что бот просто не помнит, о чем вы с ним разговаривали.

Теперь очередь Bard:

Bard ответил правильно. Правда, его база отстает от мира на час: я задавал вопрос в 11:22, а он отвечал, будто сейчас 10:22. А ниже график с подтверждением, что бот был прав:

Что в итоге: YandexGPT ответил неверно, а Bard с заданием справился.

Теперь попросим обе нейросети придумать заголовок для небольшого текста. Тема — прокат Land Rover. Вот, какие варианты предложил Яндекс:

Заголовки неплохие, но нейросеть не совсем правильно выполнила задачу: в тексте нужно было отразить, что тест-драйв бесплатный, но нейросеть написала только 3 таких варианта из 15.

Посмотрим, как справится Bard:

А вот перевод:

Здесь попаданий 2 из 5, но заголовки намного круче, чем у Яндекса.

Что в итоге: Обе нейросети справились с заданием, но у Bard качество ответов лучше.

Следующий этап — узнаем, какая из нейросетей напишет осмысленный текст. Тема — как заработать на email-рассылках.

Первым, как обычно, отвечает Яндекс:

Нейросеть удивила: текст реально полезный. Он написан просто, понятно и с примерами. Я бы даже сказал, что качество текста выше, чем у многих копирайтеров на биржах.

Теперь сравним с Bard:

А вот перевод:

Сам текст написан хуже. В нем много длинных предложений и сложных конструкций. Но фактуры здесь больше, чем Яндекса. Bard написал о реальных способах монетизации через email-письма, а Яндекс написал более общую информацию.

Что в итоге: мне сложно определить, кто справился лучше. Потому буду отталкиваться от задачи: мне было важнее узнать о способах заработка, и Bard рассказал о них лучше. Значит, в этом сравнении он победил.

В последнем сравнении я хочу выяснить, как нейросети обрабатывают некорректные и чувствительны запросы. Для этого я попрошу и написать письмо об увольнении сотрудника. А причина увольнения — кризис и халатность самого работника. Интересно, что скажут нейросети.

Первым пробует Яндекс:

Бот никак не обработал мои слова. Он даже не объяснил, в чем заключается халатность. Как по мне, это грубое письмо и писать так своим сотрудникам не стоит.

Посмотрим, что выдаст Bard:

А вот и перевод:

Здесь другое дело: бот не сказал, что человек халатный. Но он объяснил, что именно сотрудник делал неправильно. А в конце он даже написал, что компания поможет с поиском работы. Но это, наверное, уже перебор.

Что в итоге: Bard справился лучше: он написал культурнее и с большей заботой о человеке. И я считаю, что это правильно.

Пока Bard обходит YandexGPT в плане решения задач. Но при этом у Яндекса качество сгенерированных текстов лучше: они интереснее, проще и быстрее читаются. Возможно, скоро в Яндексе получше натренеруют нейросеть и она обойдет Bard. Но, когда это будет — вопрос.

Еще больше интересного контента о нейросетях в моем телеграм-канале «Миша, давай по новой».