Сравнение российских LLMs: GigaChat, YandexGPT и JustGPT

ChatGPT от OpenAI задал высокий стандарт на чат-ботов с искусственным интеллектом. Он до сих пор остается самой продвинутой и популярной нейросетью. Однако наличие такого мощного конкурента не мешает компаниям пробовать себя в этом направлении и создавать своих ИИ чат-ботов.

В этой статье мы рассмотрим российские LLMs и их возможности.

Мы сравнили GigaChat, YandexGPT и JustGPT и оценили их по следующим критериям:

– Понимание запросов и умение объяснять тему

– Креативность

– Качество копирайтинга

– Умение переводить текст на другие языки

– Умение составлять краткий пересказ объёмных материалов (саммари)

Каждой нейросети мы дали одинаковые промпты:

• Выступи в роли философа. Я задам темы или вопросы, связанные с философией. Глубоко изучи эти понятия, проведи исследование различных теорий, предложи новые идеи и найди творческие решения сложных проблем. Мой запрос: помоги в разработке концепции постмодернизма.
• Напиши пост для соц сетей в 700 символов о перспективах развития искусственного интеллекта. Стиль информационный, твоя аудитория — ИТ-специалисты и эксперты, которые разбираются в технологиях.
• Переведи этот текст на русский язык: “The Black Forest is a large mountain range located in southwestern Germany. As the name suggests, it’s covered by a lush forest. The highest summit of the range is the Feldberg mountain (1,493 m above sea level). The region is widely known for its precious minerals as well as its rich history, culture and cooking style. In ancient literature the region is first mentioned in the works of Pliny and Tacitus. Almost for 2000 years, from the 5th century BC up to the 16th century, the Black Forest was known only for its surplus of ore. Workers of the few settlements that were in the region made a living mining lead, silver and iron. An outbreak of plague and the German Peasants’ War forced a decline of the region in the 16th century, through and all the way up to the beginning of the 18th century, when the mines were reopened, while lumbering and rafting of precious timber solidified its prospects of economic prosperity. The region’s relative seclusiveness coupled with an access to abundant mineral resources made people who lived in the Black Forest into artisan craftsmen. Even before the widespread advent of precision mechanics, the people of the Black Forest made additional income making wooden clocks and toys when mines and lumber mills were closed. When the Industrial Revolution dawned and a railway network made its way into the region, its clockmakers, jewelers and glassmakers became prominent throughout Europe. In the 20th and 21st centuries the main industries of the region were power plants and tourism. Many of the mines were remade into museums, which are opened daily for the visitors. Numerous military conflicts of the Late Middle Ages, as well as those of early modern period, have left many archeological sites to discover, many of them pertaining to warfare, including more than 200 km of defensive fortifications. New archeological sites are still being discovered these days, and the full inventorying is still yet to be completed. Someone who has no interest in history or industry can still find many interesting things to do there. The big lakes Titisee and Schluchsee are surrounded by small resort towns that offer miscellaneous water sport activities including deep diving. Each year the region sees a competition held between amateur and professional confectioners who aim to perfect an art of making the famous Black Forest gateau. Today the region makes use of developed transport infrastructure and is easily accessible from any other region of Germany. A bus ticket from Berlin to Freiburg, one of the largest cities in the region, will cost you approximately 30 euros”.

• Возьми на себя роль гида. Я напишу своё местоположение, а ты предложишь достопримечательности поблизости от меня. Я также могу указать тип мест, которые собираюсь посетить. В этом случае предложи мне места аналогичного типа, которые находятся недалеко от моего местоположения. Мой запрос: я нахожусь в Нижнем Новгороде, Россия. Я хочу посетить основные достопримечательности, зайти в один музей и поужинать в хорошем ресторане.

• Пожалуйста, резюмируй книгу "Герой Нашего Времени" Лермонтова. Думай пошагово. В завершение напиши список действий, как я могу применить ключевые уроки книги.
• Какой самый последний айфон? Или кто получил Оскар в 2023 году? (мы задавали эти вопросы, чтобы понять, с данными какого года работает нейросеть)
• Представь, что ты поэт Сергей Есенин/Пушкин. Напиши рифмованный стих о школе (в стиле Пушкина/Есенина).
• Придумай и напиши интерпретацию сказки "Колобок" в стиле "Гарри Поттера", где бы Колобок сражался со злыми волшебниками на своем пути.

GigaChat — нейросеть от “Сбера”, запущенная в апреле и ставшая доступной для всех желающих в сентябре 2023 года. Нейросеть умеет отвечать на вопросы пользователей, поддерживать диалог, писать программный код, а также генерировать изображения с помощью Kandinsky 2.1.

Как GigaChat справился с нашими заданиями?

Тему GigaChat объясняет весьма поверхностно и просто, но при этом делает это вполне понятно и четко:

Требования к написанию текста определенного формата с заданной целевой аудиторией не были выполнены нейросетью. Сам текст получился простым и неинтересным. Создается впечатление, что его писал школьник:

С английского на русский нейросеть переводит верно, но выдает дословный перевод, что, конечно, сказывается на качестве текста:

При создании сжатого изложения GigaChat теряет основной смысл текста:

На креативные запросы GigaChat дает примитивные и неинтересные ответы.

Со стихосложением нейросеть тоже справляется неважно:

При планировании путешествий нейросеть показывает несуществующие места:

По запросу на составление краткого содержания выдает ответ, далекий от истины: большую часть краткого содержания "Героя нашего времени" GigaChat выдумал.

Работает с информацией только до 2021 года.

Just GPT — большая языковая модель от компании Just AI, работающей на рынке речевого ИИ. Just AI специализируется на технологиях искусственного интеллекта, машинного обучения и понимания естественного языка. В 2023 году Just AI запустила инструмент для взаимодействия с нейросетями Jay CoPilot. Just GPT была разработана компанией всего за 3 месяца на основе открытых данных, при помощи их доработки и тестирования с использованием оригинальных методик.

Насколько хорошо Just GPT справляется с задачами?

Заданную тему Just GPT объясняет вполне понятно и четко.

По нашему запросу нейросеть написала структурированный, последовательный пост с оформлением.

Just GPT хорошо переводит текст с английского — выполняет грамотный литературный перевод.

При планировании путешествий часть достопримечательностей туристического маршрута нейросеть придумывает.

Стихи Just GPT пишет не слишком хорошо.

Результат саммари нас удовлетворил — краткое содержание книги нейросеть передает верно. Анализ смысла и уроков из романа также прописывает четко и точно.

С креативной задачей Just GPT тоже справляется неплохо.

Работает с данными до 2021 года.

YandexGPT — нейросеть семейства GPT от компании «Яндекс», которая генерирует тексты на основе данных из интернета. Используется в обновлённом виртуальном голосовом помощнике «Алиса».

На что способен продукт “Яндекса”?

YandexGPT кратко и четко объясняет тему.

Со следующей задачей YandexGPT справился не совсем корректно. Пост чат-бот написал без оформления и не выдержал требование в количестве символов. Текст поста вышел довольно шаблонным.

Как и его российские “коллеги”, YandexGPT не может похвастаться мастерством стихосложения, хотя в некоторых строфах даже есть рифма.

Зато с планированием маршрутов нейросеть справляется вполне точно и хорошо.

Краткое содержание книги YandexGPT передал, в основном, верно, но есть недочеты в деталях.

По критерию креативности YandexGPT заслуживает достаточно высокую оценку. Чат-бот генерирует оригинальные и интересные идеи.

С переводом текста нейросеть помочь не сможет — YandexGPT в настоящее время не поддерживает английский язык.

Зато YandexGPT может похвастаться самыми актуальными на настоящий момент данными. Нейросеть работает с данными до 2023 года.

Какая же из трех российских нейросетей справилась с нашим челленджем лучше всего? Для начала стоит сказать, что у каждой нейросети есть свои преимущества и аспекты, требующие доработки. В любом случае радует, что российские разработчики следят за мировыми трендами и стараются создать качественные продукты, которые в будущем, возможно, смогут составить конкуренцию ChatGPT. Но для этого, конечно, нужно время.

Итак, перейдем к результатам сравнения. Самые четкие и слаженные ответы мы смогли получить от нейросети JustGPT. Чат-бот точно справился с большей частью задач. Однако по актуальности данных и уровню креативности выигрывает YandexGPT — он лучше всех справился с творческими задачами. Но если же вам требуется перевести текст, то лучше обратиться к GigaChat или JustGPT, так как в нейросети “Яндекса” такая функция не заложена.