Искусственный интеллект в действии. Сравниваем нейросети.

Всем нам хочется работать быстрее и качественнее. У нас в компании это своего рода культ. Мы постоянно стараемся найти новые способы увеличения эффективности и снижения трудозатрат на рутинных задачках.

Про искусственный интеллект (ИИ) в качестве помощника не писал только ленивый, однако нам удалось небольшой командой на протяжении значительного времени «прощупать» популярные модели на реальных задачах бизнес-аналитика.

Мы хотим поделиться нашим опытом, чтобы вы могли быстрее найти подходящий инструмент для определенных задач и лучше понимали, какие нейросети наиболее эффективны в решении конкретных проблем.

Сразу хочется добавить, что системный подход для выбора нейросети нужен крайне редко для очень специфичных задач. Модели постоянно конкурируют между собой и зачастую имеют схожие характеристики. В таких ситуациях на первое место выходит ваш подход к взаимодействию с ИИ: Структура запросов, качество промптов и т.д.

Для сравнения мы выбрали 7 наиболее популярных нейросетей:

Оценка проходила по следующим параметрам:

🔳 Объем символов в одном запросе: Сколько символов нейросеть может обработать за один запрос.

🔳 Размер контекстного окна: Сколько символов до и после целевого запроса используется для генерации ответа. Другими словами, это объём информации, которую модель может запомнить в рамках сессии обращаясь к предыдущим запросам и ответам.

🔳 Сильные стороны: Основные преимущества каждой нейросети.

🔳 Мощность: Сколько параметров нейросеть использует для генерации ответа. Чем больше параметров, тем мощнее нейросеть и тем более точные ответы она может генерировать.

🔳 Ограничения: Недостатки каждой нейросети.

🔳 Нюансы доступа для РФ: Доступна ли нейросеть в России и какие ограничения могут быть при ее использовании.

Для начала немного общих задач, для которых подойдет каждая из вышеперечисленных моделей:
1. Генерация креативного контента: стихи, истории, сценарии, музыкальные произведения.
2. Написание текстов: статьи, письма, посты в блогах, рекламные объявления - модели помогут создавать тексты в различных форматах.
3. Ответы на вопросы: даже если они открытые, сложные или странные, модели предоставят вам информативный ответ.
4. Анализ и обобщение информации: нейросети извлекут ключевые моменты из текстов и статей, помогая вам быстро уловить суть.
5. Развлечение и игры: ИИ может стать вашим собеседником для непринужденных бесед или соперником в языковых играх.

P.S. Отечественные модели справляются с базовыми задачами хуже, ввиду существенно меньшего объема параметров для обучения.

Теперь по минусам:
1. Работа с большим объемом данных: чем больше информации мы заносим, тем быстрее нейросеть теряет контекст.
2. Здравый смысл: Нейросеть может генерировать логически некорректные или нелепые тексты, если запрос выходит за рамки ее обучающих данных.
3. Неспособность к самостоятельному мышлению: нейросеть не способна к самостоятельному генерированию идей, а работает на основе имеющихся данных.
4. Зависимость от качества данных: эффективность модели сильно зависит от качества и объема обучающих данных. Неполные или низкокачественные данные могут привести к неточным или ошибочным результатам.
5. Чувствительность к формулировке запросов: небольшие изменения в формулировке вопросов могут существенно повлиять на корректность ответа на выходе.

Рассмотрим подробнее каждую из этих нейросетей.

ChatGPT-3,5 - это нейросеть компании OpenAI, способная генерировать текст в различных форматах, от требований и кода до сценариев и музыкальных произведений.

Наша оценка модели 6 из 10 🔵🔵🔵🔵🔵🔵⚪⚪⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: ~8096 символов на английском языке или ~5400 символов на русском (1500 слов при среднем размере страницы 300-450 слов).

🔳 Размер контекстного окна: 16000 символов на английском языке или ~8000-10000 символов на русском или 3000 русских слов.

🔳 Сильные стороны: Креативность, универсальность, генерация текста разных форматов, ответы на вопросы.

🔳 Мощность: Учитывает 175 миллиардов параметров.

🔳 Ограничения: Небольшое контекстное окно, нельзя загружать файлы, не подходит для сложных задач. Данные для обучения были собраны до 2021 года. Так как у ИИ нет доступа в интернет, модель не знает о событиях, произошедших после этого момента времени.

🔳 Нюансы доступа для РФ: Доступен через VPN, нужна иностранная сим-карта для регистрации.

На текущий момент ChatGPT-3.5 является наиболее универсальным инструментом для рабочих задач. Подготовка к интервью, определение ключевой информации, помощь с документацией. Для таких задачек можно смело использовать 3.5. Весомый плюс нейросети это бесплатный доступ. Однако важно учитывать ее ограничения и использовать с осторожностью.

ChatGPT-4 – это более продвинутая версия ChatGPT-3,5, которая обладает передовыми возможностями генерации текста, кода и сценариев. Она также позволяет добавлять документы, картинки и имеет большой набор плагинов и ассистентов.

Наша оценка модели 8 из 10 🔵🔵🔵🔵🔵🔵🔵🔵⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: 16000 символов на английском языке /~10000-12000 символов на русском или 3000 русских слов.

🔳 Размер контекстного окна: 32000 символов на английском/ 26000 тысяч 7400 слов.

🔳 Сильные стороны: Передовые возможности генерации текста, кода, сценариев. Возможность добавлять документы, картинки, большой набор плагинов и ассистентов. Встроенная нейросеть для генерации картинок Dall-e. Есть доступ в интернет.

🔳 Мощность: Учитывает более 1 трлн. параметров.

🔳 Ограничения: Плохо работает с документами больших объемов (10 и более страниц). Плохо работает с графической информацией в документе (схемы, таблицы, картинки).

🔳 Нюансы доступа для РФ: Доступен через VPN, платная подписка (20$), нужна иностранная сим-карта для регистрации.

Где покажет себя лучше других моделей:
1. Разработка ПО: ChatGPT-4 не просто генерирует код, но и понимает его, делая ее незаменимым помощником программистов. Поможет в задачах:

2. Анализ и обобщение информации: ChatGPT-4 не просто извлекает ключевые моменты, но и может интерпретировать их, делать выводы и давать рекомендации. Она способна:

Gemini 1.0 - это нейросеть Google AI, которая хорошо отвечает на вопросы, генерирует код и обладает возможностью ввода голосом. Она имеет самую быструю обработку запроса среди представленных нейросетей и интегрируется с сервисами Google.

Наша оценка модели 7 из 10 🔵🔵🔵🔵🔵🔵🔵⚪⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: ~ 8096 символов на английском языке или ~5400 символов на русском/1500 слов.

🔳 Размер контекстного окна: 14000 символов на английском языке ~8000-10000 символов на русском или 2800 русских слов.

🔳 Сильные стороны: модель обучена на относительно свежих данных до октября 2023 года. Также Gemini подключена к поисковику Google, что позволяет получать самые актуальные данные. Хорошо отвечает на вопросы, генерирует код, доступен ввод голосом, самая быстрая обработка запросов из всех моделей. Интеграция с сервисами Google.

🔳 Мощность: учитывает 110 миллиардов параметров.

🔳 Ограничения: не подходит для генерации сложных форматов. Плохо учится (не смотря на корректировку запроса) часто выдает одинаковые ответы.

🔳 Нюансы доступа для РФ: доступ через VPN.

Gemini 1.0 Pro - это платная версия Gemini 1.0, которая обладает улучшенной генерацией текста, доступом к API и более высокой скоростью обработки запроса.
Наша оценка модели 8 из 10 🔵🔵🔵🔵🔵🔵🔵🔵⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: 14000 символов на английском языке /~8000-10000 символов на русском или 2800 русских слов.

🔳 Размер контекстного окна: 28000 символов на английском/ 24000 русских символа или 7000 слов.

🔳 Сильные стороны: улучшенная генерация текста, доступ к API, высокая скорость обработки запроса. Интеграция с сервисами Google. Голосовой ввод данных.

🔳 Мощность: учитывает 540 миллиардов параметров.

🔳 Ограничения: платная подписка (19 евро в месяц). Базовая версия Gemini покрывает 95% всех задач.

🔳 Нюансы доступа для РФ: Доступ через VPN.

Copilot v1.0 - это нейросеть Microsoft, которая интегрируется с Microsoft 365 и предоставляет доступ к ChatGPT-4 turbo. Она может генерировать код, писать различные форматы текста и отвечать на вопросы.

Нейросеть работает на сайте Microsoft, приложении для iOS и Android, а также встроена в Windows и браузер Microsoft Edge. Доступ для пользователей из России ограничен, но обойти запрет можно с любого устройства.

Наша оценка модели 7 из 10 🔵🔵🔵🔵🔵🔵🔵⚪⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: При доступе через ОС Windows 10/11 8000 русских символов в режиме «More Creative» и до 4000 в режиме «More Balanced». При доступе через веб-версию объем символов и контекстное окно соответствует характеристикам Chat GPT-4.

🔳 Размер контекстного окна: Аналогично Chat GPT-4.

🔳 Сильные стороны: Интеграция с Microsoft 365, доступ к ChatGPT-4 turbo, генерация кода, различные форматы текста, ответы на вопросы. Генерация картинок.

🔳 Мощность: Аналогично Chat GPT-4.

🔳 Ограничения: Для интеграции с офисными приложениями нужна платная подписка. Модель может опускаться по характеристикам на Chat GPT 3.5 при высоких нагрузках.

🔳 Нюансы доступа для РФ: Доступен.

Особенности Copilot v1.0:

Ключевая фишка copilot это интеграция с ОС и сервисами Microsoft. При использовании модели через ОС можно взаимодействовать с системой через ИИ. Доступны следующие команды:

Также чат-бот можно использовать для диагностики проблем с ПК: для этого нужно задать вопрос вроде «Почему у меня не работает камера?» или «Почему я не могу обновить систему?». Copilot откроет нужный раздел утилиты устранения неполадок Windows в отдельном окне.

Интеграция Copilot в офисные приложения.

Чат-бот станет доступен в Outlook, PowerPoint и других сервисах. Нейросеть не просто генерирует рекомендации, а самостоятельно применяет их в открытом документе: например, оформляет слайд презентации под запрос. Для использования функций нужна подписка Copilot pro (20$) и Microsoft 365 — минимальная стоит 6,99 $ в месяц. Для организации доступа нужно зарегистрировать аккаунт Microsoft в зарубежном регионе, использовать иностранную сим-карту и банковскую карту.

Yandex-GPT 2.0 - это нейросеть от Яндекса, которая хорошо генерирует текст, переводит языки, пишет различные форматы текста и может отвечать на специфические вопросы по законодательству РФ. Она интегрирована с Алисой.

Наша оценка модели 5 из 10 🔵🔵🔵🔵🔵⚪⚪⚪⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: ~250 токенов (500 символов максимум).

🔳 Размер контекстного окна: 2048 токенов (~4096 символов).

🔳 Сильные стороны: Хорошо генерирует текст, переводит языки, различные форматы текста, ответы на вопросы для РФ.

🔳 Мощность: Неизвестно.

🔳 Ограничения: Ограничение по количеству символов в запросе, нет доступа к интернету и актуальным данным, база данных ограничена мартом 2023 года, быстро забывает контекст.

🔳 Нюансы доступа для РФ: Доступен.

Сильные стороны Yandex-GPT 2.0:

Gigachat 1.0 - это многофункциональная нейросеть от Сбербанка, предназначенная для диалогового общения и выполнения различных задач на русском языке.

Наша оценка модели 4 из 10 🔵🔵🔵🔵⚪⚪⚪⚪⚪⚪

Ключевые параметры:

🔳 Объем символов в одном запросе: 512 токенов (~1024 символов).

🔳 Размер контекстного окна: 2048 токенов (~4096 символов).

🔳 Сильные стороны: Ответы на вопросы, в том числе на специфичные для РФ.

🔳 Мощность: 29 миллиардов параметров.

🔳 Ограничения: Самая слабая генерация текста среди представленных нейросетей, не подходит для сложных форматов, быстро забывает контекст.

🔳 Нюансы доступа для РФ: Доступен. Нужен Sber ID.

Для чего подойдет Gigachat 1.0:

В этой статье мы провели сравнительный анализ 7 популярных нейросетей. Так какую же нейросеть выбрать?

Для простых задач:

Для генерации сложных форматов (картинок, документов, текстов со сложной структурой):

Для работы с кодом:

Для работы с русским языком, документами, законодательством: