Gemini лучше ChatGPT 4 ? benchmark тесты

Широко распиаренный ChatGPT в настоящее время все еще намного популярнее нейросети Gemini от Google — это факт. Но отставание постепенно сокращается, и с выпуском общедоступной и относительно бесплатной Gemini 1.5 PRO, я думаю, что сократится еще больше. Но перейдем к цифрам.

Вот статистика сервиса яндекс вордстат по России за месяц (март — апрель 2024):

По этим данным видно что общее число запросов, связанных с нейросетью Google примерно в 2 раза меньше. Но есть один нюанс — посмотрите на вторую строчку — интерес к новейшему продукту от Google для широких масс Gemini 1.5 PRO уже выше, чем к ChatGPT 4.

При этом, если смотреть по ценообразованию, то Gemini 1.5 PRO нужно сравнивать скорее с ChatGPT 3.5.

Но эта версия чат бота от OpenAI кажется уже совсем устарела, так как вышла еще в ноябре 2022 года и даже не поддерживает генерацию изображений.

Но вернёмся к теме нашей статьи — тестированию возможностей различных версий нейросетей. Адекватных таблиц сравнения по бенчмарк тестам последних версий Gemini и ChatGPT на сайтах нейросетей Google и OpenAI я не обнаружил, но нашел в интернете:

Согласно приведенным выше результатам, новая версия Gemini 1.5 PRO показала себя более чем достойно.

Да, Ultra опережает по тестам с картинками, но в остальном Gemini 1.5 PRO фактически на одном уровне с более дорогими конкурентами - ChatGPT 4 и Gemini 1.0 Ultra.

Также в этом сравнении видно, что нейросети Google традиционно сильны в таких сложных задачах, как генерация программного кода.

Получается, что по критерию цена\качество Gemini 1.5 PRO сейчас не имеет альтернативы от OpenAI.

Но, вероятно, нужно подождать ответа от OpenAI. Что дальше 4.5 или 5 версия ChatGPT?

В целом очень радует конкуренция, которая сложилась сейчас в сфере нейросетей между несколькими ИТ-гигантами, что способствует стремительному развитию нейросетей и, так сказать, двигает технический прогресс.