Я 4 часа ТЕСТИРОВАЛ новую модель ChatGPT o1 Pro и Claude Sonnet 3.5 и вот что я понял
После всего этого хайпа вокруг выхода o1 Pro я не удержался и решил устроить масштабное сравнение. Результаты реально удивили, так что спешу поделиться своими выводами с вами
Начинаем тестирование
Я решил протестировать обе модели в одинаковых условиях, ориентируясь на реальные задачи, а не на сухие бенчмарки. Каждый тест я повторял несколько раз, чтобы всё было честно и без сюрпризов. И вот что у меня получилось:
Основные выводы:
Сложные рассуждения
Победитель: o1 Pro
- Да, она справляется чуть лучше, но честно, разрыв не такой уж и большой.
- Отвечает дольше, на 20-30 секунд.
- Зато у Claude Sonnet 3.5 точность до 90%, и делает всё это быстрее!
Генерация кода
Победитель: Claude Sonnet 3.5
- Код чистый, поддерживать его проще — прям как надо!
- Документация тоже на уровне.
- А вот у o1 Pro есть привычка всё усложнять.
Высшая математика
Победитель: o1 Pro
- Если вам нужна модель, которая разберётся в задачах высшего уровня, то это она.
- Но в практических задачах Claude Sonnet 3.5 закрывает 95% запросов. И зачем усложнять?
Анализ изображений
Победитель: o1 Pro
- Описание картинок на высоте, интерпретация максимально детальная.
- А вот у Claude Sonnet 3.5 такие фокусы пока не в арсенале.
Научное мышление
Победитель: ничья.
- У o1 Pro анализ сложный и глубокий, местами даже чересчур.
- Зато Claude Sonnet 3.5 выдаёт чёткие и понятные объяснения, с которыми всё сразу ясно.
Кажется, обе модели хороши, но каждая по-своему. Всё зависит от того, что именно вам нужно: сверхточность, простота или способность написать диссертацию за ночь.
Ценовая политика
o1 Pro ($200 в месяц):
- Это прям монстр для высшего уровня задач. Если нужна сложная аналитика — сюда.
- Умеет работать с изображениями, причём на очень высоком уровне.
- Рассуждения глубокие, как океан, хотя иногда от этого начинаешь теряться.
- В сложных задачах может дать те самые +5-10% точности, которые решают всё.
Claude Sonnet 3.5 ($20 в месяц):
- Быстрота — его козырь. Он выдаёт ответы молниеносно.
- Стабильность на уровне, всё работает как швейцарские часы.
- Код пишет отлично: чисто, понятно, и ещё документирует как надо.
- 90-95% задач он решает на уровне o1 Pro, а порой даже лучше.
Что интересного заметил:
- o1 Pro любит «подумать» и тянет с ответом 20-30 секунд
- Claude Sonnet 3.5 приятно удивил своим умением программировать — это его сильная сторона.
- Если посмотреть на соотношение цены и пользы, то для большинства задач Claude Sonnet 3.5 — явный победитель. Он дешевле и отлично справляется в 90% случаев.
Если только ты не пишешь докторскую по какой-то сверхсложной или не занимаешься искусственным интеллектом на уровне OpenAI, переплачивать за o1 Pro смысла маловато.
Вот как разобраться, что лучше выбрать:
Когда стоит брать o1 Pro:
- Если тебе сильно нужны возможности компьютерного зрения.
- Ты работаешь с контентом высшего уровня сложности, особенно в математике или в физике.
- Эти дополнительные 5-10% точности — вопрос жизни и смерти для твоей задачи.
- Ну и если бюджет для тебя вообще не проблема.
А вот когда лучше выбрать Claude Sonnet 3.5:
- Нужны быстрые, стабильные и чёткие ответы, без ожидания «подумаю ещё чуть-чуть».
- Ты много работаешь с кодом — тут он прям твой лучший друг.
- Соотношение цены и качества важно, а платить лишние $180 за "похожий результат" нет смысла.
- И тебе ближе простые, но практичные решения, без заморочек.
Короче, если твоя работа не крутится вокруг сложной науки или тебе не нужны фишки со зрением, то Claude Sonnet 3.5 за $20 — это твой вариант. Зачем платить больше, если он и так справляется на 90-95%?
Подпишись на мой телеграм канал 👉 @minorovai, рассказываю как применить технологии, которые уже меняют жизнь