Anthropic заменили бесплатно Sonnet 4.6 на Sonnet 5. Так ли все радужно? Разбираемся

Anthropic выкатили Sonnet 5 на всех планах, а для Free и Pro он стал моделью по умолчанию. Для тех, у кого подписка почти ничего не изменилось - ниже расскажу свой опыт. Для тех, кто работает по Api - вот тут и подвох. Sonnet 5 до 31 августа по api стоит дешевле Sonnet 4.6, а с 1 сентября будут стоить одинаково. НО! Sonnet 5 может выйти на 30% дороже) Как так? Sonnet 5 использует новый токенизатор, который съедает примерно на 30% больше токенов для того же текста, а Sonnet 4.6 использует старый токенизатор.

🪼 Я решила сама распробовать Sonnet 5 и сравнить относительно Sonnet 4.6 и Opus 4.8. На сколько имеет смысл заменять их Sonnet 5.

Сразу скажу, Sonnet 5 - не новый король бенчей) Скорее, это более агентный и местами более быстрый Sonnet для массовых задач: кодинг, тулзы, автоматизации, черновики, средние по сложности задачи. Но для сложного планирования, больших промптов, глубокого анализа и задач где надо прям думать - Opus 4.8.

🪼 Я сравнила Sonnet 5 и Sonnet 4.6 на одной из своих задач по расписанию - Парсинг новостей и автопостинг постов в моем стиле в отдельный тг канал. Обычно автоматически мне присылает модель Sonnet 4.6, я следом вручную запустила Sonnet 5. Мне лично Sonnet 4.6 больше зашел, причем уровень effort одинаковый - поставила ради интереса high. Sonnet 5 слишком смело пишет и темы жирным не выделил почему-то.

🔥 Зато на другой моей задачи - мне надо в отдельный канал генерить видео или фото а потом видео и промпт + и постить как пост Sonnet 5 нашел проблему, почему некоторые темы дублировались- каждый прогон дайджеста сохранял историю тем только в свою одноразовую ветку, а не в main. Пустяк, а вон как)

🪼 Что еще:

• На рассуждении между Sonnet 5 и Sonnet 4.6 я разницы не заметила: что раньше переобувался в воздухе, стоило ему предоставить пару контраргументов, что сейчас. Далеко не Opus 4.8 Medium - вот вообще ни разу.

• Sonnet 5 лучше Sonnet 4.6 - в кодинге, лучше по безопасности и агентности.

• Тексты Sonnet 5 чуть живее стал делать, но по мне, чересчур дерзкие какие-то.

🪼 Сравнение с Opus:

• Для больших промптов и глубокого анализа, сложного планирования, больших контекстов Opus конечно лучше. Sonnet нормален для маленьких промптов, но на больших задачах лучше брать Opus. В кодинге Sonnet 5 заметно глупее Opus 4.8, планинг агентом его точно делать не стоит.

• Sonnet 5 - для более дешевых, массовых, средних задач, но экономику надо считать по фактическим токенам и effort. А то знаете ли)

🪼 Что я точно поняла, Sonnet 5 не надо использовать как “дешевый Opus” на high или xhigh. Кмк, medium effort самое оно, а если нужен high effort, лучше отправляться в Opus. На high/xhigh Sonnet 5 по моим ощущениям дороже и хуже, чем Opus 4.8 на low или medium. Ну опять же, зачем использовать Sonnet 5 на высоком effort, если Opus за сопоставимую цену дает лучшее качество. Sonnet 5 хорош в скане кода, мелких правках, субагентах, автоматизациях.

А вам как новая модель?

Подписывайтесь на Telegram НейроProfit | Соня Pro Ai.