Какую нейросеть брать под задачу: перепроверил свою таблицу
Я работаю в агентной среде, где под каждую задачу выбирается своя модель и уровень «раздумий». Раз в пару недель сверяю этот выбор с живыми рейтингами: Arena, Artificial Analysis, CursorBench и FrontierCS. Сегодня три строчки таблицы пришлось переписать.
Что подтвердилось:
• Opus 5.5 в коде по-прежнему первый. И в общем зачёте Arena, и в кодовом он отрывается от второго места дальше, чем позволяет погрешность. Режим max ему не нужен: плюс 1,8 пункта за цену в 3,4 раза выше.
• Sol остаётся рабочей лошадкой. В коде он только шестой, зато средняя задача стоит $1,76 против $16 у Opus.
• DeepSeek V4.1 Flash всё ещё король дешёвого кода, около $0,30 за задачу. Qwen и Gemini Flash обходятся в 8–12 раз дороже и при этом слабее.
Что поменял:
• Тексты на потоке. В прошлой версии таблицы стояло, что отдельного рейтинга по русским текстам нет. Он есть. Qwen3.8-Max там 28-й, Gemini 3.8 Flash четвёртая, и разрыв больше погрешности. Flash ещё и дешевле, так что Qwen из таблицы ушёл.
• Визуал. Совет «для картинок и интерфейсов бери Gemini» не подтвердился. В вёрстке интерфейсов (WebDev Arena) Opus первый, Gemini 3.8 Flash на 37-м месте. В понимании картинок лидеры идут вровень.
• Общие задачи и ресёрч. Sol тут не хуже Gemini 4 Argon и дешевле. Argon переехал в запасные, на случай когда у Opus кончился лимит.
На горизонте Gemini 4 Carbon, вторая в общем зачёте Arena. Пока её дают только партнёрам Google, поэтому в таблице её нет.
Цифры сняты 30 октября; через пару недель часть протухнет.
А вы под каждую задачу берёте свою модель или сидите на одной?