DeepSeek в бенчмарке Cursor
Давно пишу код в новом IDE-редакторе и постоянно гоняю разные модели, включая DeepSeek. Сегодня Cursor выкатил обновление CursorBench и добавил туда DeepSeek V4.1 Flash (17-я строчка на скрине).
По деньгам он вне конкуренции: меньше бакса за задачу ($0.98), самая дешёвая модель в таблице. Буквально строчкой выше идёт Sonnet 5.5 High с тем же результатом (47.7% против 47.8%) за $1.20.
А вот по токенам и шагам разница дикая:
• Sonnet 5.5: 37 тыс. токенов и 41 шаг
• DeepSeek: 537 тыс. токенов и 187 шагов
DeepSeek жжёт в 14 раз больше токенов и берёт задачу тупо измором.
Если разработчики научат его справляться без этой накрутки шагов, при копеечной цене получится мощный инструмент. Думаю, увидим уже в следующих релизах.
Сам я сейчас часто делаю так: отдаю реализацию DeepSeek, а на проверку и доводку зову Opus или Sol. Расходы на подписки срезались в разы, а код на выходе надёжный.
А вы миксуете дешёвые модели со старшими или сидите на одной?