MXander
AI

Сравнил 14 нейросетей на реальных задачах своего приложения: когда хвалённый claude бесполезен

Каждый "умный" запрос в моей напоминалке — это вызов LLM, а значит, время и деньги. Вчера вечером, пока гулял с собакой, я прогнал 14 моделей (выбрал методом "тыка") через 9 реальных задач приложения: точность, скорость, цена за запрос. Для нетерпеливых - claude sonnet 5 - ноль пройденных из 9

Как проходило тестирование

Прогнал 14 моделей через агрегатор RouterAI в два захода: в первом — шесть кандидатов, во втором — ещё восемь, включая модели, на которых моя напомни-ка работала до вчерашнего дня.
Каждой модели давалось 9 сценариев из приложения:
- напоминание: "напомни завтра в девять утра разобраться с API-провайдером";
- сложная дата: "за день до 20 октября нужно записаться к врачу";
- чек-лист: "купить молоко хлеб яйца масло";
- чек-лист со временем: "купить сегодня вечером хлеб батон и корм для Кукуши" . Кличка собаки - Лакки, но мы почему-то стали звать её Кукушей (Лакуша-Кукуша). Особенность нашей семьи - придумывать всякий бред;
- факт: "запомни что я положил перфоратор в кладовку";
- семейное: "напомни Саше завтра в 10 утра заработать много денег";
- лекарства: "пить лекарство №1 утром в 9 и вечером в 21 в течение 7 дней" — расписание;
- понимание поискового запроса с бытовой формулировкой и опечатками;
- определение намерения: "где мой перфоратор" — это поиск, а не новая запись.
Ответ должен быть строго в формате JSON — приложение разбирает структуру. Замерял три вещи: точность, скорость, цену за все 9 вызовов.

Результаты

Модель Точность Цена за 9 вызовов ≈ за запрос Ср. скорость Провалы / примечание mistralai/mistral-nemo 9/9 0,0391 ₽ 0,0043 ₽ 6,8 с основная (победитель) upstage/solar-pro4 9/9 0,0752 ₽ 0,0084 ₽ 5,9 с резерв mistralai/mistral-small-24b 9/9 0,0964 ₽ 0,0107 ₽ 3,9 с запасная, быстрее основной poolside/laguna-s-2.1 9/9 0,2132 ₽ 0,0237 ₽ 3,2 с самая быстрая google/gemma-4-26b-a4b-it 9/9 0,2609 ₽ 0,0290 ₽ 5,6 с — xiaomi/mimo-v2.5 9/9 0,3019 ₽ 0,0335 ₽ 4,4 с — openai/gpt-oss-120b 9/9 0,4114 ₽ 0,0457 ₽ 17,6 с (до 53,9 с) точная, но очень медленная openai/gpt-5.6-luna-pro 9/9 2,9196 ₽ 0,3244 ₽ 10,2 с в ~75 раз дороже mistral-nemo inclusionai/ling-3.0-flash 7/9 0,2997 ₽ 0,0333 ₽ 5,3 с семья, медикаменты (бывшая основная) poolside/laguna-xs-2.1 6/9 0,2642 ₽ 0,0294 ₽ 7,6 с remind-date, task-time (reasoning) openai/gpt-5-nano 5/9 0,9734 ₽ 0,1082 ₽ 21,7 с task, task-time (reasoning) nvidia/nemotron-3.5-lightning 4/9 0,3907 ₽ 0,0434 ₽ 18,0 с remind, task, семья, медикаменты (reasoning) inclusionai/ling-2.6-flash 2/9 0,0089 ₽ 0,0010 ₽ 1,4 с anthropic/claude-sonnet-5 0/9 5,4000 ₽ 0,6000 ₽ 1,6 с все 9 (не отдаёт JSON)

Что я выбрал

Основная — mistralai/mistral-nemo (и классификация, и анализ): 9/9 и 0,004 ₽ за запрос.
Запасная — mistralai/mistral-small-24b-instruct-2501: тоже 9/9, и, приятный бонус, быстрее основной (3,9 с против 6,8 с).
В резерве — upstage/solar-pro4: те же 9/9 за 0,008 ₽/запрос, если у основной изменятся цены или доступность.
Важная деталь: даже победителю я не отдаю на откуп разбор времени. "Завтра в девять утра" дополнительно проверяет детерминированный парсер — не хочу, чтобы от настроения модели зависело, придёт ли напоминание. LLM решает, что это напоминание, а когда - код.

Модель, которую все хвалят, может просто не отдавать JSON или думать над "купить молоко" целую минуту. А модель, о которой никто не говорит, может закрывать все ваши задачи за копейки.
Готов ответить почему я выбрал стоимость одной "напоминалочки" 50 копеек для пользователя :) (даже при 10000 пользователях оно будет для меня убыточным с такой ценой)

44