Попробовал модель, что не умеет писать текст

TypeSafe выкатили Jev - «System One» модель (название - привет Канеману): она вообще не генерирует текст, только отвечает на типизированные вопросы - да/нет, выбор из вариантов, шкала - и отдает вероятности. За счет этого она работает гораздо быстрее и дешевле. Вообще на сайте компании есть хороший раздел, почему они считают за этим будущее: вкратце, потому что машины в 99% случаев будут с машинами болтать, а не с людьми, поэтому не нужен им этот текст.

Помните мой пост про R1 вместо кучи if-ов? Вот ровно под такие вызовы и, только 4 цента за 1M входных токенов, а выходные - бесплатно вообще.

Прогнал на тех же 10 кейсах скоринга лидов, на которых я в июле сравнивал open source модели:

1) точность - такая же, check

2) скорость: ~0.24 сек на лид против 3-90 сек у LLM

3) цена: ~$0.0001 за скоринг

В целом, у нас в проде есть ряд пайплайнов, где такая оптимизация очень даже в тему. В общем, рекомендую посмотреть