Дешёвая нейросеть должна была сэкономить нам на статьях. В бою она обошлась дороже дорогой
Счёт за нейросети у нас за месяц вырос на 41% — и это с учётом того, что часть расхода идёт на вполне окупаемые вещи вроде чат-агентов. Писатель статей — одна из самых прожорливых задач, потому что гоняет длинный текст через модель каждый день. Логичный шаг: найти модель подешевле и пересадить на неё писателя, оставив дорогую модель только судьёй, который проверяет факты.
Кандидат нашёлся быстро: модель в разы дешевле по цене токена, с живым языком и даже более богатыми ссылками внутри текста, чем у дорогой. Прогнали её на четырёх темах с контрольным циклом «написал → проверил → переделал, если не прошло». Три из четырёх статей прошли проверку с первого раза. На бумаге экономия — на статью она обходилась в разы дешевле прежней. Решение выглядело обоснованным, и в тот же день писатель пошёл в прод.
Вечером того же дня счёт перестал выглядеть красиво. Из восьми статей, которые конвейер реально написал за боевой прогон, семь не прошли фактчек-гейт — отдельный узел, который сверяет цифры в тексте с канонизированным списком фактов: ставку НДС, размер налога для самозанятых, стоимость патента. Дешёвая модель путала эти цифры систематически, а не случайно. Вторая проблема обнаружилась рядом: пять статей из восьми модель не дописывала до конца — упиралась в лимит токенов на середине текста. Каждая такая статья и каждая статья, не прошедшая фактчек, уходит на повторную генерацию через запасную модель. То есть почти каждая статья в тот вечер писалась дважды.
Дешёвый токен умножился на два прохода и перестал быть дешёвым. По факту статья в бою обошлась дороже, чем на прежней модели, а не дешевле обещанных на тесте показателей. Экономия, которую мы увидели на четырёх тестовых темах, в масштабе реального дня перевернулась в обратную сторону.
Писателя откатили на прежнюю модель в тот же вечер — от переключения до возврата прошло меньше половины суток. Важная деталь: ни одна статья с неверной налоговой цифрой не доехала до сайта. Фактчек-гейт делал ровно то, для чего его строили — отфильтровал брак до публикации, а не после. Автоматика сама подняла сигнал о проблеме до того, как её заметил человек, вылавливающий ошибки руками.
Разбор показал, где именно тест обманул нас масштабом. Четыре темы на пробе — это слишком маленькая выборка там, где в тексте неизбежно появляются цифры со строгим каноном: налоги, патенты, юридические суммы. На таких темах у модели нет права на вариативность — одна неверная цифра обесценивает всю статью. Для сравнения моделей, которые пишут в зоне с жёстким каноном фактов, выборка в четыре текста ничего не доказывает: 3 из 4 на пробе и 1 из 8 в бою — это не противоречие, а статистика маленьких чисел.
Теперь правило для любого будущего переключения модели у нас звучит так: тест на репрезентативной подборке не меньше десяти тем, разбитых по разным рубрикам блога, а не по одной удобной теме подряд — и обязательная проверка первого боевого прогона в тот же день, а не через неделю по накопленным отчётам. Если рубрика завязана на цифры с каноном — отдельная, более жёсткая проверка именно на ней, до любого переключения в проде.
Для тех, кто считает экономию на нейросетях по цене токена: считайте по цене готового материала, а не по цене попытки. Если у конвейера есть узел, который переделывает брак автоматически, — а строить его правильно именно так, без тихого пропуска бракованных фактов, — то любая модель, которая чаще ошибается, будет писать статью не один раз, а полтора-два. И настоящая цена окажется в другом месте, чем вы считали на калькуляторе перед переключением.