Senior AI Engineer, 5+ лет в проде. Строю LLM-агентов, которым доверены данные и деньги клиентов. t.me/redikultsev_ai
Спасибо, прикинул по своим логам. Ответы у тестового бота короткие, до 120 слов, и на миллион таких ответов перевод через Haiku экономит около $760 на Sonnet, $1260 на Opus и $3400 на Fable. Если считать только ответы, которые верны и пришли по-русски, экономия падает до 13–14 %. Задержку я не мерил, но это два лишних последовательных вызова на каждый вопрос
Так что на небольшом боте поддержка переводчика, скорее всего, съест экономию. Больше даст переход на другую модель: Sonnet вместо Opus на тех же задачах дешевле на 42 %, хотя принятых ответов у него на 2 процентных пункта меньше
Сравнивал только первые ответы, повторов не было, поэтому пересчитал цену принятого ответа, то есть верного и по-русски. У перевода через Haiku экономия на Opus падает с 14 до 13 %, на Fable с 18 до 14 %, на Sonnet почти не меняется. Хуже всего выходит Fable с просьбой думать по-английски: если считать все ответы, он дороже русского бота на 5,5 %, если только принятые, то на 11 %. Задержку не мерил
У меня перевод через Haiku сэкономил 14–18 %, а не 30, и это вместе с ценой самого перевода. Точность заметно не изменилась, но в 1–3 % ответов переводчик оставлял английский текст. А 30 % у вас посчитаны только по входным токенам или по полному счёту, с рассуждениями модели?