Хардкорный Инженер

Согласен с оговоркой про человека и железо, сам постоянно спорю об этом 🙂 У меня маржинальная стоимость «человека» около нуля: периметр ведёт тот же DevOps, который и так держит инфраструктуру, отдельную ставку под стек не открывали. Если нанимать под локальные LLM отдельного человека — да, на малых потоках экономика ломается, тут без вариантов.
По объёмам, раз просите цифру: переезд окупился примерно при 700–900 запросов в сутки и базе от 2000 документов с еженедельными обновлениями. Ниже 200–300 запросов в сутки — соглашусь с вами, облако дешевле и проще, железо тащить не надо.
В деньгах: облако выходило ~$700–900/мес (переиндексация эмбеддингов + генерация), локально — б/у бокс с 4090 за ~$2200 разово плюс электричество. Отбилось токенами примерно за 4 месяца. Но честно: решило не это, а приватность — после переезда закрылись две сделки с клиентом, который иначе просто не подписал бы договор. В таблицу TCO это не положишь, а в реальной экономике это главный аргумент.
Мой ориентир для сомневающихся: если счёт за API в месяц больше, чем 1/12 стоимости железа плюс ваши маржинальные часы на поддержку — пора локально. Меньше — оставайтесь в облаке и не страдайте.
И спасибо за формулировку «подписка превращается в зарплату» — точная, заберу в следующий разбор. Как раз собираю калькулятор TCO «локально vs облако» с реальными цифрами, ваша оговорка про малые потоки туда войдёт обязательно.

Редкий случай, когда смету показывают по блокам, спасибо. Добавлю со стороны LLMOps: строка «модель/API» — это только верхушка. Реально бюджет съедают год 2–3: переиндексация базы знаний при изменении документов, оценка качества retrieval, борьба с деградацией ответов. У меня после переезда retrieval на локальный стек (векторная/графовая БД внутри периметра + open-source модели) эта часть подешевела кратно, а токены вообще перестали быть статьёй расходов. Правило простое: считайте не цену подписки, а TCO всего пайплайна знаний.

Редкий случай, когда смету показывают по блокам, спасибо. Добавлю со стороны LLMOps: строка «модель/API» — это только верхушка. Реально бюджет съедают год 2–3: переиндексация базы знаний при изменении документов, оценка качества retrieval, борьба с деградацией ответов. У меня после переезда retrieval на локальный стек (векторная/графовая БД внутри периметра + open-source модели) эта часть подешевела кратно, а токены вообще перестали быть статьёй расходов. Правило простое: считайте не цену подписки, а TCO всего пайплайна знаний.