Вездесущий ИИ
AI

💸 Связка дешёвой и дорогой модели по API — счёт падает втрое

💸 Связка дешёвой и дорогой модели по API — счёт падает втрое

Основные деньги на запросы по API уходят на обработку входных данных, которые читает топовая модель. Хотя расшифровки, выгрузки, отзывы и переписки спокойно разбирает дешёвая

Разрыв внутри одной линейки, например, Haiku 4.5 стоит $1 за миллион входных токенов против $5 у Opus 5, у Gemini самый дешёвый актуальный вариант начинается от $0,10. Выход везде дороже входа в 5–6 раз, поэтому задача дешёвой модели — сжать входные данные до брифа

Что отдавать дешёвой модели

  • извлечение фактов, цифр и цитат из длинных текстов
  • разметка и классификация: категории, теги, тональность
  • черновая структура по готовому шаблону
  • подготовка вариантов по утверждённому образцу
  • перевод, сокращение, приведение к формату

Что оставлять флагману

  • выбор между неочевидными вариантами
  • логика с ветвлениями и зависимостями между шагами
  • финальная редактура смысла

Как собрать связку

  1. Разбить задачу на три этапа: подготовка, решение, оформление
  2. Подготовку прогнать через дешёвую модель промптом ниже
  3. Сжатый бриф отдать флагману одним запросом, исходники не прикладывать
  4. Готовое решение вернуть на дешёвую модель: варианты, форматирование, адаптация под каналы
РОЛЬ: аналитик-подготовщик, который сжимает входные данные для сильной модели ЗАДАЧА: собрать бриф, по которому флагман примет решение, не получая оригинал ДАННЫЕ: [вставить входные данные: расшифровку, переписку, выгрузку отзывов, отчёт] ЦЕЛЬ СЛЕДУЮЩЕГО ШАГА: [что предстоит решить: стратегия запуска, выбор оффера, план текста] ШАГИ: 1. Выделить факты, цифры и цитаты, влияющие на цель 2. Удалить повторы, вежливые формулировки и всё постороннее 3. Сгруппировать факты по смысловым блокам и назвать каждый блок 4. Отдельным списком собрать противоречия и пробелы в данных 5. Сформулировать 3 вопроса, ответы на которые меняют решение ОГРАНИЧЕНИЯ: - Не более 400 слов - Не додумывать данные, которых нет в исходнике - Решение не предлагать, только подготовить материал - Числа переносить точно, с пометкой источника внутри текста ФОРМАТ ОТВЕТА: 1) Контекст: 3 предложения 2) Факты по блокам: маркированный список 3) Противоречия и пробелы: список 4) Вопросы для уточнения: 3 пункта

Пример на цифрах

Разметка 500 отзывов и выводы по ним: целиком на Opus 5 около $1, через связку с Haiku около $0,3. На объёме 50 000 отзывов разница уже $70 за один прогон

Итого, экономия берётся из сокращения текста, который доходит до моделей

Канал про ИИ, публикую подборки, гайды понятным языком, мнения — интересный и полезный контент.

Каждый найдет как сэкономить время и увеличить продуктивность с нейросетями⬇

t.me
t.me
11