Jaehyun Cho
AI

Сколько вы переплачиваете OpenAI за русский язык: замерил один и тот же промпт на 41 языке

Если ваш бот, ассистент или внутренний сервис общается с GPT по-русски, вы платите за тот же смысл больше, чем англоязычный конкурент. Модели тарифицируют не слова, а токены, а русский текст разбивается на токены хуже английского.

Я решил проверить, насколько. Взял обычный промпт для службы поддержки, перевёл его на 41 язык и посчитал токены тем же токенизатором, который используют GPT-4o и все более новые модели OpenAI (o200k_base).

Промпт

По-английски — 34 токена:

Please summarize the customer email below in three bullet points and suggest a polite reply. The customer says the order arrived two days late and one item was missing from the box.

По-русски — 45 токенов:

Кратко изложите письмо клиента ниже в трёх пунктах и предложите вежливый ответ. Клиент пишет, что заказ пришёл на два дня позже и в коробке не хватало одного товара.

Результаты

  • Английский: 34 токена, 1,00× (старый токенизатор: 1,00×)
  • Китайский (упрощённый): 35 токенов, 1,03× (старый токенизатор: 1,53×)
  • Испанский: 40 токенов, 1,18× (старый токенизатор: 1,29×)
  • Немецкий: 43 токена, 1,26× (старый токенизатор: 1,50×)
  • Русский: 45 токенов, 1,32× (старый токенизатор: 2,15×)
  • Корейский: 49 токенов, 1,44× (старый токенизатор: 2,50×)
  • Японский: 61 токен, 1,79× (старый токенизатор: 2,21×)
  • Украинский: 64 токена, 1,88× (старый токенизатор: 3,15×)
  • Польский: 64 токена, 1,88× (старый токенизатор: 2,12×)
  • Чешский: 68 токенов, 2,00× (старый токенизатор: 2,59×)
  • Греческий: 70 токенов, 2,06× (старый токенизатор: 4,94×)
  • Панджаби: 83 токена, 2,44× (старый токенизатор: 7,41×)

Полная таблица по всем 41 языкам: https://tokensave.app/blog/token-cost-by-language

Что меня удивило

1. Русский подешевел почти вдвое. На токенизаторе эпохи GPT-4 (cl100k) тот же промпт стоил 2,15× от английского, сейчас — 1,32×. Если вы считали бюджет по старым прикидкам «русский в два раза дороже», пересчитайте.

2. Украинский стоит заметно дороже русского. Алфавит почти тот же, но украинский — 1,88×, на 42% больше токенов, чем русский. Токенизатор видел гораздо больше русских текстов, поэтому русские слова чаще кодируются целиком, а украинские режутся на куски:

  • вежливый → в | еж | лив | ый
  • запропонуйте → запр | оп | ону | йте
  • викладіть → вик | ла | ді | ть

3. Дорогие языки — не азиатские. Китайский почти не отличается от английского (1,03×). В хвосте — панджаби, греческий, чешский и польский: языки с богатой морфологией или редким алфавитом.

Сколько это в деньгах

Возьмём модель с ценой $2 за миллион входных токенов и отправим этот промпт миллион раз:

  • Английский: 34 млн входных токенов → $68
  • Русский: 45 млн входных токенов → $90
  • Украинский: 64 млн входных токенов → $128

Это только вход. Если модель отвечает на том же языке, тот же множитель применяется к выходным токенам, а они обычно в 4–5 раз дороже входных. Для сервиса поддержки, который отвечает клиентам по-русски, это примерно на треть больший счёт за API, чем у такого же сервиса на английском.

Как платить меньше

  • Системный промпт и постоянные инструкции пишите по-английски. Они отправляются с каждым запросом, поэтому экономия там максимальная. По-русски оставьте только текст пользователя и просите модель отвечать по-русски.
  • Промежуточные шаги — на английском или в JSON. Классификация, извлечение данных, вызовы инструментов: пользователь их не видит, а токенов они съедают много. По-русски нужен только финальный ответ.
  • Кэшируйте постоянную часть промпта (prompt caching). Кэшированный вход у OpenAI стоит в разы дешевле.
  • Уберите вежливые обороты и воду. «Не могли бы вы, пожалуйста» модели не нужно — это просто токены.

Ограничения

  • Замерен один промпт. На других текстах соотношение может сдвинуться на ±0,1–0,2.
  • Цифры относятся к моделям OpenAI. У Claude и Gemini другие токенизаторы.
  • Переводы сделаны на основе машинного перевода и проверены.

Проверить свой текст

Я сделал бесплатный счётчик, который считает токены и стоимость прямо в браузере (текст никуда не отправляется) и показывает, во сколько раз ваш текст дороже того же смысла по-английски. Кнопка «Сэкономить токены» чистит пробелы, переводит текст на английский прямо на устройстве (в Chrome) и убирает лишние слова: https://tokensave.app/ru/

А на каком языке у вас системные промпты — и замечали ли вы разницу в счетах?

11