Вышла Mercury 3 со скоростью больше тысячи токенов в секунду
Mercury 3 — диффузионная языковая модель. Если говорить упрощённо, она генерирует весь текст сразу, а не токен за токеном слева направо. Благодаря этому скорость генерации выше, чем у обычных LLM.
По внутренним тестам она сопоставима с GPT-6 Luna и Haiku 5.5, при этом работает в 4–8 раз быстрее. Заявленная скорость — 1 068 токенов в секунду, контекст — миллион токенов.
Модель рассчитана на задачи, где важен быстрый ответ: голосовых помощников, обучение, поддержку клиентов и агентов, которые работают в браузере. Партнёры Inception уже используют её в таких сценариях.
Цена в API — 0.20 доллара за миллион входных токенов и 0.70 доллара за миллион выходных. На старте действует скидка 50% от этой цены. Первые 100 миллионов токенов дают бесплатно.