Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам.
Среди рецензентов - автор FlashAttention Три Дао.
🌟 WASTE: запускаем полную Kimi K3 на MacBook Pro с 64 ГБ памяти
• Пока мир следит за конкуренцией LLМ (привычные всем языковые модели: chanGPT, Gemini и т.д.), скрытая борьба идёт за обычные вычисления. За способность Al быстро и постоянно отвечать на запросы. За инференс (процесс применения обученного AI для конкретного использования).
NVIDIA придумала новый метод обучения моделей-оркестраторов, которые эффективно вызывают тулзы и LLM для решения любых задач. Метод окзался настолько крут, что на бнчмарках типа Humanity’s Last Exam (HLE) — обогнал GPT-5 (замеряли раньше выхода Gemini 3 и GPT-5.1).