100 триллионов токенов не врут: вся правда о состоянии AI
Вышло фундаментальное исследование того, что люди пишут в нейросети. Ребята из OpenRouter (главный мировой хаб интеграций с нейросетями) и a16z (главный инвест-фонд в ИИ-стартапы) проанализировали 100 триллионов токенов реальных запросов к моделям. Для понимания объема: весь API OpenAI за октябрь обработал 8,6 трлн токенов. То есть выборка более чем здоровая.
Главное из исследования:
– Эра «думающих» моделей: после выхода OpenAI o1 в декабре 2024 рынок прошел точку невозврата. Индустрия мигрировала от простой генерации текста к моделям, способным рассуждать. На такие модели сейчас приходится более 50% всего мирового трафика.
– Кризис маленьких моделей: сегмент компактных моделей (<15B параметров) умирает. Рынок консолидировался вокруг «среднего класса» (15-70B), где лидируют решения вроде Qwen2.5 Coder 32B. Именно они обеспечивают оптимальный продукт маркет фит.
– Взрывной рост памяти: в задачах разработки средний размер промпта превысил 20 000 токенов (это примерно 30–40 страниц печатного текста А4). Разработчики больше не отправляют фрагменты кода — в контекст загружаются целиком репозитории и техническая документация.
– Нишевое доминирование Open Source: открытые модели уверенно держат первенство благодаря эффективности. a16z особенно выделяют DeepSeek R1 и Kimi K2 - эти модели становятся главными альтернативами проприетарным гигантам в задачах кодинга и аналитики.
– Агенты вместо чат-ботов: «Агентский инференс» - самый быстрорастущий сценарий использования. Модели перестают быть собеседниками и становятся функциональными узлами, которые сами планируют шаги и используют внешние инструменты (tool use).
– Китай наступает: более 50% трафика генерируется за пределами США. Китайские модели демонстрируют агрессивный рост, зачастую превосходя западные аналоги в задачах перевода и кодинга.
– Эффект «Хрустальной туфельки»: выявлен устойчивый поведенческий паттерн. Если пользователь находит модель, идеально решающую его специфическую задачу, он показывает высокий retention и игнорирует выход новых, более распиаренных моделей.
Итого: рынок повзрослел. Период экспериментов закончился. Наступила эра глубокой интеграции: сейчас востребованы надежность, способность переваривать огромные объемы данных и сложное многоступенчатое планирование.
Подписывайтесь на Telegram Егошин | Кеды профессора.