Индустрия искусственного интеллекта оказалась в заложниках у экстенсивной модели роста. Базовая архитектура трансформеров, опирающаяся на механизм самонаблюдения и вычисления с плавающей запятой, достигла физических и термодинамических пределов масштабирования. Попытки удержать растущий контекст приводят к квадратичному росту вычислительной сложнос…