OpenMythos - open-source попытка теоретически реконструировать Claude Mythos, где все архитектурные ставки расписаны прямо в README.

По сути, OpenMythos это публичная гипотеза, которая ещё и запускается.

Что авторы считают основой Mythos?

Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer.

MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений.

Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза.

ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена.

И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass.

Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing.

GitHub:

http://github.com/kyegomez/OpenMythos