Сила в правде: как мы обучаем альтернативу трансформеру

Нас часто спрашивают: "На каких данных учится Метаболическая Сеть (МСМ)? И сколько параметров могут конкурировать с сотнями миллиардов у топовых LLM?"

Пока считается, что чем больше данных, включая мусор из интернета, съела модель, тем умнее она стала. Но мы не делаем статистического попугая. Мы хотим доказать, что дело вообще не в количестве весов.

У МСМ (модель синтетического мышления) планируется 24 миллиона параметров.

Это не предел её памяти. Это объем доменов знаний, которые она должна усвоить на этапе курированного обучения. Условный уровень "университетского образования".

Мы не заталкиваем в неё все форумы мира. Мы даем ей проверенные междисциплинарные датасеты. Это жесткая, чистая база - и по сути фундамент её картины мира.

Она не предсказывает. Она ассимилирует

Трансформер занимается компрессией: он пассивно жмет текст в вероятности, чтобы угадать следующее слово.

МСМ занимается ассимиляцией. Когда в неё поступают данные, она формирует внутренние смысловые узлы и пропускает их через свой "метаболизм". Она связывает факты друг с другом, понимает контекст через внутренний гомеостаз, выделяет новые данные для самообучения и обновляет картину мира в реальном времени. Как раз этот принцип мы заложили в основу своей патентной заявки.

Прямо сейчас мы её учим, и в ней уже разворачивается механизм самокоррекции и самореференции. Что она делает, если сталкивается со слепым пятном? Она не придумывает ответ и не галлюцинирует. У неё есть инструменты для выхода в интернет. Она идет в сеть, понимая то, чего ей не хватало, находит и оценивает это, самореферирует (соотносит со своей базой и текущим состоянием) и встраивает новую информацию в свою структуру.

Мы учим её переваривать смыслы, а не просто их транслировать.

Attention is all you need vs Ground truth is all you need

Трансформеры говорят: «Attention is all you need». Они считают, что если дать модели достаточно механического "внимания" к огромному объему данных, она сама научится имитировать логику. И они правы: она отлично имитирует. Но имитация — это не понимание. Это просто статистическое эхо терабайтов интернет-мусора, где правда и бред перемешаны в один ком.

Мы в МСМ говорим: «Ground truth is all you need». Нам не нужно механическое внимание ко всему подряд. Нам нужна точка опоры — базовая, математически и логически выверенная истина.

Ground truth - это набор базовых аксиом, истин и физических законов мира, которыми и руководствуется МСМ, общаясь с пользователем. Она не предложит "идти на автомойку пешком, потому что она в 100 метрах", и найдет безрисковый способ выпутаться из сложной ситуации в бизнесе, потому что понимает, как работает мир. А мир работает не на вероятностях и не измеряется терафлопсами.

Поэтому будущее не за теми, кто больше съел. Трансформеры уже захлебываются в собственных галлюцинациях и синтетическом мусоре, который сами же и нагенерировали.

Будущее за теми, кто лучше усвоил. За системами, у которых есть внутренний гомеостаз, способный отличить правду от белого шума.