FractalGPT: появилось второе демо с алгоритмом фрактального синтеза ответа
Мы с командой разрабатываем FractalGPT - проект самообучающегося ИИ на базе больших языковых моделей(LLM) и логического вывода (reasoning). В этой статье мы расскажем о разработанном нами новом подходе…
2.5K2.5K показов
1.1K1.1K открытий
11 репост
Мне кажется современные ИИ идут по тупиковому направлению.
Да в плане генерации они показывают выдающиеся результаты, но при этом не приближаются к пониманию того что они генерируют.
Общий ИИ мог бы быть многослойным и модульным, попробую объяснить вкратце.
Базовым слоем может быть единая база токенов, в человеческом понимании это определения или смысл различных слов или метаязык. Вот там как раз подойдет фрактальная структура, когда более общее понятие "фрукт" раскрывается на частные "яблоко" и т.д.
Вспомогательным слоем может быть база конкретного языка, которая вносит дополнительные связи между словами и смыслом, позволяет различать "лук" как растение или оружие, дополняет слова родами и прочими специфичными вещами.
Дальше идет слой знаний, который содержит определенные зависимости между смысловыми токенами. При этом тут нет прямого разграничения между фактами и вымыслами, скорее это все возможные вероятности связей.
И отдельно идет слой который фиксирует некоторое представление или контекст, добавляя метки к связям, "правдивый" / "выдуманный", определяет временной (когда) или пространственный (где) контекст.
Как это должно работать вместе:
- загружаем все доступные текстовые знания на всех языках, когда база определений наполнилась запускаем обратный процесс дообучая сеть-переводчик с конкретного языка на метаязык максимально точно различать смысл текста
- после этого все последующие сети оперируют токенами метаязыка, параллельно метатексты переводятся на все доступные языки и выдаются на проверку и корректировку носителям языка
- слой знаний сформированный в процессе загрузки постепенно может выискивать пробелы в связях, по сути это путь к исследованию мира и генерации открытий
- контекстные слои уже могут включать классические принципы и подходы к верификации знаний, логические проверки и доказательства и прочее, при этом влияя на силу связей в слое знаний
У вас половина текста хорошая и верная с точки зрения идеи иерархии, и способов обучения с помощью non-supervised - о том, что нужно давать более структурированные данные, об этом есть работы.
Также есть работы по внедрению knowledge graph в нейросетки.
https://www.youtube.com/watch?v=oifFhoqmWso&t=2s
А вот до понимания того, что сетки генерируют еще довольно далеко, тк это требует сознания.