Архитектура памяти на основе нейробиологии
У меня есть добрый знакомый, талантливый идейный белорусский разработчик, Михаил Исаев, который делает вещи, от которых хочется аплодировать. Он решает задачу, о которую спотыкаются все: как научить ИИ работать с большими объемами информации и не терять голову.
Стандартные пути - тупик.
Дообучение модели? Она забывает старое, пока учит новое.
Увеличить контекстное окно? Модель все равно «проваливается» в середине длинного текста, цепляясь только за начало и конец.
Михаил пошел другим путем. Он посмотрел на человеческий мозг и скопировал его архитектуру.
Получилась система, где языковая модель не «мозг», а только речевой центр.
Память разделена на быструю (векторный поиск по смыслу) и глубокую (графы связей между понятиями).
Точно как у нас: сначала вспыхивает интуитивный ответ, потом подтягиваются детали и ассоциации.
Самое изящное: система учится сама. Когда нагрузка падает, она «спит» и обрабатывает накопленные диалоги, переводит их из кратковременной памяти в долговременную. Как мозг во сне. И все это работает локально, на открытых моделях. Никаких данных на чужие сервера.
Для образования, для бизнеса, для госструктур. Мне нравятся люди, которые не ждут, пока большие корпорации решат задачу за них. Михаил просто взял и сделал.
Жду, когда закончит, чтобы проверить на огромном массиве данных. Обязательно расскажу.
Всем здоровья, мира и добра!