Новый тип ИИ самостоятельно восстанавливается после сбоев и обучается быстрее традиционных моделей
Новая система основана на принципах гомеостаза и саморегуляции, которые позволяют человеческому мозгу поддерживать стабильность и восстанавливаться после перегрузок. По образу и подобию, в общем.
Нейронки всё ещё довольно уязвимы, не физически, но технически: ошибки в данных или нарушение баланса параметров могут привести к «умиранию нейронов» и сбою всей системы, что осложняет обучение моделей.
Исследователи подошли к решению проблемы с другой стороны — не усиливать и усложнять вычисления, а позаимствовать решения у природы. Так появился BioLogicalNeuron — новый архитектурный элемент нейросети, вдохновленный устойчивостью наших с вами биологических нейронов.
Идея заключается в имитации гомеостаза — механизма, с помощью которого мозг регулирует сам себя. BioLogicalNeuron анализирует виртуальный «уровень кальция» — снова как у нас. Если уровень превышен, нейрон активирует процессы самоконтроля — ослабляет чрезмерно сильные связи, усиливает важные и «обрезает» неиспользуемые. Так сеть сама предотвращает перегрузку и сохраняет стабильность.
Новая модель достигла 100% точности валидации всего за три эпохи обучения, тогда как традиционным архитектурам требовалось до 15. Кроме того, новая система сохраняет работоспособность в условиях «грязных» данных. Когда исследователи намеренно добавляли в обучающие выборки шум, производительность модели снижалась в среднем лишь на 8,6%, в то время как у других нейросетей — на 13-17%.
💬 Так и до самообучения и воспроизводства недалеко, хотя успехи впечатляют — модели будут стабильнее работать, а обучение станет дешевле и быстрее.
Подписывайтесь на Telegram Нейрочеловек.