Новый убийца нейросетей? Сеть Колмогорова-Арнольда (KANs)
В основе всех привычных нам архитектур нс лежит многослойный перцептрон (MLP) с весами и нейронами, содержащими функции активации.
Исследователи предположили - что, если переместить функции активации на веса и сделать их обучаемыми? Это может показаться необычным, но да, мы можем это сделать.
KAN (Kolmogorov-Arnold Networks) - новая парадигма, в которой ученые реализовали перемещение активаций на "рёбра" сети. Хотя это решение может показаться неожиданным, на самом деле оно тесно связано с математикой, включая теоремы универсальной аппроксимации и аппроксимации Колмогорова-Арнольда.
Не будем углубляться в детали. Главное: KAN работает значительно точнее, чем MLP большего размера, и его результаты лучше интерпретируются. Однако из-за обучаемых активаций обучение KAN требует гораздо больше времени и ресурсов по сравнению с MLP.
Тем не менее, возможно, мы становимся свидетелями зарождения Deep Learning 2.0. Такой подход меняет всё, начиная от LSTM и заканчивая трансформерами."
Все кому интересная эта тема и если вы интересуетесь машинным обучением, залетайте в мой канал, там я опубликую подробности новой архитектуры.
Подтверждаю. KAN на моих данных выдала результат лучше, чем традиционные НС. Но есть и минусы. Например один и тот же jupyter notebook на разных устройствах выдает разные результаты (напримердомашний ноут и colab). Как быть с этим, непонятно.