Нейросеть, которая знает, чего не знает: глубокое обучение на гауссовых процессах

Обычная нейросеть выдает одно число и молчит о том, насколько она в нем уверена. Гауссов процесс работает иначе: он задает распределение над функциями, поэтому каждый прогноз идет вместе с честной оценкой неопределенности. Gaussian Process Deep Learning соединяет это свойство с умением глубоких сетей извлекать сложные признаки из данных.

Идея в том, чтобы учить иерархические представления, но при этом сохранить байесовскую непараметрическую природу гауссовых процессов. Deep Gaussian Processes складывают несколько слоев GP друг на друга, и такая конструкция аппроксимирует функции гораздо гибче, чем классический гауссов процесс.

В статистике этот подход дает инструменты для непараметрической регрессии, классификации и оценки неопределенности. В машинном обучении он пригодится для активного обучения, байесовской оптимизации и работы с малыми данными, когда каждый пример на вес золота. А в глубоком обучении методы на основе GP улучшают калибровку, устойчивость и интерпретируемость, а заодно связывают бесконечно широкие сети с ядерными методами.

Особенно ярко это работает в обучении с подкреплением. Оценки неопределенности подсказывают агенту, где стоит исследовать среду, а где уже можно действовать уверенно. Благодаря этому агент принимает решения за меньшее число попыток и быстрее учится.

Общий вывод прост: интеллект требует не только точного прогноза, но и понимания собственной неуверенности. Gaussian Process Deep Learning дает строгую вероятностную рамку, в которой выразительное обучение представлений уживается с честным байесовским рассуждением.