Математика, нейробиология и физика XIX века: Нобелевская премия по физике 2024 года

Нобелевская премия по физике 2024 года, вероятно, одна из самых далеких от классической физики. За математические работы Нобелевская премия не выдается, а открытия, имеющие отношение к нервной системе, обычно награждают премией по физиологии или медицине. Тем не менее премия 2024 года оказалась присуждена 91-летнему американскому ученому Джону Хопфилду и 76-летнему англо-канадскому исследователю Джеффри Хинтону за работы, которые сейчас влияют на практически все области науки — от литературоведения и лингвистики до физики, химии, физиологии и медицины. Премия присуждена «за основополагающие открытия и изобретения, сделавшие возможным машинное обучение на основе искусственных нейронных сетей». Рассказываем, что именно открыли и разработали Джон Хопфилд и Джеффри Хинтон.

История нынешней Нобелевской премии начинается с 1940-1950-х годов и тесно связана с открытиями как в физиологии, так и в кибернетике/компьютерных науках. В середине XX века совпали две вещи.

Во-первых, нейробиологи накопили достаточный объем данных. В науке сложилось представление о том, как в целом работает мозг.

● Есть нейроны, которые генерируют потенциалы действия.

● Межнейронная передача сигналов осуществляется в синапсах, которые меняют свою силу связи в зависимости от обучения.

Это очень упрощенное представление картины, в которую внесли свой вклад сотни ученых и более десяти нобелевских лауреатов. Сейчас ученые понимают, что тогдашняя картина была очень примитивной и во многом неверной. Тем не менее для того времени это были значительные достижения. Параллельно с достижениями в области нейробиологии появились первые электронные вычислительные машины.

«В 1940-х годах исследователи начали рассуждать о математике, лежащей в основе сети нейронов и синапсов мозга. Еще одна часть головоломки появилась в психологии благодаря гипотезе нейробиолога Дональда Хебба о том, как происходит обучение, поскольку связи между нейронами укрепляются, когда они работают вместе. Позже за этими идеями последовали попытки воссоздать, как функционирует сеть мозга, путем создания искусственных нейронных сетей в качестве компьютерного моделирования. В них нейроны мозга имитируются узлами, которым присвоены разные значения, а синапсы представлены соединениями между узлами, которые можно усилить или ослабить. Гипотеза Дональда Хебба до сих пор используется как одно из основных правил обновления искусственных сетей посредством процесса, называемого обучением», — отметил Нобелевский комитет.

В 1957 году нейрофизиолог и кибернетик Фрэнк Розенблатт предложил самую первую нейросеть — или кибернетическую модель мозга, которую автор назвал перцептроном. В этой модели были рецепторы — элементы-датчики, ассоциативные элементы и выходы. Перцептрон позволял создать набор «ассоциаций» между входящими стимулами и реакциями на выходе. Годом позже Фрэнк Розенблатт опубликовал статью «Перцептрон: Вероятностная модель хранения и организации информации в головном мозге».

Примерно десять лет нейросети бурно развивались и вызывали очень большой интерес в науке, который в том числе держался и на таланте Розенблатта как промоутера. Все ждали прорывов. Однако вместо этого на рубеже 1960-х и 1970-х развитие ИИ внезапно замедлилось, а сама область подверглась критике:

● В 1966 году случился большой провал в области машинного перевода — оказалось, что машинный перевод дороже, хуже и медленнее, чем человеческий перевод.

● В 1969 году вышла книга Марвина Минского и Сеймура Пейперта «Перцептроны», в которой авторам удалось показать фундаментальные ограничения возможностей предложенных Розенблаттом перцептронов.

● В 1973 году британский математик Джеймс Лайтхилл подготовил для британского Совета по научным и инженерным исследованиям отчет, в котором крайне пессимистично оценил перспективы развития искусственного интеллекта, особенно в сфере перевода и робототехники.

Каскад неудачных опытов и негативных мнений привел к тому, что финансирование исследований в области ИИ в США и Великобритании оказалось значительно сокращено. Этот период современные историки науки называют «Зимой искусственного интеллекта». Новой «весны» пришлось ждать до 1980-х.

До 1980-х годов Джон Хопфилд, лауреат Нобелевской премии 2024 года по физике, исследовал физику твердых тел, электромагнитное излучение и применение физических методов для изучения теоретических проблем молекулярной биологии. С 1964 года он был профессором физики в Принстонском университете. Однажды коллеги пригласили его на встречу, посвященную нейронаукам. Хопфилд оказался очарован тем, что узнал, и начал думать о динамике простых нейронных сетей. Его идеи исходили из того, что при совместной работе нейроны могут быть значительно эффективнее, чем по отдельности.

В 1980 году Хопфилд уволился из Принстонского университета и стал профессором химии и биологии в Калифорнийском технологическом институте в Пасадене. Там ученый получил доступ к компьютерным ресурсам, которые мог использовать для свободных экспериментов и развития своих идей о нейронных сетях.

Тем не менее физику Хопфилд не забросил. Важным для его работ оказалось знание того, как системы со множеством мелких компонентов, которые работают вместе, могут приводить к новым и интересным явлениям. Хопфилду помогало то, что он узнал о магнитных материалах, которые обладают особыми характеристиками благодаря своему атомному спину — свойству, которое делает каждый атом крошечным магнитом. Спины соседних атомов влияют друг на друга; это позволяет образовываться комплексам со спином в одном направлении, что и наделяет материал магнитными свойствами. Хопфилд сумел построить модель сети с узлами и соединениями. Он использовал знания из физики, которая описывали, как на два материала влияют взаимные вращения. Эта сеть, появившаяся в 1982 году, получила название сети ассоциативной памяти («сеть Хопфилда», «Hopfield network»). Ее можно сравнить с попытками человека вспомнить слово, цепляясь за фрагменты образов.

Сеть, созданная Хопфилдом, состоит из узлов, которые соединены между собой связями разной силы. Каждый узел может хранить свое значение. Сеть Хопфилда программируется путем подачи изображения на узлы, которым присваивается значение черного (0) или белого (1). Когда в сеть подается другое изображение, система анализирует каждый узел и проверят, больше или меньше энергопотребление новой сети. Если энергия уменьшается, то черный пиксель меняет цвет и становится белым. Так продолжается до тех пор, пока снизить энергопотребление не окажется невозможным, то есть все черные пиксели, которые могут изменить цвет, не станут белыми. В этот момент сеть часто воспроизводит исходное изображение, на котором она была обучена. Эту систему можно сравнить с катанием мяча по неровной поверхности: сеть-«мяч» ищет самую глубокую «долину» энергетического ландшафта.

«Допустим, у вас есть набор наблюдений, например картинок. Каждая картинка описывается каким-то набором признаков. Это могут быть, например, цвета пикселей. Хопфилд с коллегами разработал такую нейросеть, которая работает как ассоциативная память, то есть может хранить заданную выборку изображений и восстанавливать изображения, подобные им. Разработанная Хопфилдом нейросеть — динамическая, в процессе работы динамика такой нейросети сходится к одном из положений равновесия, которые и соответствуют запомненным наблюдениям», — пояснил Евгений Бурнаев, руководитель центра прикладного искусственного интеллекта Сколтеха и ведущий научный сотрудник Института AIRI.

Метод Хопфилда оказался особенным, потому что несколько изображений могли быть сохраняемы одновременно, и сеть могла различать их.

Сеть Хопфилда можно использовать для воссоздания данных, содержащих шум или которые были частично стерты.

Примерно в это же время в Англии работал Джеффри Хинтон. Ранее он изучал экспериментальную психологию и искусственный интеллект и задавался вопросом, могут ли машины научиться обрабатывать шаблоны аналогично людям, находя свои собственные категории для сортировки и интерпретации информации. Вместе со своим коллегой Терренсом Сейновски, Хинтон начал с сети Хопфилда и расширил ее, чтобы создать что-то новое, используя идеи статистической физики.

Состояния, в которых могут совместно существовать отдельные компоненты, могут быть проанализированы с помощью статистической физики. При этом может быть рассчитана вероятность их возникновения. Некоторые состояния более вероятны, чем другие — это зависит от количества доступной энергии.

Количество доступной энергии описывается уравнением физика Людвига Больцмана, который жил в XIX веке. Сеть Хинтона использовала это уравнение. Поэтому новый метод был опубликован в 1985 году под названием «машина Больцмана».

Машина Больцмана обычно создается с двумя разными типами узлов. Информация поступает в одну группу, которая называется видимыми узлами. Другие узлы образуют скрытый слой. Значения и связи скрытых узлов также вносят свой вклад в энергетику сети в целом. В соответствии с уравнением Больцмана о доступной энергии машина находит наиболее вероятные состояния.

Машина Больцмана может совершенствоваться — не на инструкциях, а на примерах. Она обучается, когда обновляются значения в соединениях сети. Это позволяет повысить вероятность появления шаблонов, которые были отправлены на видимые узлы при обучении. Если один и тот же паттерн повторяется несколько раз во время этого обучения, вероятность этого паттерна указывается еще выше. Обучение также влияет на вероятность вывода новых шаблонов, похожих на примеры, на которых обучалась машина.

Обученная машина Больцмана может «увидеть» знакомые черты в информации, которую она ранее не видела.

«Представьте, что вы встретили брата или сестру друга, и вы сразу поймете, что они, должно быть, родственники. Аналогичным образом машина Больцмана может распознать совершенно новый пример, если он относится к категории, содержащейся в массиве, на котором ее обучили, и опознать его, отделив от примера, который в эту категорию не входит», — пишут авторы релиза Нобелевского комитета.

В своем первоначальном виде машина Больцмана довольно неэффективна, и на поиск решений уходит много времени. Однако Хинтон продолжил ее совершенствовать. Более поздние версии были сокращены, поскольку ученые удалили соединения между некоторыми блоками. Это сделало машину более эффективной.

Идеи Хинтона по сокращению машины Больцмана сегодня отражаются в существовании двух видов генеративных нейросетей. Есть большие модели, включающие в себя множество данных из разных сфер, и облегченные (специализированные), которые тренируются на данных из ограниченной области и тем самым становятся легче, сохраняя эффективность.

«В резюме премии указывается, что основная заслуга Хинтона не в этом, а в том, что задолго до этого он придумал машину Больцмана. Это также некоторый вид стохастический рекуррентной (динамической) нейросети, которая позволяет моделировать распределение многомерных наблюдений (например, изображений) и может рассматриваться как модель некоторых физических систем, например спиновых стекол», — рассказал Евгений Бурнаев.

Машина Больцмана — не единственное достижение Джеффри Хинтона. «Исходя из своей “физической” интуиции Хинтон и коллеги поняли, что если наращивать количество слоев у нейронной сети, то она будет эффективнее выделять признаки из данных и, соответственно, лучше распознавать изображения. Так коллективу под руководством Хинтона удалось в разы повысить эффективность классификации изображений.

Собственно, с этого момента появилось и закрепилось понимание, что чем больше слоев, тем эффективнее можно выделять из данных какие-то универсальные признаки, и далее началась новая волна развития искусственного интеллекта. Сегодня уже есть и определенные теоретические обоснования этого наблюдения», — отметил Евгений Бурнаев.

Исследования Хопфилда и Хинтона не обеспечили безоблачное будущее искусственному интеллекту. В конце 1980-х и начале 1990-х годов отрасль столкнулась с новой «зимой». Она была связана с крахом лисп-машин (вычислительных машин, работавших на языке Лисп), сокращением расходов на исследования в области ИИ и упадком так называемых «экспертных систем» (систем, которые могли бы частично заменить человека-эксперта при решение определенных вопросов).

Тем не менее работы Хопфилда и Хинтона заложили основу для современного развития нейросетей. Их достижения сегодня в том числе определяют «лицо» науки. «Работа лауреатов уже принесла огромную пользу. В физике мы используем искусственные нейронные сети в широком спектре областей, таких как разработка новых материалов с определенными свойствами», — отметила Эллен Мунс, председатель Нобелевского комитета по физике.

Присуждение Нобелевской премии по физике за открытия, которые кажутся скорее математикой, вызвало споры в научном сообществе.

«Некоторые коллеги не понимают, почему Хопфилду и Хинтону дали Нобелевскую премию — мол, при чем тут физика? Здесь есть, как мне представляется, несколько моментов. С одной стороны, разработанные Хопфилдом и, далее, Хинтоном принципы работы и архитектуры упомянутых динамических нейросетей, как посчитал комитет премии, значительно продвинули развитие науки в области искусственного интеллекта. С другой стороны, Хопфилд и Хинтон все-таки использовали физические подходы к моделированию в своей работе. Физики описывают какой-либо объект и его эволюцию с помощью определенного числа параметров и системы уравнений. Разработчики искусственного интеллекта работают по таким же принципам, просто используют не физические объекты, а наборы зрительных, текстовых или каких-нибудь других данных. Поэтому какая разница, измеряете вы данные какого-то объекта реального мира в ходе физического эксперимента или анализируете, например, данные, поступающие из интернета? Конечно, все же эти работы значительно связаны скорее с прикладной математикой и математическим моделированием. И по этой причине и возникают вопросы у научной общественности — математикам-то премию не дают! Полагаю, что логика комитета в значительной степени примерно такая же, как и в случае с премиями по экономике, которые присуждаются математикам за открытия, которые имеют потенциальные приложения в различных экономических моделях», — рассказал Евгений Бурнаев.

Следите за событиями в сфере ИИ на национальном портале в сфере ИИ – ai.gov.ru.