История нейросетей и искусственного интеллекта. Часть 2. 1980е-…

Продолжаем рассказывать о истории развития нейросетей! Ранее писал про 1943-1970. Так вот: в 1982 году интерес к этой области возобновился. Джон Хопфилд из Калифорнийского технологического института представил доклад Национальной академии наук...

Его подход заключался в создании более полезных машин с использованием двунаправленных связей нейронов. Раньше связи между нейронами были только односторонними.

В том же году Рейли и Купер использовали «гибридную сеть» с несколькими уровнями, каждый из которых использовал свою стратегию решения проблем.

Также в 1982 году состоялась совместная американо-японская конференция по кооперативным/конкурентным нейронным сетям. Япония объявила о новой работе над нейронными сетями пятого поколения, а американские разработки вызывали опасения, что США могут остаться позади в этой области.

Вычисления пятого поколения включают искусственный интеллект. В первом поколении использовались переключатели и провода, во втором — транзисторы, в третьем — полупроводниковые технологии, такие как интегральные схемы и языки программирования более высокого уровня, а в четвертом поколении — генераторы кода.

В 1986 году, когда в новостях появились сообщения о многослойных нейронных сетях, образовалась проблема: как распространить правило Уидроу-Хоффа на несколько слоев нейронных связей.

Три независимые группы исследователей, в одну из которых входил Дэвид Румелхарт, бывший сотрудник факультета психологии Стэнфорда, выдвинули схожие идеи, которые теперь называются сетями обратного распространения, потому что они распределяют ошибки распознавания образов по всей сети.

Гибридные сети использовали всего два слоя, а эти сети с обратным распространением — множество. В результате оказалось, что сети с обратным распространением являются «медленными учениками», для обучения которых могут потребоваться тысячи итераций.

Сейчас нейронные сети используются в нескольких приложениях, некоторые из которых мы опишем позже. Фундаментальная идея природы нейронных сетей заключается в том, что если они работают в природе, они должны работать и в компьютерах. Однако будущее нейронных сетей заключается в разработке аппаратного обеспечения.

Подобно продвинутым машинам для игры в шахматы, таким как Deep Blue, быстрые и эффективные нейронные сети зависят от аппаратного обеспечения, созданного для их возможного использования.

Исследования, которые концентрируются на разработке нейронных сетей, идут относительно медленно. Из-за ограничений процессоров нейронным сетям требуется минимум несколько недель для обучения.

Некоторые компании пытаются создать так называемый «кремниевый компилятор» для создания интегральной схемы определенного типа, оптимизированной для применения в нейронных сетях. Цифровые, аналоговые и оптические чипы — это разные типы разрабатываемых чипов.

Казалось бы, аналоговые сигналы можно давно уже сбросить со счетов, считая их ушедшими в прошлое. Однако нейроны в мозге на самом деле работают в большей степени как аналоговые сигналы, чем как цифровые.

В то время как цифровые сигналы имеют два различных состояния (1 или 0, включено или выключено), аналоговые сигналы изменяются между минимальным и максимальным значениями.

Однако может пройти некоторое время, прежде чем оптические чипы (кремниевый компилятор) можно будет использовать в коммерческих приложениях.

PS. лайк, пожалуйста, он помогает продвижению статьи, а значит дает мотивацию писать дальше

Ну и как положено на VC, канал телеграм))) Канал и чатик

Туда выкладываю статьи VC и то, что нет в VC. Мысли, идеи, опыт.

В закрепленных канале всегда телеграм боты Kolersky для доступа в ChatGPT, GPT-4 без VPN, а так же генераторы изображений Midjourney, Dall-e, Stable Diffusion (проект KolerskyAI).