История нейросетей и искусственного интеллекта.Часть 1. С 1943-1970-е гг

Нейросети и искусственный интеллект, которые сейчас так популярны, начали свое развитие в 1943 году. Давайте изучим древний период этих самых сетей (до 1970-х годов).

В 1943 году нейрофизиолог Уоррен МакКаллох и математик Уолтер Питтс написали статью о том, как работают нейроны. Чтобы описать, как могут работать нейроны в мозге, они смоделировали простую нейронную сеть с использованием электрических цепей.

В 1949 году Дональд Хебб написал «Организацию поведения», работу, в которой указал на тот факт, что нейронные цепи укрепляются каждый раз, когда они используются, — концепция оказалась фундаментально важной для разработки более эффективных способов обучения людей. Он утверждал, что если два нейрона возбуждаются одновременно, связь между ними усиливается.

Первые модели нейросетей

По мере того, как в 1950-х годах компьютеры становились все более совершенными, наконец стало возможным смоделировать гипотетическую нейронную сеть.

Первый шаг к этому сделал Натаниэль Рочестер из исследовательской лаборатории IBM. К несчастью для него, первая попытка сделать это не удалась.

В 1959 году Бернард Видроу и Марсиан Хофф из Стэнфорда разработали модели под названием «ADALINE» и «MADALINE».

Стэнфорд любит аббревиатуры, расшифровка такова: ADAptive LINear. ADALINE был разработан для распознавания двоичных шаблонов.

Напрмер, если он считывал потоковую информацию (в битах) с телефонной линии, он мог предсказать следующий бит, очень примитивно, конечно.

MADALINE же была первой нейронной сетью, примененной для решения реальной проблемы. С помощью адаптивного фильтра, она могла устранять эхо на телефонных линиях.

Хотя система этой нейросети по современным меркам просто древняя, она до сих пор применяется в некоторых предприяьиях.

В 1962 году Уидроу и Хофф разработали процедуру обучения, которая проверяет значение до того, как «вес» скорректирует его (т.е. 0 или 1) в соответствии с правилом: Изменение веса = (значение строки до взвешивания) * (Ошибка / (Количество входов)) .

Он основан на идее, что хотя один активный персептрон может иметь большую ошибку, можно настроить значения весов, чтобы распределить ее по сети или, по крайней мере, на соседние персептроны.

К слову, персептрон - это математическая или компьютерная модель восприятия информации мозгом (кибернетическая модель мозга).

Применение этого правила по-прежнему приводит к ошибке, если строка перед весом равна 0, хотя в конечном итоге это не имеет сильного значения. Если ошибка сохраняется, то вся она распределяется на все веса и устраняется сама собой.

Несмотря огромный успех нейронных сетей в будущем, в тот момент традиционная архитектура фон Неймана захватила вычислительную сцену, а нейронные исследования остались позади. По иронии судьбы сам Джон фон Нейман предложил имитировать нервные функции с помощью телеграфных реле или электронных ламп.

В тот же период времени была написана статья, в которой писалось, что не может быть расширения от однослойной нейронной сети до многослойной нейронной сети. Кроме того, многие люди в этой области использовали функцию обучения, которая была в корне несовершенной, поскольку ее нельзя было дифференцировать по всей линейке.

В результате исследования и финансирование резко сократились. Это было связано с тем фактом, что ранние успехи некоторых нейронных сетей привели к преувеличению их потенциала, особенно с учетом практических технологий того времени. Обещания оставались невыполненными, а временами более серьезные философские вопросы приводили к страху. Эти же философские вопросы воцарили в мире снова в 2023, но уже ничто не затормозит развитие искусственного интеллекта, как видится.

Писатели размышляли о влиянии так называемых «мыслящих машин» на людей. Но все же, идея компьютера, который сам себя программирует, очень привлекательна.

Если бы Windows Vista мог перепрограммировать себя, он мог бы исправить тысячи ошибок, допущенных программистами и избежать убытков Microsoft. Такие идеи были привлекательными, но очень трудными для реализации.

Кроме того, набирала популярность архитектура фон Неймана. В этой области было несколько достижений, но по большей части исследования были немногочисленными и редкими.

В 1972 году Кохонен и Андерсон независимо друг от друга разработали похожую сеть, о которой мы поговорим позже. Они оба использовали матричную математику для описания своих идей, но сами не понимали, что то, что они делали, было созданием массива аналоговых схем ADALINE.

Предполагалось, что нейроны активируют целый набор выходов информации, а не один. И на основе этих доводов была создана первая многоуровневая сеть в 1975 году. Эта сеть уже была неконтролируемой, как современные.

Продолжим позже…

PS. лайк, пожалуйста, он помогает продвижению статьи, а значит дает мотивацию писать дальше

Ну и как положено на VC, канал телеграм))) Канал и чатик

Туда выкладываю статьи VC и то, что нет в VC. Мысли, идеи, опыт.

В закрепленных канале всегда телеграм боты Kolersky для доступа в ChatGPT, GPT-4 без VPN, а так же генераторы изображений Midjourney, Dall-e, Stable Diffusion (проект KolerskyAI).