Одно слово убило нейросети на десять лет

8 июля 1958 года газета "Нью-Йорк Таймс" напечатала статью под заголовком "Новое военно-морское устройство учится в процессе работы". Там было написано, что ВМС США создали электронный компьютер, который сможет "ходить, говорить, видеть, писать, размножаться и осознавать своё существование". Это был один из самых громких заголовков про науку за то десятилетие.

Речь шла о перцептроне - машине, которую сделал 29-летний Фрэнк Розенблатт в Корнельской аэронавтической лаборатории в Буффало.

Пройдёт одиннадцать лет, и один человек поставит на ней крест - математически точно, но с формальным доказательством. Через два года после этого Розенблатт умрёт в день своего 43-го рождения, в лодочной аварии на заливе Чесапик. Его идея вернётся через пятнадцать лет после его смерти и станет основой всего, что сейчас называют глубоким обучением.

Перцептрон Марк I стоял в лаборатории и занимал комнату. Не код, не программа - 400 фотоэлементов на панели 20x20, случайным образом соединённые с 512 ассоциативными нейронами, и 8 выходных единиц. Всё это было аналоговым железом. Веса хранились в потенциометрах, которые меняли сопротивление при обучении - физически, механически, буквально крутились.

Финансировало машину Управление военно-морских исследований США. Контракт Розенблатт получил в 1957-м - флот хотел систему распознавания образов для классификации радарных сигналов. Задача у машины была одна примерно такая - посмотреть на изображение и сказать, к какому классу оно относится. Буква, форма, знак.

Машина смотрела через фотоэлементы, пропускала сигнал через соединения и выдавала ответ. Если ответ был неверным, веса корректировались автоматически по правилу Розенблатта - успех усиливает соединение, ошибка ослабляет. Потом снова. Потом ещё раз. До тех пор, пока не получалось стабильно. Это и было обучением - без явно прописанных правил, без ручной настройки, без участия разработчика после запуска процесса.

Тут, кстати, важный момент. Случайные соединения между фотоэлементами и ассоциативными нейронами были принципиальным решением, а не недоработкой. Розенблатт считал, что жёсткая архитектура не нужна - достаточно правила обучения, и сеть сама найдёт нужные паттерны в данных. В этом он оказался прав полностью. Современные нейросети с их случайной инициализацией весов - прямые наследники этой идеи.

"Ходить, говорить, видеть, писать, размножаться и осознавать своё существование" - это слова представителя ВМС на пресс-конференции, а не самого Розенблатта. Журналист записал их и напечатал. Розенблатт потом говорил, что статья вышла более сенсационной, чем он ожидал, и что некоторые формулировки его удивили.

Но осторожным учёным Розенблатт тоже не был - это важно понимать.

В том же 1958-м он написал в техническом отчёте, что перцептрон является первой машиной, способной иметь оригинальную идею. В лекциях говорил, что создаёт мозг в железе. Гарантировал, что перцептрон решит задачи распознавания, которые казались неразрешимыми. Его пресс-конференции собирали журналистов, публика в Буффало ездила смотреть на машину. Из этого получалось нечто вроде шоу - в лучшем смысле слова.

Он умел продавать идею. Возможно, слишком умел, и это сыграло против него позже.

Его технические работы читались совершенно иначе. Диссертация 1956 года и основная монография "Принципы нейродинамики" 1962 года - строгие документы с чёткими ограничениями, где Розенблатт сам описывал, что однослойный перцептрон не умеет, и в каком направлении нужно двигаться дальше. Монография насчитывала 616 страниц. Её почти никто не читал целиком - тогда, во всяком случае.

Розенблатт и Марвин Минский учились в одной школе. Бронкс Хай Скул оф Сайенс, Нью-Йорк. Минский родился в 1927-м, Розенблатт - в 1928-м, и они пересекались на Гранд-Конкорс минимум год, возможно два. Оба ушли в математику и теорию познания, оба оказались в главных американских университетах, оба стали ключевыми именами в области искусственного интеллекта на следующие двадцать лет.

И разошлись принципиально.

Минский верил в символический подход - логика, правила, дерево вывода, компьютер как машина рассуждений. Прозрачная, объяснимая, управляемая система. Перцептрон с его весами и случайными соединениями казался ему биологическим хаосом. Нельзя объяснить, как именно он пришёл к ответу. Нельзя гарантировать результат на новых данных. Нельзя формально доказать корректность.

С инженерной точки зрения это была разумная позиция. В 1960-х у символических систем была хотя бы прозрачность, и люди, которые их строили, понимали каждый шаг. У нейросетей не было ни прозрачности, ни достаточных вычислительных мощностей, ни больших данных. Минский ждал. Он дождался.

В 1969-м Минский и его коллега Сеймур Пейперт выпустили книгу в издательстве Массачусетского технологического института. Называлась "Перцептроны - введение в вычислительную геометрию". Там было математическое доказательство того, что однослойный перцептрон не способен решить задачу исключающего ИЛИ.

Исключающее ИЛИ - это логическая операция, где входы 0 и 0 дают 0, входы 0 и 1 дают 1, входы 1 и 0 дают 1, а входы 1 и 1 снова дают 0. Результат зависит от комбинации входных сигналов, а не от каждого по отдельности. Однослойная сеть умеет разделять классы прямой линией в пространстве признаков, а исключающее ИЛИ прямой не разделяется - это геометрический факт, который легко визуализируется на бумаге.

Доказательство было верным. Это, кстати, важно зафиксировать отдельно.

Помимо этого, Минский и Пейперт доказали, что однослойный перцептрон не может вычислить связность фигуры на изображении и не может определить чётность количества включённых пикселей. Это реальные ограничения реальной архитектуры, и они были описаны корректно.

Но в книге было одно предложение, которое сделало всю работу. Обсуждая многослойные сети, те, где между входом и выходом есть промежуточные слои, которые как раз и решают проблему линейной неразделимости - Минский и Пейперт написали, что считают продолжение этого пути "скорее всего бесплодным". Это была их интуитивная оценка, прямо так и названная в тексте. Не доказательство.

Слово "бесплодным" осталось в книге. Доказательств за ним не было.

Сообщество прочитало книгу как окончательное закрытие темы. Финансирующие организации прочитали так же. Рецензенты журналов - так же. Один математически верный аргумент против однослойных сетей превратился в общественное убеждение, что нейросети в принципе тупик.

Американское агентство перспективных исследовательских проектов в конце 1960-х сократило финансирование нейросетевых исследований без объявлений - просто перестало одобрять гранты в этом направлении. Деньги пошли в символический подход, специализированные вычислительные машины под него и экспертные системы.

В 1973-м Британский совет по научным исследованиям заказал доклад об искусственном интеллекте математику Джеймсу Лайтхиллу. Лайтхилл специализировался на гидродинамике и к этой области профессионального отношения не имел. В докладе он написал, что ни одна из областей искусственного интеллекта не дала и не обещает дать результатов, соразмерных объёму вложений. Нейросети он разобрал отдельно как направление, дающее комбинаторный взрыв без реальных практических успехов. После доклада британское финансирование упало почти до нуля, за исключением небольшой группы в Эдинбурге.

В США процесс шёл медленнее, но в ту же сторону. К середине 1970-х нейронные сети как термин стали токсичными в заявках на гранты. Джеффри Хинтон, который начинал работать с нейросетями в начале 1970-х, позже рассказывал, что несколько лет описывал направление своих исследований в заявках другими словами - просто чтобы получить финансирование.

Людей, продолжавших работать с нейросетями, в середине 1970-х можно было пересчитать по пальцам двух рук.

Розенблатт умер 11 июня 1971 года - в день своего 43-го рождения. Лодка перевернулась на заливе Чесапик. Подробности аварии остались скудными, точные обстоятельства официально не установлены.

За два года до этого вышла книга Минского. К 1971-му финансирование группы Розенблатта в Корнелле уже сокращалось, последние значимые работы относились к 1967 году. Его исследовательская группа распалась вскоре после его смерти.

"Принципы нейродинамики" - монография 1962 года, 616 страниц - осталась в библиотеках. Там была вся архитектура многослойных сетей, описанная на языке 1960-х, без алгоритма обучения, который потом назовут обратным распространением ошибки. Но с чётким пониманием, что однослойность - не предел и что именно добавление промежуточных слоёв является следующим шагом. Он видел направление правильно. Инструмент появился позже.

С 1971 по 1982-й нейронные сети в академической литературе - почти пустое место. Кривая публикаций по соответствующим ключевым словам уходит вниз резко и остаётся низкой почти десятилетие. Это не образное описание - это буквально то, что видно в библиографических базах данных той эпохи.

Несколько человек продолжали работать. Хинтон перемещался между Эдинбургом, Калгари и Сан-Диего, не имея постоянной позиции. Пол Вербос защитил диссертацию в Гарварде в 1974-м с полным описанием обратного распространения ошибки - её никто не заметил, она осталась в архиве прикладной математики. Стивен Гроссберг в Бостонском университете работал с адаптивными сетями в стороне от основного научного потока.

Символический подход в это время расцветал. Экспертные системы "Майсин", "Экскон" и "Дендрал" работали в реальных задачах. "Майсин" диагностировал инфекции крови точнее среднего врача в стандартных тестах Стэнфорда. Казалось, что путь найден правильный.

Потом оказалось, что экспертные системы масштабируются плохо. Каждое новое правило нужно прописывать вручную, и когда их становится несколько тысяч, система начинает противоречить себе. Людей с нужными знаниями не хватает, перенести знания эксперта в формальные правила оказалось принципиально сложнее, чем предполагалось. К началу 1980-х у символического подхода появились свои проблемы.

В 1982-м физик Джон Хопфилд опубликовал в трудах Национальной академии наук США работу о нейросетях с обратными связями, которые хранят и воспроизводят паттерны как физические системы с минимумами энергии. Это была другая архитектура и другая задача, не перцептрон. Но люди вспомнили, что нейросети существуют.

Дальше - Дэвид Рамелхарт, Джеффри Хинтон и Рональд Уильямс. В октябре 1986-го научный журнал "Природа" опубликовал их статью "Обучение представлений через обратное распространение ошибок". Четыре страницы.

Статья показала, что многослойная нейросеть с одним или несколькими скрытыми слоями между входом и выходом обучается через обратное распространение ошибки. Берёшь ошибку на выходе, передаёшь её назад через каждый слой, применяя правило цепочки из дифференциального исчисления. Один проход назад - и у тебя градиент для каждого веса во всей сети. Ты знаешь, насколько виноват каждый конкретный вес, и можешь скорректировать все сразу.

Первым примером в статье была задача исключающего ИЛИ - та самая, которую Минский в 1969-м использовал как центральный аргумент против нейросетей. Двухслойная сеть с одним скрытым нейроном решает её без вопросов. Минский был прав насчёт однослойных сетей. Слово "бесплодным" оказалось лишним.

Хинтон позже говорил, что часть мотивации писать именно эту статью именно так состояла в том, чтобы показать - "Перцептроны" провели черту не там.

Минский умер в январе 2016-го, в возрасте 88 лет. К тому времени глубокие нейросети выиграли соревнование по распознаванию изображений с разрывом, который шокировал организаторов. Они распознавали речь точнее людей в стандартных тестах, переводили тексты и генерировали изображения. Программа по игре в го в марте 2016-го обыграла Ли Седоля четыре партии из пяти.

Свою позицию Минский особо не менял. Он считал глубокое обучение хорошей инженерией, но не путём к общему интеллекту. В интервью последних лет - скептический. Возможно, справедливо: то, что он критиковал, стало чрезвычайно мощным, но так и не стало объяснимым. Нейросеть 2016-го, как и перцептрон 1958-го, не умела рассказать, почему именно она приняла то или иное решение.

Аргумент о непрозрачности не исчез. Он просто переехал из "нейросети не работают" в "нейросети непонятно как работают". Такое вот смещение.

Розенблатт умер за пятнадцать лет до того, как его архитектура стала основой всей индустрии.

А "Нью-Йорк Таймс" напечатала некролог. Небольшой.