Агентность, агенты и рЭволюция ИИ… мама, где мы?

Представьте себе зарождение жизни, когда человек как интеллектуальная система только начинает развиваться.

Эмбрион - это зачаток жизни, в котором пока доминирует реактивность.

Каждая клетка действует строго по генетической программе, реагируя на биологические сигналы. Эмбрион еще не обладает ни адаптивностью, ни автономностью в классическом понимании — его поведение полностью определено заложенными генетическими алгоритмами и в некоторой степени внешними стимулами. Однако в этом процессе уже формируется фундамент для дальнейших этапов: строятся нейронные связи, закладываются основы будущей автономной работы органов (пока только органов!).

Когда эмбрион превращается в плод, начинают проявляться зачатки адаптивности. Например, плод учится реагировать на повторяющиеся стимулы: он привыкает к звуку голоса матери, может изменять свое поведение в зависимости от окружающих условий. Это напоминает, как ИИ-система адаптируется к специфике данных, на которых она обучается. Адаптивность позволяет организму или системе лучше приспосабливаться к среде, но при этом они еще не обладают полной автономностью - их действия всё так же остаются реактивными и зависят от внешних факторов.

Теперь представим ребенка, который только что появился на свет. В тоже время, его поведение по-прежнему преимущественно реактивно: он плачет, когда голоден, и улыбается в ответ на знакомое лицо. Тем не менее, автономность уже начинает проявляться: ребёнок учится самостоятельно сосать грудь, регулировать дыхание, следить за движущимися объектами. Это еще не осознанные действия, но они демонстрируют, что организм больше не полностью зависит от внешней среды. Как минимум, рождение это шаг в полную физическую автономность, в то время как в поведении проявляются лишь зачатки будущей автономии.

Через некоторое время ребенок начинает подстраиваться под окружающий мир: тянет ручки к игрушке, экспериментирует с разной интонацией плача, чтобы привлечь внимание. Это продолжает развиваться адаптивность, поведение становится гибким, а результаты действий начинают влиять на дальнейшее развитие.

Благодаря адаптивности ребёнок постепенно достигает нового уровня автономности: он способен целенаправленно изучать предметы, взаимодействовать с ними, исследовать мир без постоянной подсказки извне.

И, наконец, наступает переломный момент: ребенок сам формулирует цель. Например, он решает построить башню из кубиков или найти спрятанную игрушку. Это лишь первый шажог к проактивности — способности действовать не потому, что побуждает внешний стимул, а потому, что появляется внутренняя мотивация.

Проактивность это вершина эволюции поведения, когда действия основываются на осознанном целеполагании и инициативе.

Именно этот процесс, заложенный в природе, мы сейчас наблюдаем и в технологиях развития ИИ. Но чтобы ИИ-системы стали проактивными, им предстоит пройти этот путь, либо эволюционно, либо революционно, продемонстрировав экспоненциальный рост, который мы в общем то и наблюдаем в последние несколько лет.

Не смотря на то, что ИИ-системы, такие как ChatGPT, демонстрируют впечатляющие способности: поддерживают диалоги, генерируют вроде как осмысленные тексты, помогают решать сложные задачи, они все еще находятся на стадии, аналогичной стадии плода - реагируют на внешние стимулы и проявляют зачатки адаптивности, но полностью зависят от внешнего управления.

То есть они все еще в большей степени остаются реактивными. Эти системы отвечают на запросы, но не ставят целей. Они подстраиваются под наши потребности, но не проявляют инициативы.

Внимание, здесь будут важные мысли)

Чтобы получить суперинтеллект нам для начала нужна проактивность. Явные признаки проактивности и будут ключевой характеристикой истинной агентности системы.

Цель этой статьи не только уточнить что такое агентность и прояснить базовую терминологию, но и посмотреть на то как ее планируют достичь (спойлер - очень мало информации, только отдельные намеки) и пробежаться по основным трендам в существующих подходах.

Итак, чтобы система (биологическая или ИИ) перешла из реактивного режима в проактивный, и могла проявить истинную агентность, ей нужно пройти через взаимосвязанные процессы развития адаптивности и автономии. Вот здесь как раз и живут все эти промежуточные этапы с последовательным размышлением и попытками планирования, которые демонстрируют самые новейшие модели.

Переход к проактивной фазе и даст новый виток развития ИИ-технологий и систем, которые уже не просто "реагируют", но и автономно/адаптивно "действуют", опираясь не только на внешнее, но и на внутреннее целеполагание.

Еще раз, истинная агентность это такой уровень проявления проактивности, который становится возможен лишь при высоко развитых уровнях адаптивности\автономности.

По мере движения к проактивности систем мы будем отмечать высокие уровни адаптивности\автономности проявленные в продуктовых решениях, которые и будут условно считаться достижением уровня AGI!

А высокий уровень проактивности, как базовый признак истинной агентности системы, помноженный на вычислительные мощности это и есть суперинтеллект.

Вопрос только в том, как долго продлится этот путь: пойдём ли мы по нему эволюционно, шаг за шагом, или революционный прорыв в архитектуре ИИ или тот же скейлинг по Суцкеверу, приведут к этой проактивности систем, и в результате к их истинной агентности? ХЗ, но очень интересно…

Ну и про ИИ-агентов, вы уже наверное и сами поняли, что идея раскидать сложную задачку на несколько ИИ-агентов это хороший способ для решения отдельных прикладных задач, но далеко не факт, что это путь к истинной агентности.

Далее рассмотрим подходы ведущих ученых и их критиков к развитию агентности и в целом эволюции ИИ. Таким образом вы сможете быстро уловить и суть, и основные тренды.

Достижение уровня агентности прямо сейчас является предметом активных дискуссий среди ведущих исследователей. Вот что мне удалось собрать. Дополняйте, если кого-то или что-то упустил.

Илья Суцкевер, сооснователь OpenAI, известен своим убеждением, что увеличение масштабов моделей, включая объем данных и количество параметров, может привести к созданию более совершенного ИИ. Он считает, что такие модели способны проявлять сложное поведение, приближаясь к уровню человеческого интеллекта.

Буквально на днях, на конференции NeurIPS, Суцкевер заявил, что существующие методы обучения ИИ претерпят значительные изменения, сравнив развитие ИИ с эволюцией мозга у гоминид. Он предположил, что искусственный интеллект найдет новые пути масштабирования, становясь менее предсказуемым, но более эффективным.

Суцкевер также отмечает, что в будущем ИИ может стремиться к получению прав и сосуществованию с людьми, подчеркивая непредсказуемость дальнейшего развития технологий. Что вполне понятно для системы превосходящей по уровню интеллекта человека.

Франсуа Шолле, создатель библиотеки Keras, акцентирует внимание на способности систем к генерализации. Он утверждает, что без умения обобщать знания и применять их в новых, ранее не встречавшихся ситуациях, невозможно достичь AGI (искусственного общего интеллекта).

Шолле разработал тест ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence) для оценки способности ИИ к абстрактному мышлению и обучению.

Прохождение теста с результатом выше 85% предложено было считать уровнем “человеческого интеллекта”

Он критически относится к ориентации индустрии на большие языковые модели (LLM), считая, что они неспособны к подлинному «рассуждению» и основаны преимущественно на запоминании, что ограничивает их способность выходить за рамки обучающего набора данных.

Чей подход окажется прорывным, Суцкевера или Шолле?

Это покажет только время, но начну с новости.

Попробуем обобщить и сравнить подходы этих двух ученых мужей.

1. Масштабирование vs. Генерализация: Суцкевер делает ставку на увеличение масштабов моделей, в то время как Шолле подчеркивает необходимость улучшения способности к генерализации и гибкости интеллекта. Я не думаю, что Суцкевер будет с этим спорить, вопрос лишь в том как к этому прийти.

Подход Суцкевера основывается на предположении, что масштабирование нейросетей - увеличение количества параметров и объема данных - неизбежно приведёт к возникновению новых качеств, в том числе к проявлению интеллектуальности, аналогичной человеческой. Эта идея подразумевает, что архитектуры глубокого обучения, включая трансформеры, могут быть упрощенной, но функциональной аналогией биологических нейронных сетей, что делает их пригодными для моделирования сложных когнитивных процессов.

Шолле, напротив, концентрируется на способах измерения и оценки интеллектуальности, утверждая, что текущие архитектуры, такие как трансформеры и большие языковые модели (LLMs), являются лишь высокоэффективными имитаторами человеческих знаний. По его мнению, они не обладают истинным пониманием или способностью к генерализации за пределами данных, на которых были обучены. Шолле считает, что развитие искусственного интеллекта требует создания новых типов архитектур, которые смогут выйти за рамки простой обработки вероятностных корреляций.

2. Непредсказуемость и контроль: Суцкевер отмечает потенциальную непредсказуемость ИИ по мере его развития в такой парадигме, тогда как Шолле акцентирует внимание на необходимости разработки систем с истинной способностью к рассуждению и обобщению, что может способствовать более предсказуемому поведению ИИ. Здесь они больше дополняют друг друга, конфликта не вижу.

Ну и буквально “галопом по европам” чтобы посмотреть на другие значимые идеи по этой теме, от тех людей которые точно достойны нашего внимания.

Ян Лекун, пионер в области глубокого обучения, говорит о важности разработки прогностических моделей мира для достижения истинной агентности в ИИ. Он считает, что системы должны уметь предсказывать последствия своих действий и обучаться на основе наблюдений, подобно тому, как это делают дети. Лекун утверждает, что создание таких моделей позволит ИИ не только реагировать на стимулы, но и планировать действия, что является ключевым аспектом агентности.

Демис Хассабис, сооснователь DeepMind, придерживается подхода, основанного на интеграции знаний из нейробиологии и ИИ. Он считает, что понимание работы человеческого мозга может помочь в создании более совершенных и гибких ИИ-систем. Хассабис подчеркивает важность разработки ИИ, способного к предсказанию и планированию, что является ключевыми аспектами агентности. Он также отмечает необходимость междисциплинарного подхода, объединяющего различные области знаний для достижения прогресса в создании AGI.

Гэри Маркус, когнитивный психолог и исследователь ИИ, критически относится к современным подходам, основанным на больших языковых моделях. Он утверждает, что такие модели недостаточно понимают контекст и не обладают истинной агентностью. Маркус выступает за создание гибридных систем, сочетающих статистические методы с символическим подходом, что, по его мнению, позволит достичь более высокого уровня интеллекта и агентности в ИИ.

Джошуа Бенжио, один из ведущих исследователей в области глубокого обучения, изучает, как ИИ может моделировать сознательную обработку информации, присущую человеческому мозгу. Он считает, что для достижения агентности ИИ должен уметь не только обучаться на больших данных, но и понимать причинно-следственные связи, что позволит ему принимать осознанные решения и адаптироваться к новым ситуациям.

Каренна Шалленбергер, исследовательница в области этики ИИ, акцентирует внимание на необходимости разработки ИИ-систем с учетом этических принципов. Она утверждает, что агентность в ИИ должна сопровождаться встроенными механизмами морального суждения, чтобы предотвратить потенциальный вред и обеспечить ответственное поведение ИИ в обществе.

Кеннет Стэнли, известный своими работами в области эволюционных алгоритмов, предлагает подход открытой эволюции для развития агентности в ИИ. Он считает, что вместо оптимизации под конкретные задачи, ИИ должен развиваться через исследование разнообразных возможностей, что приведёт к появлению более творческих и адаптивных агентов.

Пробуем обобщить и сравнить:

1. Прогностические модели vs. Гибридные системы: Лекун делает акцент на создании прогностических моделей для самообучения, тогда как Маркус предлагает объединить статистические и символические методы для достижения агентности.

2. Нейробиология и этика: Хассабис стремится интегрировать нейробиологические знания в ИИ, а Шалленбергер подчеркивает важность этических аспектов в развитии агентных систем.

3. Эволюционные подходы: Стэнли предлагает использовать эволюционные алгоритмы для развития творческих и адаптивных ИИ-агентов.

Резюмируем, все эти подходы отражают сложность задачи создания ИИ с истинной агентностью, показывают за публикациями каких исследователей надо следить и подчеркивают необходимость многогранного и междисциплинарного подхода к решению.

Это не я, это GPT так резюмировал, но тут я с ним полностью согласен)

Когда случится прорыв и достижение цели? Сложно сказать, оптимистично - конец 2025 года, то есть уже через год, пессимистично 2029 год, то есть через 5 лет.

Продолжаю с огромным интересом наблюдать за эволюцией ИИ.

Буду благодарен за любую обратную связь в комментариях 🙏