Почему модели искусственного интеллекта не могут обобщать как люди

Почему модели не могут обобщать так же, как люди?

Имхо это центральный вопрос очень вдумчивого и оттого суперинтересного нового интервью Ильи Суцкевера. И именно ответ на этот вопрос - путь к очень мощному AI. Спойлер - ответа он не дал, но намекнул пути поиска.

Вот что я вынес для себя:

1) Текущие модели много всего умеют, но они очень плохо обобщают - по сравнению с человеком:

2) Почему? Кейс 2х студентов, первый из которых тратит 10000 часов на подготовку к спортивному программированию, а 2й - скажем, 100 часов. У кого из них будет лучше карьера? У второго. Почему? Потому что он не слишком затюнен под спортивное программирование, которое не имеет много общего с ежедневной работой.

3) Интересные размышления про функцию эмоций у людей, что, возможно, это некоторый компрессионный механизм, который "изобрела" эволюция, чтобы помогать людям принимать решения. Коррелирует с этими моими мыслями про память и про влияние эмоций, и последующим обсуждением в комментах.

4) Прикольно, как он высказался про scaling и как "слово влияет на мышление" (я как раз говорил об усиливающемся взаимовлиянии языка и мысли на лекции по мотивам этого HLAMT поста ): когда все поняли, что это работает, то ринулись это делать. Новые подходы к решению задачи, в основном, прекратились, все просто вкладывают больше денег в больше компьюта. Илья считает, что это путь к коммодитизации, что все модели в том или ином смысле одинаковы.

В эту же тему, что AGI как термин был сформулирован как противопоставление narrow AI.

5) Из-за этого он делает важный поинт, что лидирующие AI лаборатории вероятно будут показывать хорошую выручку, но не прибыль, потому что им сложно будет дифференциироваться с текущими более менее похожими моделями (см предыдущий пункт). Конкуренция ведет к дифференциации, поэтому наверное будет уход в специализацию.

6) У Ильи и SSI есть идеи, как ответить на вопрос в заголовке поста. Но, и он явно сетует по этому поводу, в современных реалиях открыто эти идеи не могут обсуждаться: из за конкуренции, безопасности и других соображений. Имхо это четкий сигнал новой фазы гораздо более закрытого ML ресерча.

7) Мне понравилось его мысль, что AGI это не финальное состояние - AI, которые умеет делать все, что человек - а скорее некий базовый learner с алгоритмом обучения, алгоритмом обобщения, как у людей. И это нечто можно направить научиться любой штуке, как и человека. Его прогноз: 5-20 лет.

8) Если у каждого из нас будет такой персональный AGI, то что будет? Да, сначала будет универсальный высоки доход, AI будет нашим агентом/представителем, все будет делать за нас, мы только будем подбадривать. НО, и этот исход не нравится Илье, тогда человек перестанет быть участником, развалятся многие институты, что мы создали. Мы потеряем свою агентность. Чтобы этого избежат - чтобы не потерять свою агентность и быть соучастником процессов - нам придется прийти к некой "киборгизации" человека —> какая-то сильно продвинутая версия нейролинка, когда AGI, научившись тому, что вы его попросили, сможет одним разом сгрузить вам все это напрямую. Илье не нравится это решение, но кажется, что это единственное решение для устойчивого долгосрочного равновесия.

9) Интересные размышления по поводу того, каким образом эволюция "запекает" в нас такие высокоуровневые концепты как желание нравиться другим или путь к самореализации. Каким-то неведомым образом эти концепты есть в ДНК, и мы сильно дорожим другими, и без ответ на этот вопрос нам будет достаточно тяжело решить задачу alignment-а человека и AI.

Подписывайтесь на Telegram EDU.