Тупик масштабирования: почему ведущие эксперты ИИ считают, что мы идём не туда

Последние пару лет мы все наблюдаем настоящий бум вокруг искусственного интеллекта. Новости о нейросетях появляются буквально каждый день, а крупные компании словно соревнуются — кто больше денег вложит в разработку "самой умной" модели. И вот, среди всего этого ажиотажа, появилось исследование, которое заставило меня задуматься.

Ассоциация по развитию искусственного интеллекта (AAAI) опросила 475 настоящих экспертов в области ИИ. Я ознакомился с его результатами и хочу поделиться с вами. Они заставляют задуматься. 76% экспертов считают, что текущий подход — представляющий из себя бесконечное наращивание мощностей — вряд ли приведёт нас к созданию настоящего общего искусственного интеллекта (AGI).

Мы часто слышим от технологических гигантов, что они вот-вот совершат прорыв. А теперь выясняется, что большинство реальных исследователей считают, что мы идём... ну, скажем так, не совсем в том направлении.

Крупнейшие компании тратят невероятные суммы на развитие своих ИИ-систем. Microsoft, например, только на инфраструктуру для ИИ планирует выделить 2025 году 80 миллиардов долларов. Эта цифра даже в голове укладывается с трудом.

А в действительности, исследователи OpenAI в ноябре 2024 года обнаружили, что их новая модель GPT показывает минимальные улучшения по сравнению с предыдущими версиями. То есть, как бы они ни увеличивали размер модели, результат остаётся примерно одинаковым. А в некоторых случаях прогресса нет вообще. При этом руководство технологических компаний продолжает настаивать на своём.

Так, например, генеральный директор Google Сундар Пичаи, признает, что «лёгкие достижения в области ИИ закончились», но тут же добавляет: «Нет причин, почему мы не можем просто продолжать масштабирование».

Мне стало интересно, как обсуждают эту тему в интернете, и я заглянул на Reddit. Оказалось, что многие пользователи восприняли новость о замедлении прогресса ИИ с явным облегчением.

А ещё я достаточно часто встречал вопрос, суть которого: кто будет покупать товары произведенные с использованием ИИ, если ни у кого не будет денег, потому что люди, вытесненные с работы новыми технологиями не будут зарабатывать? Какой смысл в наращивании такого производства?

Действительно, об этом почему-то редко задумываются. Если представить, что ИИ вдруг заменит большинство работников, то кто тогда будет покупателем всех этих товаров и услуг? Что будет с экономикой. Вероятно, нас ждет новое глобальное балансирование рынка.

Большинство компаний смотрят только на свою локальную выгоду здесь и сейчас, не задумываясь о глобальных последствиях. Бизнес пытается оптимизировать ту часть экономики, в которой существует. И если одна компания не будет максимизировать прибыль в краткосрочной перспективе, то другая сделает это и выиграет конкуренцию невзирая на разрушительные последствия в долгосрочной перспективе.

Но не все настроены пессимистично. Многие видят в ИИ не замену человеку, а инструмент повышения эффективности. Некоторые программисты воспринимают нейросеть как своего рода джуна для быстрого воплощения идей. Что касается исследований и сбора информации то: задачи, которые требовали раньше несколько месяцев на подготовку сейчас реализуются на пару тройку дней работы. ИИ — это прежде всего инструмент для конкретных задач, а не путь к AGI.

Самое интересное в исследовании AAAI то, что оно не только критикует — оно рассматривает альтернативы масштабированию.Тут начинается самое любопытное.

Первая альтернатива — Test-time compute. Суть в том, что вместо наращивания размера модели, мы даём ей больше времени на «размышления». Специалисты из OpenAI приводят поразительный пример: «Оказалось, что если бот думает всего 20 секунд над рукой в покере, это даёт такое же повышение производительности, как масштабирование модели в 100 000 раз». Просто дать системе немного подумать способно дать эффект такой же, как от увеличения модели в 100 000 раз.

Вторая альтернатива — Mixture of experts. Китайский стартап DeepSeek предложил архитектуру, которая использует не одну огромную модель, а множество специализированных нейронных сетей — "экспертов" в конкретных областях. Система активирует нужного "эксперта" в зависимости от задачи. Этот подход оказался настолько эффективным, что позволил создать модель, способную конкурировать с западными флагманами при значительно меньших затратах.

Мне это напоминает разницу между одним энциклопедистом, который знает всё обо всём, и командой специалистов в разных областях.

Размышляя над ситуацией вокруг ИИ я невольно вспомнил о концепции "цикла хайпа" от Gartner. Согласно ей, любая новая технология проходит через пять стадий: запуск технологии, пик завышенных ожиданий, падение в «впадину разочарования», «склон просвещения» и, наконец, «плато продуктивности». По оценке Gartner от ноября 2024 года, генеративный ИИ уже миновал пик ожиданий и сейчас скатывается вниз.

Пока я прихожу к неоднозначным выводам. С одной стороны, 76% экспертов считают, что мы идём в тупик. Но с другой — есть ведь и 24%, которые с этим не согласны! И история науки знает немало примеров, когда именно меньшинство оказывалось право.

Но всё же, вкладывать десятки миллиардов в подход, который большинство специалистов считает бесперспективным, выглядит несколько рискованно.

Но, пожалуй, главный вопрос даже не в технических деталях. Мне кажется, мы должны задуматься: а зачем нам вообще нужен искусственный общий интеллект? Какую проблему мы пытаемся решить? Ведь даже нынешние системы, далёкие от AGI, уже неплохо справляются со многими конкретными задачами — от медицинской диагностики до генерации текстов и изображений.

Возможно, осознание ограниченности текущего подхода — это то, что нам действительно нужно. Чтобы остановиться и подумать над путем его развития, который учитывал бы не только технические возможности, но и этические, экономические, социальные аспекты.

И знаете что? В я полностью согласен с тем, что технологии должны служить человеку, а не наоборот. И если наращивание параметров моделей действительно упирается в непреодолимый логарифмический предел — что ж, может быть, это не так уж и плохо. Может быть, это заставит нас искать более интересные и, возможно, более человечные пути развития искусственного интеллекта.