Соучредитель OpenAI заявил, что ИИ достигает «пиковых данных», поскольку он приближается к пределам возможностей Интернета

В своем выступлении на конференции NeurIPS пионер искусственного интеллекта и соучредитель OpenAI Илья Суцкевер предупредил, что развитие искусственного интеллекта приближается к пределам доступных данных для обучения.

В то время как вычислительная мощность продолжает расти за счет лучшего оборудования, алгоритмов и более крупных центров обработки данных, Суцкевер объяснил, что данные для обучения не поспевают за ними. Он представил концепцию «пиковых данных», отметив, что «у нас есть только один интернет», и это не изменится.

Сутскевер сравнил данные обучения с ископаемым топливом, отметив, что оба ресурса имеют конечные пределы. Хотя файлы данных можно копировать, в отличие от нефти, беспокойство Сутскевера, вероятно, сосредоточено на другом ограничении: фактических знаниях и инсайтах, которые системы ИИ могут извлекать из этих данных, которые нельзя бесконечно дублировать или расширять.

Оглядываясь на истоки современного ИИ, Суцкевер вспомнил свою «гипотезу глубокого обучения» 2014 года, которая предполагала, что нейронная сеть с десятью слоями может соответствовать любой человеческой задаче, выполняемой за долю секунды. Он выбрал десять слоев просто потому, что это то, что можно было практически обучить в то время.

Гипотеза основывалась на сходстве искусственных и биологических нейронов. Сутскевер утверждал, что если бы искусственные нейроны были хотя бы немного похожи на биологические, большие нейронные сети должны были бы выполнять те же задачи, что и человеческий мозг. Одно ключевое отличие оставалось: в то время как мозг может перенастраивать себя, системам ИИ требуется столько же данных для обучения, сколько у них параметров.

Эта идея зажгла то, что Суцкевер называет эрой предварительной подготовки, что привело к появлению таких моделей, как GPT-2 и GPT-3. Он отдал должное своим бывшим коллегам Алеку Рэдфорду и основателю Anthropic Дарио Амодеи за продвижение этого прогресса. Однако теперь Суцкевер считает, что этот подход достигает своих естественных пределов.

Суцкевер обрисовал несколько потенциальных путей продвижения вперед за пределы предварительного обучения: агенты ИИ, синтетические данные (которые он описал как «большую проблему») и увеличение вычислительной мощности во время вывода могут помочь преодолеть ограничения данных обучения. Исследователь ИИ недавно описал этот период как новую «эпоху открытий» для этой области .

По словам Суцкевера, завтрашние системы ИИ будут принципиально отличаться от сегодняшних моделей. Он объяснил, что нынешние системы лишь в минимальной степени «агенты», но предсказал, что это изменится, поскольку будущие системы ИИ разовьют подлинные способности мыслить и рассуждать независимо .

Однако эта эволюция сопряжена с трудностями. Суцкевер предупредил, что возросшая способность к рассуждению приводит к меньшей предсказуемости, указав, что шахматные ИИ уже удивляют своими ходами даже гроссмейстеров.

В качестве позитивного момента он предположил, что этот сдвиг в сторону реальных рассуждений может помочь уменьшить галлюцинации , поскольку будущие системы ИИ смогут использовать логическое мышление и саморефлексию для проверки и исправления собственных утверждений — возможности, которых нет у нынешних систем, которые в основном полагаются на распознавание образов и интуицию.

Этот сдвиг в мышлении соответствует тому, что происходит в индустрии ИИ. OpenAI , Google и Anthropic , как сообщается, достигли потолка с традиционными методами предварительного обучения в своих новейших языковых моделях.

Руководитель проекта Gemini AI в Google Ориол Виньялс недавно объяснил, что уже недостаточно просто увеличивать размер моделей — каждое улучшение теперь требует экспоненциально больше усилий и ресурсов.

В ответ на это такие компании, как OpenAI, изучают альтернативные варианты, такие как «вычисления во время тестирования», которые дают моделям ИИ больше времени и вычислительной мощности для обработки информации , а не просто увеличивают их возможности предварительного обучения.

После ухода из OpenAI в мае 2024 года Суцкевер основал Safe Superintelligence Inc (SSI) — стартап, который привлек более $1 млрд при оценке в $5 млрд . Компания, работающая из офисов в Пало-Альто и Тель-Авиве, фокусируется на разработке безопасных сверхразумных систем.

SSI планирует сохранить небольшую команду лучших инженеров и исследователей, при этом большая часть финансирования будет направлена на вычислительную мощность и найм. Компания заявляет, что она особенно заинтересована в наборе сотрудников, которые не подвержены шумихе вокруг индустрии ИИ.

Краткое содержание