Дорогие инвестиции в более продвинутые ИИ модели не окупаются

Три крупнейших американских разработчика ИИ наблюдают за снижением окупаемости от их масштабных инвестиций в создание более продвинутых ИИ моделей. Как выяснилось, «золотое правило» масштабирования Силиконовой Долины- чем больше вычислительных мощностей, данных и чем больше модели, тем вероятнее всего будет совершен следующий прогресс в ИИ – не работает. Новые модели ИИ не показывают той производительности, которую от них ожидают. Они работают лучше, чем предыдущая версия, но это не прорыв. А вот затраты на их создание и обучение все более масштабные. Dario Amodei: компании потратят $100 млн на обучение своих передовых ИИ моделей только в этом году, а в следующие годы эта сумма достигнет $100 млрд. Hugging Face: «Пузырь генеративного ИИ постепенно начинает лопаться». Создать ИИ, которая будет умнее нобелевского лауреата – а некоторые компании считают, что это возможно – может потребовать совсем других данных, чем посты в Wikipedia и ролики в YouTube. Эксперты отрасли: «Мы можем сгенерировать качество синтетически, но нам очень сложно создать уникальные результаты без человеческого участия». Техно компании пока не могут принять решение, что им делать: предлагать рынку свои старые модели или разрабатывать новые, которые будут стоить баснословных денег, причем эти новые модели не сильно-то превосходят старые по производительности. ИИ лидеры молчат о сроках вывода на рынок прорывных ИИ моделях и все чаще рассуждают о том, что новые ИИ модели потребляют так много мощностей, что развивать старые модели и создавать новые одновременно -это вызов.

OpenAI находится на поворотном моменте. Стартап завершил начальный раунд обучения новой ИИ модели в сентябре, которая, как надеялась OpenAI, превзойдет предыдущие версии ChatGPT и приблизится к супер могущественному ИИ, который даже превзойдет человека.

Как сообщают источники, в конце лета модель не могла ответить на вопросы по кодированию, если вопросы включали в себя данные, на которых модель не обучалась. В целом, Orion не считается прорывом, превосходящим текущую модель, хотя ожидалось, что она будет отличаться как GPT-4 от GPT-3.5.

OpenAI не единственная компания, застрявшая в попытках выпустить более продвинутую модель. После многих лет выпуска сложных ИИ продуктов, три ИИ лидера (OpenAI, Google и Anthropic) наблюдают снижение отдачи от их дорогостоящих инвестиций в разработку продвинутых ИИ моделей. Новая версия Gemini – чатбот Google – не оправдывает ожиданий компании. Anthropic переносит сроки выпуска новой модели 3.5 Opus.

ИИ компании сталкиваются с рядом вызовов. Все сложнее найти новые, неадаптированные массивы данных высокого качества, сделанные человеком, а без этих данных создать продвинутую ИИ модель затруднительно. Неудовлетворительная производительность Orion является результатом отсутствия релевантных данных для обучения модели. При этом даже небольшое улучшение производительности может оказаться недостаточным для оправдания огромных затрат на создание и обслуживание новой модели или оправдания высоких ожиданий от вывода новой модели на рынок.

Есть много возможностей сделать эти модели лучше. OpenAI пропустила Orion через длинный процесс постоянного обучения. Этот процесс включает в себя коррекцию работы модели человеком, включая то, как она должна взаимодействовать с человеком. Пока OpenAI не готова представлять Orion пользователям до начала следующего года.

Все это противоречит практике Силиконовой Долины, которая укоренилась с того момента, как OpenAI вывела на рынок ChatGPT два года назад. Евангелисты техно индустрии делают ставку на так называемый закон масштабирования: чем больше вычислительных мощностей, данных и чем больше модели, тем вероятнее всего будет совершен следующий прогресс в ИИ.

Последние неудачи подогревают сомнения в целесообразности огромных инвестиций в ИИ. Точно ли они помогут достигнуть цели компаний, а именно, создание генеративного ИИ. Под генеративным ИИ обычно подразумевают гипотетический ИИ, который выполняет интеллектуальные задачи как человек или лучше. CEO OpenAI и Anthropic ранее заявляли, что генеративный ИИ появится через несколько лет.

Margaret Mitchell, главный эксперт по этике ИИ в стартапе Hugging Face: «Пузырь генеративного ИИ постепенно начинает лопаться». Становится ясно, что для того, чтобы ИИ модели работали лучше на разных задачах нужны «разные модели обучения».

Представитель Google DeepMind: компания «довольна прогрессом Gemini и скоро представит его публике». OpenAI и Anthropic уклонились от комментариев.

Dario Amodei, CEO Anthropic, заявил в пятичасовом интервью Bloomberg News: «Люди называют это законом масштабирования. Это неправильное толкование. Это не закон существования вселенной. Речь идет об эмпирических закономерностях. Я делаю на них ставку, но до конца в них не уверен».

Dario Amodei: есть «много вещей», которые могут «подорвать» процесс наращивания мощности ИИ в ближайшие пять лет, включая то, что «просто не хватит данных». Также CEO Anthropic заявил, что он оптимист, и ИИ компании найдут способы преодолеть трудности.

Технология, на которой построен ChatGPT и другие ИИ чат-боты, основывается на множестве сообщений из соц.сетей, комментариев онлайн, книгах и других данных, которые ИИ компании насобирали в сети. Этого было вполне достаточно, чтобы ИИ модель смогла написать сносное эссе или поэму, но создать ИИ, которая будет умнее нобелевского лауреата – а некоторые компании считают, что это возможно – может потребовать совсем других данных, чем посты в Wikipedia и ролики в YouTube.

OpenAI подписала соглашение с издательскими домами, чтобы получить доступ к качественным данным, а также приспособиться к растущему давлению со стороны издателей и авторов. Некоторые техно компании нанимают кандидатов наук, чтобы они отмечали данные, соответствующие их предметной области, например, математики и написание кода. Компании пытаются таким образом создать модели, способные лучше отвечать на вопросы из разных предметных областей.

Эти меры по созданию новой модели ИИ работают гораздо медленнее и стоят дороже, чем просто надергать данных из интернета. Техно компании также создают синтетические модели, например, перевод текста в изображения для имитации контента, созданного реальным человеком. Но и здесь есть ограничения.

Lila Tretikov, глава ИИ стратегии в New Enterprise Associates и бывший зам.главы CTO в Микрософт: «Здесь речь идет не о количестве, а о качестве и разнообразии данных. Мы можем сгенерировать качество синтетически, но нам очень сложно создать уникальные результаты без человеческого участия, особенно, если мы говорим о языке».

И все ИИ компании продолжают следовать правилу «чем больше, тем лучше». С таким подходом попытки создать ИИ, приближенный к уровню человеческого интеллекта, требует все больше вычислительных мощностей, данных и времени, а это все – большие затраты. Dario Amodei: компании потратят $100 млн на обучение своих передовых ИИ моделей только в этом году, а в следующие годы эта сумма достигнет $100 млрд.

По мере роста затрат, растут ставки и ожидания в отношении новых моделей. Noah Giansiracusa, доцент кафедры математики в Университете Bentley в Waltham, Массачусетс: ИИ модели продолжат совершенствоваться, но вот с какой скоростью – это большой вопрос.

«Мы все были вдохновлены быстрым прогрессом. Но это неустойчивый тренд».

В марте этого года Anthropic выпустила три новые ИИ модели и заявила, что самая мощная из них - Claude Opus – превосходит GPT-4 и Gemini по ключевым метрикам, например, логические выводы и разработка кода.

Спустя несколько месяцев Anthropic выпустил обновления двух других ИИ моделей, не Opus. Simon Willison, независимый ИИ исследователь: «Все очень удивились, ждали то обновления Opus». В октябре Simon Willison и другие эксперты индустрии заметили, что с вэб сайта компании исчезли такие формулировки о выпуске 3.5 Opus, как «скоро» и «в конце года».

Источник сообщает, что Anthropic, как и ее конкуренты, столкнулась с теми же проблемами при разработке 3.5 Opus. После обучения 3.5 Opus показала большую производительность, чем предыдущая версия, но это был совсем не тот уровень, которого ожидала Anthropic. CEO Anthropic заявил в интервью, что пока не может назвать дату релиза новой версии Opus.

Техно компании пока не могут принять решение, что им делать: предлагать рынку свои старые модели или разрабатывать новые, которые будут стоить баснословных денег, причем эти новые модели не сильно-то превосходят старые по производительности.

Гугл выпустил обновление свой флагманской ИИ модели Gemini: сделал ее более удобной, например, восстановил возможность генерировать изображения людей, и представил несколько прорывных функциональностей в базовой модели.

OpenAI сфокусировалась на постепенных улучшениях в этом году, например, представила новую версию голосового помощника.Недавно OpenAI выпустила версию o1, которая тратит дополнительное время перед ответом на вопрос. Компания сообщила, что модель применяет процесс рассуждения.

Гугл работает над таким же подходом, чтобы модель могла отвечать на более сложные вопросы и более качественно.

Техно компании вынуждены искать компромиссы, направляя свои вычислительные мощности на разработку и обучение новых моделей, которые в результате не оправдывают надежды.

Sam Altman, CEO OpenAI: «Все эти модели очень сложные, и мы не можем делать много вещей параллельно». Создатель ChatGPT сталкивается «с множеством ограничений и непростых решений» относительно использования вычислительных мощностей.

Sam Altman: компания покажет несколько «хороших релизов» в конце года, но не GPT-5. Именно эту модель ждет отрасль. Информация о GPT-5 была представлена 18 месяцев назад.

OpenAI, как Гугл и Anthropic, смещает фокус с размера моделей на поиск новых вариантов применения, включая такие ИИ инструменты как агенты, которые могут забронировать авиабилеты или отправить электронное письмо от имени пользователя. Sam Altman: «Мы будем улучшать модели. Следующий прорыв в ИИ – это агенты».

Ссылка на статью:

https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai