Не только ChatGPT: Пять неудобных истин, определяющих будущее ИИ

Обсуждение генеративного искусственного интеллекта и таких моделей, как ChatGPT, стало повсеместным. Кажется, что каждый день приносит новости о новых рекордах производительности, невероятных возможностях и будущем, которое эти технологии обещают. Однако за громкими заголовками скрывается более сложная и неоднозначная реальность.

Настоящая история революции ИИ — это история о неожиданных корпоративных стратегиях, скрытых издержках и неудобных истинах, которые часто упускаются из виду в основном потоке новостей. Она показывает, что путь к созданию мощных языковых моделей (LLM) был не таким прямолинейным, как может показаться.

Цель этой статьи — раскрыть пять наиболее значимых и неочевидных выводов, сделанных на основе стремительного развития LLM. Они помогут вам понять, что на самом деле происходит в мире искусственного интеллекта, за пределами общего ажиотажа.

Долгое время в сообществе разработчиков ИИ доминировало простое предположение: чтобы сделать языковую модель лучше, нужно просто сделать ее больше, увеличив количество ее параметров. Этот подход действительно приводил к впечатляющим результатам и подпитывал гонку за создание все более масштабных моделей.

Однако сейчас появляется «растущее ощущение убывающей отдачи от простого увеличения размера модели». Иными словами, каждое последующее увеличение масштаба дает все меньше преимуществ в производительности, но при этом требует экспоненциально больших ресурсов. Это важный сдвиг, который говорит о том, что будущие инновации, скорее всего, будут сосредоточены на эффективности, специализации и архитектурных улучшениях, а не на чистом масштабе. Этот сдвиг может демократизировать гонку ИИ, позволив более мелким, но гибким командам конкурировать с гигантами не за счет вычислительной мощи, а за счет архитектурной изобретательности.

Анализ корпоративной истории развития LLM показывает, что технологическое первенство не всегда гарантирует лидерство на рынке. Ключевой вывод здесь в том, что стратегические инвестиции оказались не менее важным фактором, чем фундаментальные исследования.

Дилемма новатора. Google была одним из ключевых новаторов в этой области, создав такие основополагающие технологии, как «Трансформеры» (буква «T» в аббревиатуре GPT). Однако, несмотря на свои прорывные исследования, компания «уступила первенство в практическом применении» OpenAI.

Ставка инвестора. Стратегия Microsoft была иной. Компания не была активным исследователем в этой сфере, но сделала крупные и ранние инвестиции в OpenAI (по 1 миллиарду долларов в 2019 и 2021 годах). Эта ставка «принесла серьезные дивиденды», позволив Microsoft интегрировать передовые ИИ-технологии в свои продукты и обогнать конкурентов.

Молчаливый гигант. Meta (компания признана экстремисткой и её деятельность запрещена на территории РФ) также внесла «значительный вклад в ранние инновации», но ее прорывы оказались «приглушенными». Возможно, это было связано с тем, что их модели были недостаточно большими, или компания была слишком сосредоточена на внутренних процессах, а не на публичных инструментах.

Эта картина была бы неполной без упоминания других игроков. На фоне этих событий Китай также демонстрирует стабильный прогресс, ускоряя выпуск собственных языковых моделей. А Amazon, хотя и поздно включился в игру, пытается наверстать упущенное за счет массивных инвестиций в передовые стартапы, такие как Anthropic.

Но эта гонка, подпитываемая миллиардными инвестициями, имеет и обратную сторону, которую инвесторы предпочитают не афишировать...

По мере того как генеративный ИИ становится все более доступным, растут и его «экологические и человеческие издержки». Эти издержки редко обсуждаются, но они являются неотъемлемой частью технологии в ее нынешнем виде.

Понимание этих скрытых затрат имеет решающее значение, поскольку мы все глубже интегрируем ИИ в общество и экономику.

Как определить, какая языковая модель «лучше»? Чтобы как-то объективно сравнивать постоянно растущее число моделей, индустрия приняла стандарт MMLU (Massive Multitasks Language Understanding) — тест из тысяч вопросов с несколькими вариантами ответов по 57 академическим дисциплинам.

Однако у этого подхода есть серьезная критика. Существует подозрение, что создатели LLM могут «предварительно обучать свои модели для ответов на вопросы MMLU», фактически «подгоняя» их под тест, а не развивая подлинное понимание. Это создает риск «гонки вооружений» за лидерство в бенчмарках, которая может отвлечь ресурсы от решения реальных, практических задач и ввести в заблуждение корпоративных покупателей ИИ-решений. Существуют альтернативные, субъективные рейтинги, такие как LLMArena, но у них есть свои недостатки — например, они отдают предпочтение англоязычным моделям. В итоге наше понимание того, какой ИИ действительно является лучшим, гораздо сложнее, чем может показаться из простого списка лидеров.

Какую роль ИИ будет играть в нашем обществе в долгосрочной перспективе? Писатель Тед Чан предлагает убедительную и несколько тревожную аналогию, которая смещает фокус с творческого потенциала ИИ на его корпоративную функцию.

ИИ, вероятно, будет функционировать как крупные корпоративные консалтинговые фирмы, выступая в роли «добровольного палача», ускоряющего потерю рабочих мест.

Эта идея представляет ИИ не как партнера в творчестве, а как инструмент для ускорения корпоративных процессов. В этой роли ИИ предоставляет видимость объективного, основанного на данных обоснования для трудных корпоративных решений, которые руководство, возможно, и так хотело принять. Таким образом, он становится «добровольным палачом», который с холодной эффективностью выполняет непопулярную работу, например, оптимизацию штата. В долгосрочной перспективе это означает, что главной задачей ИИ может стать повышение эффективности, включая и такие негативные последствия, как автоматизация и сокращения.

Таким образом, от корпоративных стратегий, где умные деньги обошли чистые инновации, до сомнительных метрик, измеряющих прогресс, и огромных скрытых издержек, становится ясно, что настоящая история развития ИИ гораздо сложнее и многограннее, чем предполагает общественный ажиотаж.

Пока мы продолжаем интегрировать эти мощные инструменты в нашу жизнь, перед нами встает критический выбор: будем ли мы и дальше гнаться за чистой производительностью, или же потребуем от создателей ИИ полной прозрачности и ответственности за его скрытые издержки?