Генеративный ИИ – инженерная катастрофа. Абсолютно неэффективный проект стоимостью триллионы долларов

Проблема с генеративным ИИ, если использовать сленг самой ИИ индустрии, в том, что он не масштабируется. Большие языковые модели не масштабируются логарифмически. Чем больше слов модели приходится обрабатывать, тем медленнее она работает и требует больше памяти. Время и ресурсы увеличиваются по мере роста входных данных. Технически, БЯМ масштабируются квадратично. Любой студент факультета информатики знает, что это очень плохо. Проблема усложняется по мере появления все увеличивающихся в размере больших языковых ИИ моделей. Однако, отдача от увеличения размера ИИ модели начала уменьшаться. Чем больше ИИ модель, тем меньше улучшений от добавления в нее параметров, поэтому ее надо увеличивать быстрее, чтобы получить результат. Другие компьютерные технологии также показывали резкий скачок, но они не вызывали такого пика в потреблении электроэнергии или нехватки компьютерных компонентов. Хотя проблема есть, но ее мало кто хочет решать. С экономической и инженерной точки зрения генеративный ИИ- худшая технология.

Производители ИИ ботов знают, что эта технология неэффективна. Но очень непросто инвестировать в задачу перепроектирования продукта, в который уже вбухали триллионы долларов. Те, кто считают, что мы живем в экономике, созданной ИИ пузырем, отмечают, что профитабельность этих компаний – открытый вопрос и, по большей части, из-за огромных затрат и неэффективности самой технологии. Есть проекты разработки Tiny Recursive Model (малых языковых моделей), но они не получают внимания инвесторов. Проблема и в том, что БЯМ добавляют везде, где только можно. В 2024 и 2025 годах БЯМ были интегрированы в Windows и MacOS. Это означает, что теперь этим ОС необходимо больше мощностей для работы даже на персональных компьютерах. Неэффективный ИИ добавляется даже в такое ПО как Adobe Photoshop и Microsoft Word, что означает, что компьютеру нужно больше мощности для эксплуатации этих ПО. Но пока почти религиозная вера Силиконовой Долины в генеративной ИИ столь велика, что неэффективный ИИ продолжает быть центром интереса инвесторов и компаний.

ИИ компании пытаются удержать свои ИИ системы на плаву и делают продукты дороже для все нас. Большие языковые модели, как ChatGPT и Claude, настолько ресурсозатратны, что техно компании будут вынуждены приобрести 70% всего объема чипов памяти в мире, что, разумеется, вызовет нехватку этих чипов. В результате, цены на память компьютеров и системы хранения взлетят на новую высоту. Колумнист Alex Reisner купил жесткие диски для ноутбука два года назад за $350 за штуку, а две недели назад они стоили уже $800. И вообще их теперь не купить. Цены на ноутбуки выросли на 50%, причем недорогие модели особенно пострадали от роста затрат. Некоторые эксперты считают, что недорогие ноутбуки «исчезнут к 2028 году». Нехватка чипов памяти продолжится не один год.

Чипы памяти – ключевой компонент дата центров, которые техно корпорации развертывают на сумасшедшей скорости. В течении нескольких лет корпорации планируют увеличить мощности дата центров в США в восемь раз. Спрос на электричество на этих площадках настолько огромный, что они перестраивают реактивные двигатели для питания дата центров.

Проблема не в том, что ИИ распространяется слишком масштабно или слишком быстро. Другие компьютерные технологии также показывали резкий скачок, но они не вызывали такого пика в потреблении электроэнергии или нехватки компонентов. Видео и музыка транслируются по всему миру, они вызывают передачу терабайтов интернет-трафика каждый день. Смартфоны вызывали рост производства миллиарда девайсов, которые передают огромное количество данных. Миллиарды девайсов являются частью системы Интернет вещей. Целые отрасли передают свои данные в облака, и эти облака находятся в дата центрах.

Проблема с генеративным ИИ, если использовать сленг самой ИИ индустрии, в том, что он не масштабируется. Стоимость перехода с тысячи пользователей на миллион- ключевой фактор, который учитывают венчурные капиталисты при оценке стартапа. Они хотят видеть, что прирост каждого пользователя снижается со временем, а компания поддерживает эти миллионы пользователей и приносит прибыль. Этого можно достичь с помощью инженерных решений в компьютерной отрасли, когда система может обслуживать больше пользователей, которые хотят запостить фото, вызвать Ubers или послушать музыку.

С генеративным ИИ еще не придумали эффективные способы решения проблемы, и масштабируемость не достигнута. Проблема усложняется по мере появления все увеличивающихся в размере больших языковых ИИ моделей, которые начались с 175 млрд параметров в 2020 году и дошли до 1 трлн сегодня. БЯМ не должны «продавать» свой размер. Однако, отрасль живет идеей, что чем больше модель, тем лучше она решает задачи. Сэм Альтман: «Возможно, с 10 гигаватт вычислительных мощностей ИИ сможет найти лекарство от рака».

Отдача от увеличения размера ИИ модели начала уменьшаться. Чем больше ИИ модель, тем меньше улучшений от добавления в нее параметров, поэтому ее надо увеличивать быстрее, чтобы получить результат. Alex Reisner опросил некоторых ИИ исследователей, знают ли они какое-то другое ПО, которое также плохо масштабируется, как ИИ. Никто не вспомнил такого. Даже за пределами ИТ отрасли сложно найти аналогию, учитываю, что экономия на масштабе сделала лампочки, машины и одежду доступными. С экономической и инженерной точки зрения генеративный ИИ- худшая технология.

Никто не захочет что-то менять на фоне огромных инвестиций в этот пузырь. Ilya Sutskever, со-основатель и бывший научный директор OpenAI, заявил в ноябре, что компании выбирают метод грубой силы, так как «он обеспечивает низко рисковый подход к инвестициям». Очень непросто инвестировать в задачу перепроектирования продукта, в который уже вбухали триллионы долларов. Те, кто считают, что мы живем в экономике, созданной ИИ пузырем, отмечают, что профитабельность этих компаний – открытый вопрос и, по большей части, из-за огромных затрат и неэффективности самой технологии.

Эффективность – ключевой принцип в компьютерных науках. Первое, чему учат студентов на информатике, это написать программу, которая сортирует список из 50ти слов. И это легко. Но если программа будет сортировать 50 млн слов, то она исчерпает память или ей потребуются часы, чтобы выполнить задачу. Информатика учит способам программирования, чтобы предотвратить такую ситуацию. Многие из этих методов – например, повторяющиеся закономерности данных, благодаря чему при увеличении объема входных данных требуется меньше памяти или времени. Эта эффективность – причина, почему современные смартфоны и компьютеры -мощные и доступны по цене. Это называется логарифмическим масштабированием. Выглядит так:

Большие языковые модели не масштабируются логарифмически. Чем больше слов модели приходится обрабатывать, тем медленнее она работает и требует больше памяти. Время и ресурсы увеличиваются по мере роста входных данных. Технически, БЯМ масштабируются квадратично. Любой студент факультета информатики знает, что это очень плохо.

Epoch AI считает стоимость эксплуатации ИИ моделей. В прошлом году компания опубликовала график, который отображает эти допущения. Он показывает, как экспоненциально растут затраты на обслуживание большего количества «токенов» в нескольких публичных ИИ моделях.

ИИ необязательно должен идти таким путем развития. Цель ИИ - решить проблему способами, имитирующими человеческое мышление. Исследователи наблюдали за своими рассуждениями и пытались внедрить свои мыслительные паттерны в код. Этот подход отклонили, так как его сложно изучить и выяснить механизмы человеческого мышления. Однако, этот метод требовал гораздо меньше ресурсов и времени.

Подход к ИИ сегодня не пытается описать механизмы человеческого мышления. Он просто дает машине миллиарды параметров для имитации. Огромное количество примеров – причина, почему БЯМ лучше справляются с задачами, чем маленькие БЯМ. Они лучше создают язык, образы и музыку, так как у них больше материала для извлечения. Некоторые исследователи хотят вернуться к старому методу, более эффективному и объединить его с современным. Пока такие проекты не привлекли столько же внимания и финансирования, как мощные чат-боты.

Какие-то компании нашли методы повышения эффективности, но результатов почти нет. Эти компании заявляют о прорывах. Dario Amodei, CEO Anthropic, назвал эти методы «множителями вычислительных возможностей» (“compute multipliers”). Однако, деталей этих методов нет и нет доказательств, что проблема квадратичного масштабирования и взрывного роста моделей решена.

Некоторые исследователи работают над малыми языковыми моделями, которые требуют меньше данных и меньше мощностей. Alexia Jolicoeur-Martineau, ИИ исследователь в Microsoft, разрабатывает такую модель. Alexia Jolicoeur-Martineau считает современный подход ИИ гигантов «безумством. Надо уже учиться эффективности».

В прошлом году Alexia Jolicoeur-Martineau получила $50 000 за свою работу о «крошечной рекурсивной модели» (“tiny recursive model”), которая не потребляет огромного количества вычислительных мощностей. Alexia Jolicoeur-Martineau: «Идея в том, что если ИИ инструмент должен базироваться на огромной базовой модели, обученной за миллионы долларов в крупных корпорациях, то это ведет к ловушке». Ее модель – не замена БЯМ, она создана для решения логических задач в таких областях как биология, электротехника, а не для генерации речи. Но эту модель можно использовать для некоторых задач, которые традиционно выполняют БЯМ.

Но пока все сфокусированы на БЯМ, которые агрессивно позиционируют на рынке. БЯМ добавляют везде, где только можно, хотите вы этого или нет. В 2024 и 2025 годах БЯМ были интегрированы в Windows и MacOS. Это означает, что теперь этим ОС необходимо больше мощностей для работы даже на персональных компьютерах. Смартфоны также продаются с ПО с ИИ. Неэффективный ИИ добавляется даже в такое ПО как Adobe Photoshop и Microsoft Word, что означает, что компьютеру нужно больше мощности для эксплуатации этих ПО.

Это не супер, так как теперь компьютеры уже не совершенствуются с той же скоростью, что раньше. С 1950-х производители научились делать чипы быстрее, меньше и дешевле. Это закон Мура. За последние пару лет компоненты стали такими маленькими, что производители столкнулись с ограничениями на молекулярном уровне, что застопорило прогресс.

Вместо уменьшения компонентов, производители сосредоточились на разработке новой инфраструктуры под ИИ. Это привело к некоторым улучшениям, но никак не приблизило к решению задачи экспоненциального роста спроса ИИ.

В принципе, неэффективность ИИ может совсем не волновать техно лидеров, которые считают, что они воспроизвели интеллект. Многие в Силиконовой долине почти религиозно убеждены в том, что какой-то разум может возникнуть из БЯМ, которые, по сути, являются статистическим программным обеспечением для генерации языка. Причем, очевидны такие дефекты этого ПО как неспособность запоминать базовые факты, отсутствие здравого смысла и абсолютная непохожесть на биологический мозг. Даже Yann LeCun, «крестный отец» ИИ, заявил изданию New York Times, что «БЯМ не приведут к созданию сверхинтеллекта или даже интеллекта уровня человека». Однако, мифологическая вера в ИИ так сильна, что некоторые инженеры верят, что ничто не встанет на их пути. Даже элементарная задача –написать эффективное ПО.

Ссылка на статью:

Alexia Jolicoeur-Martineau Less is More: Recursive Reasoning with Tiny Networks: