Развитие ИИ не остановят лимиты «человеческих» текстов и другие ограничения?

Эксперты Epoch AI в исследовании для Google DeepMind задали важный вопрос: можно ли с уверенностью сказать, что нынешние темпы развития искусственного интеллекта сохранятся в будущем. Не упрётся ли отрасль в нехватку денег, данных и электроэнергии? Разбираем в блоге, к каким выводам пришли аналитики как минимум до 2030 года, и добавляем свои наблюдения.

Исследователи <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Faibusiness.com%2Fnlp%2Fai-s-new-frontier-training-trillion-parameter-models&postId=2713993" rel="nofollow noreferrer noopener" target="_blank">использовали </a>8% мощности самого мощного в мире суперкомпьютера для обучения модели размером с ChatGPT 
Исследователи использовали 8% мощности самого мощного в мире суперкомпьютера для обучения модели размером с ChatGPT 

Данные для обучения скоро закончатся

Общедоступных текстов, которые создают люди, хватит для роста ИИ как минимум до 2027 года. Дальше ситуация усложняется. Но у рынка есть запасной вариант — синтетические данные. Это данные, которые создаёт сам ИИ.

Особую роль здесь играют модели рассуждений. Их ещё называют reasoning-моделями (RLM) или большими моделями рассуждений (LRM). Они не просто подбирают ответы, а выстраивают логическую цепочку. Такие модели умеют генерировать большие объёмы обучающих данных. Полностью риск дефицита исключить нельзя, но уже сейчас он не выглядит критичным.

Развитие ИИ не остановят лимиты «человеческих» текстов и другие ограничения?

На масштабирование не хватит электроэнергии

Если развитие ИИ пойдёт по текущему сценарию, к 2030 году обучение самых передовых моделей потребует гигаватты электроэнергии. Для понимания масштаба: уже сегодня отдельные крупные запуски превышают 100 мегаватт. По оценкам Epoch AI, к 2030 году один цикл обучения новой модели, пусть и из числа энергозатратных, может потреблять от 4 до 16 гигаватт.

Развитие ИИ не остановят лимиты «человеческих» текстов и другие ограничения?

Это серьёзный вызов. Но и здесь есть варианты. Энергоснабжение можно наращивать за счёт солнца и ветра, аккумуляторов, автономных газовых генераторов и атомных электростанций. Кроме того, обучение ИИ всё чаще распределяют между несколькими дата-центрами в разных регионах. Это снижает нагрузку на одну точку.

Есть и ещё один фактор. Энергоэффективность графических процессоров для ИИ растёт примерно на 40% в год. Проще говоря, новые чипы делают больше вычислений при том же или меньшем расходе энергии.

До 2028 года дефицит электроэнергии вряд ли станет серьёзным ограничением. Дальнейшее развитие энергетических технологий может отодвинуть эту проблему ещё дальше.

На развитие технологии не хватит денег

Эксперты Epoch AI считают, что при сохранении текущих тенденций доходы разработчиков ИИ смогут как минимум догнать нынешние объёмы инвестиций. Речь идёт о $100–150 млрд — именно во столько аналитики оценивают стоимость передового обучения ИИ к 2030 году.

Развитие ИИ не остановят лимиты «человеческих» текстов и другие ограничения?

Итог

Нехватка данных, рост энергопотребления и высокая стоимость экспериментов — реальные риски. Но у индустрии уже есть решения или заделы, которые позволяют с ними справляться. Поэтому текущие темпы развития ИИ можно экстраполировать до 2030 года. Правда, с важной оговоркой: решающую роль сыграют технологии и правила, которые будут их регулировать.

1
2 комментария