Справочник по выбору GPU для работы с большими языковыми моделями Llama

В данном документе публикуется полезная информация по выбору видеокарт для работы с большими языковыми моделями, такими как Llama, Mistral и другими.

Есть четыре задачи в LLM - создание pre-trained модели с нуля, pre-train уже созданной модели для определенной области, fine-tuning, inference созданной ранее pre-trained модели. В разных задачах создания pre-trained, могут потребоваться десятки и более дорогих видеокарт. Модель с 2,7 млрд. параметров будет обучаться около 7 дней на 128 GPU A100 40 ГБ@.

Поэтому здесь говорится только про выбор GPU для fine-tuning и inference. Здесь пока не разбираются вопросы выбора видеокарт для продакшена. Руководство поможет выбрать карту для домашнего или офисного ИИ-компьютера, а также станет понятно какой GPU арендовать.

Содержание

В данном списке представлены видеокарты 1) рекомендуемые для разработчика по моему личному мнению 2) есть вероятность приобрести в РФ б/у или новую 3) оптимальны с точки зрения цены/выхлопа 4) либо просто топ. Аргументация будет подробнее накапливаться по всему документу.

Пока мне не известно, какая конфигурация будет быстрее работать с LLM. Считается, что чем больше памяти на борту, тем лучше. Но надо тестировать, поскольку производительность 4х выше, чем 2х по FP16. Во многих deep learning тестах показывали 4 карты с примерно одинаковым уровнем fp16 и по 24 Гб лучше 2-х RTX по 48 Гб. На 17 ноября 2023, мне известно, что 4 карты работают по скорости как 1 карта в инференсе LLM, при это доступно в 4 раза больше памяти.

От класса зависит их форм-фактор, энергоэффективность, наличие коррекции ошибок памяти ECC, иная производительность на специальных задачах с плавающей точкой, масштабируемость, поддержка виртуализации и т.д.

Нужно иметь ввиду, что Nvidia некоторые модели GPU позиционирует для инференса в продакшене. Такие модели чаще слабее базисных моделей в трейне или в каких-то других вычислениях. Например, NVIDIA T4 имеет высокий FP16 = 65 TFLOPS, но очень низкий FP32 = 8 TFLOPS.

UPADTE 10 апреля 2024. Дополнение по T4 - часто встречается, что якобы FP16 = 65 TFLOPS. В спецификации указывается - Mixed-Precision (FP16/FP32) = 65 TFLOPS, это подразумевает производительность тензорных ядер. Но в инструкции по архитектуре явно прописано FP16 = 16.2.

Nvidia регулярно выводит на рынок более совершенные и производительные микроархитектуры видеокарт. Отличий много. Увеличивается число транзисторов, появляются новые поколения ядер и количество CUDA / RT / Tensor ядер, повышается пропускная способность и размер оперативной памяти, размер L1 Cache, появляются специальные режимы вычислений типа поддержка bloat16, INT8, mixed-precision.

Устаревшие архитектуры могут встретиться с разными несовместимостями с CUDA драйверами и библиотеками HF. Код написанный для свежей архитектуры может не запустится на более древних.

Устройства с одинаковым номером основной ревизии имеют одинаковую архитектуру ядра. Список архитектур за 10 лет:

Каждая видеокарта имеет свой так называемый Compute Capability.

Посмотреть какая версия Compute доступна для видеокарты можно здесь:

https://developer.nvidia.com/cuda-gpus

3 ноября 2023 - При попытке load_in_8bit=True через HF либы на Turing GPU произойдет ошибка: Exception: cublasLt ran into an error!
Как поясняют на форуме - Turing и Hopper несовместимы с форматами Ampere. При этом load_in_4bit = True работает.

UPADATE 6 апреля 2024 - На RTX 8000 load_in_8bit=True через свежие HF либы стал работать, что делает теперь эти карты очень выгодными для инференса больших моделей. У RTX 8000 нет Flash Attention 2

Видеокарты имеют разную производительность в операциях с плавающей точкой - FP64, FP32, FP16. Также есть еще общая производительность тензорных и RT ядер.

Обращать внимание нужно именно на скорость операция в FP16 non-Tensor (half-precision). Больше этот параметр имеет значение в задачах инференс LLM. От него зависит скорость генерации токенов в неквантизированных моделях. Я изучил характеристики десятки разных карт и именно по FP16 легко было спрогнозировать производительность на выходе. Ошибка лишь бывает в том, что часто у старых карт указывается неверно трактуется FP16 (например, у T4 если не внимательно читать аж 65 TFLOPS, на самом деле это тензорные ядра, а CUDA выдают 16 TFLOPS.

Современный уровень FP16 это более 20 TFLOPS. Топовые видеокарты

Однако нельзя говорить про линейный прирост, только за счет большего значения TFLOPS. Но чем больше TFLOPS тем прогнозируемо мощнее карта. Тензорные ядра тоже важны и карты условно со схожим fp16 при CUDA и разным количеством тензоров и их поколением будут иметь разную производительность.

Методы запуска LLM отличаются по скорости. Запуск с квантизацией также может иметь разные последствия в производительности и там вступают в силу другие факторы, такие как скорость CPU и памяти.

Интересный бенч llama 65B

Еще два значимых параметра - число операций в INT8 и INT4

Эти режимы будут иметь значение при квантизации, примеры скорости работы в этих режимах

Использование FlashAttention-2

Еще один аргумент в пользу новых GPU с архитектурой Amper и выше - это поддержка FlashAttention-2, которая может ускорить работу на 50-70% и снизить потребление памяти в разных сценариях до 60%.

По данным lambdalabs.com

Я провел тестирование, которое показало, что инференс не становится быстрее от количества видеокарт, но и не деградирует при device_map=auto. Как минимум можно ожидать скорость инференса как у 1 карты, но с большей памятью.

7B - fp16
RTX 8000 - 15 c.
2хRTX 8000 - 15 c.
13B - fp16
1хRTX 8000 - 26 c.
2хRTX 8000 - 27 c.
13B - fp32 (не влезет на 1 карту, итого по 30Гб на карту)
2хRTX 8000 - 50 c.
70B - 4bit - по 22Гб на карту.
1хRTX 8000 - 48 c.
2хRTX 8000 - 48 c.
13B - fp16
1хRTX 8000 - 26 c.
2хRTX 8000 - 27 c.
2хRTX 8000 + RTX 3090 - 27 c.
1хRTX 8000 + RTX 3090 - 24 c.

Прежде чем покупать то или иное оборудование, рекомендую протестировать ваши конкретные задачи в разных GPU конфигурациях на immers.cloud. У них есть H100, RTX 4090, RTX 3090, RTX 3080, Tesla A100, RTX A5000, Tesla A10, Tesla A2, RTX 2080 Ti, Tesla T4, Tesla V100.

Полезные ссылки

Эволюция моделей последних лет показывает: с одной стороны появляются все более тяжелые модели на сотни миллиардов параметров, с другой стороны появляются все более легкие и при этом сравнимые по качеству с более тяжелыми моделями. Mistral-7B побеждает llama2-13B по многим тестам.

Главный тезис - памяти много не бывает, ниже 24 Гб не рекомендую, а 48 Гб сильно выручает при разных сценариях.

Тенденция в увеличении потребности памяти будет расти. Не верю, что в ближайшее время 13B будет сильнее ChatGPT4 во всех тестах. Логично, что самое передовое и качественно чаще всего будет очень тяжелым какое-то время.

Flash Attention 2 на архитектуре Ampere, Ada, or Hopper

Flash Attention 2 обеспечивает значительное сокращение использования VRAM, порядка 40-60 % во многих практических сценариях с большими языковыми моделями.

Можно ли c 16 Гб Vram работать?

Да, можно до 13B с 4бит квантизацией, и недолго - часто захочется большего. См внизу раздел тестов на 16 Гб - What other consequences are there?

Сколько памяти нужно для fine-tuning

7B модель при тюнинге в 4 битах требует 16 Гб при трейне, и 20 Гб при слиянии, но его можно не делать, оставив лишь адаптер. lora_r = 16, lora_alpha = 32

Загрузка модели через HF pipeline. Контекст на русском языке. В системе 2 GPU 3090 24 GB. Из теста видно: каждое слово примерно 16 Мб памяти при float16 на две видеокарты. 5 Мб / слово на одной видеокарте с 8 бит. 22 Мб / слово на двух видеокартах 8 бит Соотношение русских слов к токенам 2,8. Модель имеет контекст 8K токенов.

Пробегусь по нюансам. Прежде чем покупать новый компьютер и видеокарту лучше хорошо подумать о перспективах масштабирования и выбрать компромисс между ценой, размером карт, объемом памяти и энергопотреблением. Можно прийти к мысли, что лучше полностью сменить платформу, чем пихать в старый системник.

Одна видяха 3090/4090 на 24 Гб в поле воин. Две карты по 24 Гб очень выручают, а вот две по 48 Гб было вообще класс. Про одну с 80 Гб умолчу по понятным причинам. Но когда бюджет не позволяет, а хочется много памяти - можно захотеть 3-4 GPU по 24 гб, или накапливать карты по 16Гб.

Драйвера. Мне пока неизвестны подводные камни, если в системе стоят карты разных архитектур, например, Pascal и Amper. Будут ли конфликты драйверов и не придется ли сидеть на устаревших версиях CUDA все новым видеокартам. RTX 8000 Turning и 3090 Ampere работают на одних дровах.

PCI-E слоты. Современные материнские платы в основном дают 2-5 PCIE x16 слотов. При этом на одной плате может быть 1 слот Pcie-5, 2 слот Pcie-4, 2 слота Pcie-3. Материнские платы для серверов и рабочих станций могут содержать сразу 4-7 PCIE 5 x16 - такое по возможности стоит покупать.

PCI-E линии на мамках. Если на материнке есть 4 слота Pcie с разъёмом на 16 линий, это не значит, что к ним действительно проведено 16 линий. В действительности конфигурация различается, нужно читать документацию. Часто может быть, что 1 слот x16 будет иметь все 16 линий, а 3 других будут в режиме x4.

PCI-E линии процессора. Ограничение есть также у процессоров по количеству линий PCIE, тема отдельной статьи. Серверные процессоры имеют до 128 линий PCIE. У современного десктоп процессора типа i9, который имеет 21 PCIE линии хватит для инференса LLM на 4 GPU, но чаще это будет режим работы x4. Потери из-за разных версий PCIE будут незначительными относительно общего масштаба производительности из 2-4 GPU. Стоит учитывать, что количество линий процессора и чипсета складываются. Однако могут возникнуть проблемы с работой нескольких GPU, если только один PCIE-слот ведет только к CPU, а остальные через чипсет.

Вот такая схема PCIE-слотов предпочтительнее, когда несколько слотов идут напрямую к процессору.

А вот у материнских плат на чипсете Z690 могут быть проблемы с multi gpu, если только 1 PCIE-слот есть к процессору, а остальные через чипсет.

В документации к материнским платам часто явно указывают, сколько слотов идут к процессору, пример Asus Z690 Prime:

Корпуса также не сильно просторные для нескольких GPU размером от 2.5 слотов. Можно поискать специализированные корпуса от профи или у майнеров посмотреть.

Когда две видео карты уже есть. Третью и четвертую уже сложно представить, кроме как в виде фермы майнинга. В любом случае нужен будет самопал по креплению на корпус, если речь пойдет о геймерских картах и магазинных корпусах - плата за низкую стоимость. Если нужно экономить место - используем более дорогие низкопрофильные карты из серий A100/A10/A40, RXT QUADRO, RTX 6000.

Когда есть 4 PCIE слота поставить 4 карты помогут райзеры PCIEх16 gen4 gen3. Бывают длиной 20, 30, 40 см. Есть еще 60 см - Lian Li 600 мм PCI-e 4.0 (PW-PCI-4-60X).

Райзер 3.0 может выдавать пропускную способность 4.0, тестировал на реальном примере с картой 3090 PCIE4. Однако, не рекомендую использовать такой кабель с картами PCIE4 - могут возникнуть проблемы в стабильности работы, особенно когда несколько видеокарт - наблюдал на своем опыте.

Если вдруг остался только 1 свободный PCIE слот, а хочется больше видеокарт. Есть такой тип устройств, относительно давно на рынке, - расширители PCIE. Воткнув специальную плату в слот PCIE на мамке получаешь от 4х и более слотов PCIE.

Все нативно, не требуется никаких драйверов и т.д. В этом году уже появились версии PCIe 4.0 ×16 (256Gbps) например Netstor NA255A-G4 и рэковый - NA265A-G4. Позволяют до 4 карт 3х слотовых поместить.

Удовольствие не дешевое, предыдущего поколения PCIE Gen 3 можно найти в РФ около 100-200 тыс. А нового уже под 400т видел в предзаказе (окт 2023). Для двух карт 3090 по 350 Вт лучше 1200 Вт блок питания с запасом.

При увеличении количества мощных видеокарт возникает потребность в дополнительных блоках питания, либо в одном существенно более мощном. Блок питания необходим на 40% больше, чем TDP карты. Пусковые токи могут быть выше номинала TDP в 2-3 раза, а заявленная мощность БП может быть ниже по факту и снижаться со временем.

Несколько блоков питания можно синхронизировать через Mollex и специальный синхронизатор типа ATX2ATX-N03 стоимостью 300 рублей.

Большинство рекомендованных здесь карт очень хорошо греются - при нагрузках до 80-90 градусов. Поэтому если 1-2 карты геймерские еще можно стерпеть дома, то 4 это уже более серьезное тепловыделение. Один из лайфхаков - понижать мощность перед длительными трейнами или всегда. Либо покупать более дорогие карты для датацентров.

Вокруг NVLink ходит много мифов волшебных. Существенную выгоду от Nvlink можно получить лишь при некоторых сценариях.

HF приводит пример трейна gpt2 при Nvlink оказалось на 23% быстрее. Весьма не плохой прирост.

Поскольку в инференсе LLM чаще всего используется только 1 ядро, соответственно важным показателем работы системы будет пропускная способность память по одному ядру. Любопытно, что общая пропускная способность на сокет может измеряться от 50 до 500 Гб/с, а вот на на 1 ядре все скромнее - 10-30 Гб/с.

С 2010 по 2023 год устойчивая пропускная способность одноядерных процессоров увеличилась примерно в 2 раза у процессоров Intel и примерно в 5 раз у процессоров AMD.

Пропускная способность памяти на 1 ядро тесно связана со скоростью 1 ядра процессора - Single Thread Performance. Процессор с высоким значением одного потока предпочтительнее.

Все больше накапливают сведений, что необходимо выбирать процессоры с высокой производительностью 1 ядра - Single Thread Performance. Процессоры со значениями 4000+ будут выжимать максимум из высокопроизводительных карт в роде 4090, H100, A100. Процессоры с 2000-2500 на ядро могут замедлить до 2 раз производительность современных видеокарт.

Декстопные топовые процессоры Intel i7, i9, Ryzen 9 могут быть плохим выбором, если требуется более 2 видеокарт, поскольку часто предлагают около два слота PCIE к процессору, остальные слоты идут через чипсет и могут возникнуть непредвиденные проблемы совместимости при одновременной работе нескольких видеокарт.

Серверные даже очень дорогие процессоры Intel или EPYC могут иметь одиночный поток всего 2000-2500, хоть и предлагают 5-7 слотов и более к процессору напрямую. Как уже писал выше есть риск потери производительности, и будет обидно что карта или карты купленные за несколько миллионов рублей будут работать в два раза медленее.

В свете этих соображений процессоры в AMD Ryzen Threadripper 7960X на чипсетах TRX50 становятся привлекательными, поскольку имеют и высокую скорость одного потока и несколько слотов к процессору. Стоимость платформы достаточно высокая.

Список видеокарт, которые стоит обходить стороной

На рынке активно развивают поддержку видеокарт AMD для работы с нейронными сетями. С помощью стека ROCm можно запускать CUDA, есть также специальные версии pytorch. Есть также профессиональные модели видеокарт AMD, имеющие большой объем оперативной памяти и высокий FP16. Как это работает в реальности - еще не изучал, но звучит перспективно.

Геймерская AMD RX 7900 XTX c 24 Гб имеет хорошую производительность, сопоставимую как с 4090 так и с 3090 при этом заметно дешевле.

Ноутбуки в роде MacBook Pro M2 с унифицированной памятью, имеющие от 32 Гб оперативной памяти могут использоваться для инференса больших моделей с приемлемой скоростью через llama.cp. Насколько мне известно, для обучения такая конфигурация не будет успешна. Читайте тесты производительности.

Во некоторых задачах разрыв с традиционными процессорами стал меньше. Недавно Intel представила четвертое поколение процессоров Xeon под кодовым названием Sapphire Rapids с новыми интересными инструкциями, которые ускоряют операции, часто встречающиеся в моделях глубокого обучения. Пока у меня нет данных про опыты с LLM, приведу некоторые другие.

В статье автор говорит про экономичное универсальное решение и про аренду сервака за $5.95 в час, что дорого как-то по сравнению с 2 баксами за A100 80GB. Сам проц 64 vCPU = от 500 тысяч рублей стоит. По сравнению с другим процессорами в 8 раз быстрее вышло. Но в сравнении с GPU не понял насколько медленнее.

Другой автор делает вывод, что архитектура Intel Sapphire Rapids, оснащенная расширенными матричными расширениями и AVX512-FP16, улучшает матричные операции, необходимые для глубокого обучения. Кроме того, благодаря использованию расширения Intel Extension for PyTorch (IPEX) пользователи могут без особых усилий оптимизировать PyTorch для процессоров Intel, что позволяет значительно повысить производительность. Бенчмарки показывают, что Sapphire Rapids обеспечивает производительность вычислений, сравнимую с GPU, при меньшей стоимости и лучшей доступности. Таким образом, использование центральных процессоров для вычислений в производственных нагрузках ИИ/МЛ на предприятиях может быть выгодно как с практической, так и с экономической точки зрения.

Статья будет регулярно обновляться и дополнятся новыми подробностями. Если нашли неточность в описании - буду рад поправкам. Пишите, чем смогу помогу. Замечу, что я лишь энтузиаст-исследователь, а не профессиональный ИИ-программист. Также вы можете подписаться на мой ТГ-канал, где я делюсь своими находками и опытом.

Последнее дополнение - 27 мая 2024

#машинноеобучение #llama #gpu #железо