"Jetson Orin Nano Super оснащён шестиядерным процессором Arm Cortex-A78AE, работающим на частоте 1,7 ГГц, и поставляется с 8 Гбайт оперативной памяти. Графический процессор с частотой 1020 МГц имеет 1024 ядра CUDA и 32 тензорных ядра, что обеспечивает максимальную производительность в 67 TOPS."
В принципе понятно, что создавался он исключительно ради того, чтобы гонять небольшие модели до 8B так как памяти у нее 8 гигов. Проще говоря последняя llama3.3:70b на ней будет тупить, а мелкие модели могут только похабные несмешные анекдоты рассказывать.
А он точно суперкомпьютер?
"Jetson Orin Nano Super оснащён шестиядерным процессором Arm Cortex-A78AE, работающим на частоте 1,7 ГГц, и поставляется с 8 Гбайт оперативной памяти. Графический процессор с частотой 1020 МГц имеет 1024 ядра CUDA и 32 тензорных ядра, что обеспечивает максимальную производительность в 67 TOPS."
В принципе понятно, что создавался он исключительно ради того, чтобы гонять небольшие модели до 8B так как памяти у нее 8 гигов. Проще говоря последняя llama3.3:70b на ней будет тупить, а мелкие модели могут только похабные несмешные анекдоты рассказывать.
А главное сколько объем vram , иначе ничего кроме Буратино не запустишь
причем TOPS это операции над int8 , т.е. квантизированные модели которые сильно теряют в качестве вывода