Я правильно понимаю, что нынче лучшее/выгоднейшее железо для запуска здоровых LLMок без анальных бинарных драйверов - это AMD ThreadRipper и пачка модулей DDR5?
Ну и Monero майнить можно заодно.
Есть многоядерные ARM, но их производительность зависит от величины и битности нейросетевой модели, характера обращений к памяти и так далее. Зато по сжираемому электричеству они гораздо выгоднее, так что в датацентрах их массово ставят, чтобы увеличивать число сдаваемых ядер в серверах без увеличения потребления.
Есть многоядерные ARM, но их производительность зависит от величины и битности нейросетевой модели, характера обращений к памяти и так далее. Зато по сжираемому электричеству они гораздо выгоднее, так что в датацентрах их массово ставят, чтобы увеличивать число сдаваемых ядер в серверах без увеличения потребления.
https://www.phoronix.com/review/system76-thelio-astra