跑 Qwen2.5 72B 8 位量化的电脑配置

This topic created in 678 days ago, the information mentioned may be changed or developed.

请教一下，跑 Qwen2.5 72B 8 位量化的电脑配置，内存需要多少？

跑起来要几张 4090 ？，最快能生成几个 token 每秒呢？

1 replies • 2024-10-09 09:21:49 +08:00

jifengg

Oct 9, 2024

有个粗略估计，int8 的，正好是 1B=1GB ，所以你这个需要至少 72G 的显存，注意是显存，而且是至少。
内存要求不大，但是 32G 应该也是至少的。