https://huggingface.co/Qwen/Qwen3.5-35B-A3B
vLLM 部署的话,需要用 uv 安装一个 nightly 版本(正常 pip install vllm 的 0.15 版本用不了):
pip install uv
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly
https://huggingface.co/Qwen/Qwen3.5-35B-A3B
vLLM 部署的话,需要用 uv 安装一个 nightly 版本(正常 pip install vllm 的 0.15 版本用不了):
pip install uv
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly
|
tthemFeb 25
1
m2max 64GB 内存,能跑的起来吗
|
|
046569Feb 25
3
|
|
JackyxiaocMar 2
5
这个模型跑龙虾咋样,够用么
|
|
stefwooMar 19 via Android
6
@Jackyxiaoc https://pinchbench.com/
这个测评网站里面,这个模型跑龙虾还行,不过比 27B 要差五个百分点左右。 我的显卡是 3090 ,我现在就在犹豫是跑 27B 还是 35B ,27B 还是太慢了。 |