235777178's recent timeline updates 235777178's recent timeline updates |
235777178要么瘦要么死。 🏢 pm V2EX member #24760, joined on 2012-08-03 09:41:36 +08:00Today's activity rank 13775 |
jindx.net
北京
胖子产品产品胖子
 |
Per 235777178's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
235777178's recent replies
4 days ago Replied to a topic by trytrytry › 电动汽车 › 特斯拉到底有什么魔力, 销量这么高的毛坯房 |
你是不是不知道，如果特斯拉不开源，国产新能源卷不到现在的这个程度。
5 days ago Replied to a topic by zhengfan2016 › 问与答 › 4060ti+7900xtx 双卡推理，后续可能升级 14600k，有没有电源推荐 |
@pxlxh 现在本地模型和 api 差距不大。单从单价来看，已经是打平了。
5 days ago Replied to a topic by zhengfan2016 › 问与答 › 4060ti+7900xtx 双卡推理，后续可能升级 14600k，有没有电源推荐 |
长城，1600w
Sep 14 Replied to a topic by vus520 › 分享创造 › 有没有大佬组装二手 AI 主机的 |
其实你得看你的预算。
预算没那么敏感，4090 48g 2w 多也搞的到。
预算敏感就是 v100 pcie 32g
v100 太旧，那就 intel b70 32g ，1w 多。
h3 的话，我用的两张 7900xtx 24g 跑的。一张卡放权重，一张卡放解码器之类的，跑的效率还可以。
预算没那么敏感，4090 48g 2w 多也搞的到。
预算敏感就是 v100 pcie 32g
v100 太旧，那就 intel b70 32g ，1w 多。
h3 的话，我用的两张 7900xtx 24g 跑的。一张卡放权重，一张卡放解码器之类的，跑的效率还可以。
Sep 12 Replied to a topic by vus520 › 分享创造 › 有没有大佬组装二手 AI 主机的 |
v100 16g pcie 闲鱼 1000 多
主板就华南金牌 x99d3 版本的，内存插满
不过我建议的是闲鱼去买 20g 的 3080.
2 张 3080 随便跑 qwen 3.8 27b 了。
主板就华南金牌 x99d3 版本的，内存插满
不过我建议的是闲鱼去买 20g 的 3080.
2 张 3080 随便跑 qwen 3.8 27b 了。
Sep 7 Replied to a topic by 235777178 › 问与答 › 阿里的 coding plan 无时无刻不在 429 |
@lzhd24 模型没问题，主要是服务太拉了。不管什么时候，不管什么模型用着用着就 429.
Aug 20 Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
# Qwen3.8-27B 性能矩阵（ 192.168.1.20 · 双 RX 7900 XTX ）
> 场景：2 槽位 / 192K 上下文。单位 tok/s 。
| 变体 | 关键差异 | prefill (1024 / 8k / 32k) tok/s | gen (1024 / 8k / 32k) tok/s | 峰值 VRAM / 卡 |
|---|---|---|---|---|
| **S1_base** | tensor 1,1 · q8_0 KV · b16384/ub2048 · t32 · **MTP d2**（当前配置） | 521 / 1150 / **1053** | **54.1 / 51.6 / 51.9** | 16.3G |
| S2_kv_q4 | KV q4_0 | 512 / 1145 / 1049 | 52.6 / 54.5 / 49.3 | **14.9G** |
| S3_kv_q6 | KV q6_k | ❌ 启动失败（该 build 不支持 q6_k KV ） | — | — |
| S4_ts_5545 | tensor 55,45 | 493 / 1070 / 950 | 50.2 / 52.0 / 48.6 | 18.0G / 14.3G |
| S5_layer | layer split | 529 / 1095 / 1100 | 37.3 / 39.1 / **29.7** | 16.7G / 22.3G |
| S6_b32768 | batch 32768/ub4096 | 490 / 1143 / 1037 | 47.5 / 54.5 / 50.8 | 18.7G |
| S7_t48 | threads 48 | 518 / 1147 / 1046 | 53.3 / 50.5 / 51.0 | 16.3G |
| S8_mtp1 | MTP d1 | 519 / 1148 / 1047 | 46.6 / 48.1 / 43.0 | 16.2G |
| S9_nomtp | 无 MTP | 621 / **1281** / 1136 | 33.5 / 33.6 / 31.3 | 14.3G |
| S10_ub1024 | ubatch 1024 | 512 / 1122 / 1039 | 47.2 / 51.3 / 50.6 | 15.2G |
## 结论速读
- **甜点（ gen 最高）**：`S1_base`（ MTP d2 ）综合最强，gen 稳定 51–54 tok/s 。
- **prefill 最高**：`S9_nomtp`（无 MTP ）达 1281 tok/s ，但 gen 只有 33 tok/s — 用 prefill 换 gen 不划算。
- **最省显存**：`S2_kv_q4`（ 14.9G ），gen 几乎不掉，KV 量化到 q4_0 是性价比最高的调整。
- **不要踩**：`S3_kv_q6` 当前 build 不支持；`S5_layer` 分层切分导致 gen 暴跌到 29.7 。
> 场景：2 槽位 / 192K 上下文。单位 tok/s 。
| 变体 | 关键差异 | prefill (1024 / 8k / 32k) tok/s | gen (1024 / 8k / 32k) tok/s | 峰值 VRAM / 卡 |
|---|---|---|---|---|
| **S1_base** | tensor 1,1 · q8_0 KV · b16384/ub2048 · t32 · **MTP d2**（当前配置） | 521 / 1150 / **1053** | **54.1 / 51.6 / 51.9** | 16.3G |
| S2_kv_q4 | KV q4_0 | 512 / 1145 / 1049 | 52.6 / 54.5 / 49.3 | **14.9G** |
| S3_kv_q6 | KV q6_k | ❌ 启动失败（该 build 不支持 q6_k KV ） | — | — |
| S4_ts_5545 | tensor 55,45 | 493 / 1070 / 950 | 50.2 / 52.0 / 48.6 | 18.0G / 14.3G |
| S5_layer | layer split | 529 / 1095 / 1100 | 37.3 / 39.1 / **29.7** | 16.7G / 22.3G |
| S6_b32768 | batch 32768/ub4096 | 490 / 1143 / 1037 | 47.5 / 54.5 / 50.8 | 18.7G |
| S7_t48 | threads 48 | 518 / 1147 / 1046 | 53.3 / 50.5 / 51.0 | 16.3G |
| S8_mtp1 | MTP d1 | 519 / 1148 / 1047 | 46.6 / 48.1 / 43.0 | 16.2G |
| S9_nomtp | 无 MTP | 621 / **1281** / 1136 | 33.5 / 33.6 / 31.3 | 14.3G |
| S10_ub1024 | ubatch 1024 | 512 / 1122 / 1039 | 47.2 / 51.3 / 50.6 | 15.2G |
## 结论速读
- **甜点（ gen 最高）**：`S1_base`（ MTP d2 ）综合最强，gen 稳定 51–54 tok/s 。
- **prefill 最高**：`S9_nomtp`（无 MTP ）达 1281 tok/s ，但 gen 只有 33 tok/s — 用 prefill 换 gen 不划算。
- **最省显存**：`S2_kv_q4`（ 14.9G ），gen 几乎不掉，KV 量化到 q4_0 是性价比最高的调整。
- **不要踩**：`S3_kv_q6` 当前 build 不支持；`S5_layer` 分层切分导致 gen 暴跌到 29.7 。
Select Language