想部署一个 deepseek-v4-flash 或差不多相同级别的模型，目前在看的配置包括：
8xA100(只能部署量化版本)一体机，
8xH20,8xH200 云租赁 GPU 服务器；
有部署过的群友吗？效果怎么样？或者有没有其他的配置参考？
8xA100(只能部署量化版本)一体机，
8xH20,8xH200 云租赁 GPU 服务器；
有部署过的群友吗？效果怎么样？或者有没有其他的配置参考？
 |
emmo2 days ago
1
小型公司私有化部署的意义在哪？
大型公司有搞头，小公司折腾这个干嘛？ 买 gpu 当投资啊？ |
 |
2
肯定是 RTX Pro 6000 啊，Blackwell 架构能跑 NVFP4 ，H20 的 Hopper 架构在 LLM 领域是路边一条，又贵又慢。
4 卡 RTX Pro 6000 的镜像配置和速度 https://github.com/local-inference-lab/rtx6kpro/blob/master/models/deepseek-v4.1-flash.md |
 |
3
@emmo 做一些本地文档解析，流程前置审批工作
|
|
4
@slowgen 我去了解一下
|
 |
banzige1 day ago
5
这种需求私有化部署不划算吧
|
 |
simazilinVV1 day ago
6
strata
|
 |
objectgiga1 day ago
7
8XA100 40G 是足够部署原版的，起 TP4PP2 ，把 ngram 扔到内存里面去，41f 模型 290G ，但是从并发角度建议选择 A100 80G ，然后公司肯吃一点螃蟹，隔壁一猫在搞高迪 2 ，96G*8 ，在群里闲聊是报价 35W ，玩了一会单线程测速能跑到 1100tps
|
 |
HelloWorld2333320h 42m ago
8
“华南金牌 AI 算力主板套装 4090 48G 显卡 H3 视频生成本地部署训练推理” 自己维护费时费力，直接买现成的吧，像这种杂牌也不是不能用，坏了直接走售后。
|
Select Language