即便是 rag ，embedding ，大模型，重排模型，向量数据库，第三方都有服务，还不需要解决网络，也不需要多少内存，还有赠送额度用
虽然 50wtoken 玩一玩就没了（ b 站有人利用超长模型让 AI 学习三国演义全书，测试和 rag 的对比）
相比之下即便是 macmini m4pro 32g 的也一万块了
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 529 days ago, the information mentioned may be changed or developed.
 |
tool2dxMay 22, 2025
1
还是看具体用途吧，自己辅助写代码，你也只会用顶级 API ，本地参数太小智商太低，你也不会用。
如果是企业文档，你公司知识库全部放别人服务器上，总感觉也不太好。 最好就是公司能报账，买 macmini m4pro 32g 丢在局域网，用 ollama 布置一下，给部门同事用是最好的了。 |
 |
starlionMay 22, 2025
3
还是看你想先学哪方面内容，你有钱当然可以买更好的硬件，有一个性价比。
没钱就搞免费的 API 或 小模型，最近 Qwen3 不是出了个小模型 |
 |
xiaomushenMay 22, 2025
4
@tool2dx 没见过 macmini 做为 PRD 严肃应用的公司，太不正经了。。
|
 |
5
“购买第三方 api 是不是最划算的”
如果只考虑 AI 的执行层面，是的。 目前即便是最低成本的方案（ k'transformer ），跑 671B 的 deepseek ，也就 3token 每秒。大概的硬件成本在 5~6 万。你可以换算一下，3token/s ，跑价值 6 万的 api ，大概需要多少年。如果想让 token/s 提升，价格基本也是指数级提升。 但是使用 API 也有很多不便。 1 、不能微调，不能训练。导致很多细分业务场景下没有收敛度很高的模型 api 可用。 2 、第三方也有一些使用上的限制。比如隐私、xx 限制等。而且第三方 api 的审核模型与内容控制会污染最终输出的精度。 3 、很多高品质的 api 提供商并不服务于大陆。 所以可以看到很多垂直领域的公司，宁肯自己成本高，也要自建，甚至是自训练、自开发。比如彩云系。 |
1 |
6
btw：v 站的关键词限制越来越魔怔了，上文比较“扭捏”的名词都是我经过“润色”的，否则直接封 IP
|
|
tool2dxMay 22, 2025
7
@xiaomushen Nvidia 在推 arm cpu 的 AI 集成 PC （ NVIDIA DGX Spark ），有统一的 128G 显存/内存，按理说都不是正经的 GPU ，但架不住比显卡要便宜啊。
|
 |
conn457567May 22, 2025 via Android
8
就纯学习的角度我觉得 mac mini 24G 或者 32G 最具性价比，24G 足够部署 14B 的模型，本地学习足够了。微调训练模型什么的还是直接用云厂商的比较划算
|
 |
zhanyingMay 22, 2025
9
@murmur 不用 ktransformer 等方案把未激活的参数放到内存中，纯用 GPU 跑未量化未蒸馏的满血 fp8 671b r1 需要大概 16 块 A100 ，贵司一出手就是两套还是很有实力的啊。。。https://apxml.com/posts/gpu-requirements-deepseek-r1
|
|
xiaomushenMay 22, 2025
10
@tool2dx 目前个人玩玩可能可以吧。
反正我公司，我碰到的，要做私有化部署的其他公司，都是采购正经 H20 机器。（有信创要求，则是昇腾机） |
|
xiaomushenMay 22, 2025
11
@tool2dx 便宜就自己买了自己玩呗，公司正规采购自建 AI 数据中心，或者你给正经客户做方案，目前用 mac mini 堆，恐怕只是程序员思维了。。。
|
|
xiaomushenMay 22, 2025
12
@zhanying A100 也不支持 FP8 鸭...
|
 |
crackidzMay 22, 2025
13
是的，买是最划算的
|
 |
rahjMay 22, 2025
14
没有时间就花钱买
|
 |
sworld233May 22, 2025
15
我觉得是的
|
 |
rogererMay 23, 2025
16
是的，自购硬件绝对是不划算的。服务商能跑满 GPU ，基本上不留空闲，个人很难做得到。
|
 |
ayelkyMay 23, 2025
17
只要跑不满，时刻在浪费钱
|
 |
xyooyxMay 23, 2025
18
如果是独立开发者，在模型层面投入回报比会特别低，建议直接借 api 杀入应用层面
|
 |
user1284May 23, 2025
19
有些东西只能本地 ai 能说, 网络 api 全给你屏蔽了
|
 |
zhengfan2016May 23, 2025
21
@yb2313 不一定，你本地跑个 deepseek/gemma ，问点不能碰的滑梯，照样不回答，得看模型背后的公司的所处郭嘉。每个郭嘉都有属于它们的不能被讨论的 zz 正确
 |
|
user1284May 23, 2025
22
@zhengfan2016 本地的可以调教啊, 可以清洗掉思想钢印, 不会有关键字检测
|
 |
sanshi2018May 23, 2025
23
AI 学习三国演义全书 的 b 站链接求分享一下
|
 |
24
|
 |
qingzhijiushengMay 23, 2025
25
自用买 api ，公用买设备
|
Select Language