catazshadow's recent timeline updates catazshadow's recent timeline updates |
catazshadowV2EX member #399613, joined on 2019-04-08 17:11:05 +08:00Today's activity rank 4281 |
| 诸位 v2er 怎么看超人故事里指责超人的那些人？ 问与答 • catazshadow • 14 days ago |
| 小米 17 把这次西班牙日食 P 成了月食 分享发现 • catazshadow • Aug 16 • Lastly replied by catazshadow | 5 |
| AI 回旋标来了 分享发现 • catazshadow • Jun 12 • Lastly replied by woshishui2022 | 12 |
| 为什么你该停止使用 Ollama
1 Local LLM • catazshadow • Apr 22 • Lastly replied by seakingii
|
14 |
| 疑似被 ban，求解封 水 • catazshadow • May 5 • Lastly replied by catazshadow | 2 |
| 跪求个邀请码 水 • catazshadow • Sep 16, 2025 • Lastly replied by pcy | 2 |
| 再来一个代沟，你们知道保存按钮上为什么是这个图标吗 分享发现 • catazshadow • May 20, 2025 • Lastly replied by sc2yml | 19 |
| 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何 分享发现 • catazshadow • May 16, 2025 • Lastly replied by ltux | 175 |
catazshadow's recent replies
1 day ago Replied to a topic by liu0825 › 分享发现 › 阿里这次比不上腾子！这个智能终端确实更懂运维 |
阿里巴巴那种管理方式，注定做什么都是烂尾
2 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@coefu 上下文压小了确实会快点，回头看看怎么搞
2 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@coefu 还能这么玩。要配合 flash next 还是都可以？压缩了会变傻么？
2 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@coefu qwen 3.8 flash next ，就你上一条发的那个
电费算毛 hhh 。还有就是 layer split 其实每一时刻只有一张卡满载，总功率其实是(N - 1) 待机功率 + 1 x 满载功率，6 张卡也就 400W 来瓦顶天了，几千块搞定 Strix Halo 能干的活，要什么自行车🤣
电费算毛 hhh 。还有就是 layer split 其实每一时刻只有一张卡满载，总功率其实是(N - 1) 待机功率 + 1 x 满载功率，6 张卡也就 400W 来瓦顶天了，几千块搞定 Strix Halo 能干的活，要什么自行车🤣
2 days ago Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4 |
@coefu 加上万兆网卡的结果，一共 96G 显存，两台机器 4+2 张卡
qwen 系列的 prefill 感觉跟这种跑法有仇，开头就只有 160 多，直接放弃了。单机用 lazy 模式跑也不快，简直了。
laguna S 和 mistral small 都差不多，加载了个 110K 的会话历史，开始 prefill 在 480 左右，在 110K 的时候大概有 280 ，tg 的话能有 10 左右，感觉是垃圾佬的极限了，毕竟几千块跑起来这么大的模型。
qwen 系列的 prefill 感觉跟这种跑法有仇，开头就只有 160 多，直接放弃了。单机用 lazy 模式跑也不快，简直了。
laguna S 和 mistral small 都差不多，加载了个 110K 的会话历史，开始 prefill 在 480 左右，在 110K 的时候大概有 280 ，tg 的话能有 10 左右，感觉是垃圾佬的极限了，毕竟几千块跑起来这么大的模型。
2 days ago Replied to a topic by lynn1su › 职场话题 › 现在如果 ai 突然全部消失了，还有多少人能古法编程？换句话说还有多少人能不靠 ai，从头到尾古法编程？ |
写内核的依旧古法
Select Language