jedeft
V2EX  ›  Local LLM

2 万块以内,可以本地部署的最好的模型是哪个?

  •  
  •   jedeft · 1 day ago · 2294 views

    不考虑输出速度的情况下

    9 replies  •  2026-10-07 19:50:35 +08:00
    yidinghe
        1
    yidinghe  
    PRO
       1 day ago via Android
    看看 strata 这个项目,就很适合。

    https://github.com/Niko1221/Strata
    levn
        2
    levn  
       1 day ago
    glm5.3 flash > qwen3.8 next > qwen3.8 27b
    strobber16
        3
    strobber16  
       1 day ago via Android
    得加钱
    defa21312
        4
    defa21312  
       1 day ago
    qwen3.8flash ?据称超过 27b 了,需要 12g n 卡+128g 内存 freetoken 推理,2w 还是能拿下的,decode 速度不比 27b 慢,但是 prefill 速度很慢
    penisulaS
        5
    penisulaS  
       23h 28m ago
    mac 的解决方案:Qwen3.8-Flash-Next-REAP-288-oQ4e-BF16-MTP-PLE
    jedeft
        6
    jedeft  
    OP
       22h 0m ago
    @penisulaS 生成质量怎么样?
    alexjoker467
        7
    alexjoker467  
       21h 23m ago
    monk66601
        8
    monk66601  
       16h 22m ago
    @yidinghe 用了 1 天了,用破限模逆向很不错
    uprit
        9
    uprit  
       13h 0m ago
    @levn glm5.3 flash ,2 万块能跑起来?具体说说啥配置啊?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3544 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 00:50 · PVG 08:50 · LAX 17:50 · JFK 20:50
    ♥ Do have faith in what you're doing.