折腾好久 @lmstudio 是真好用

70B 模型 Q4KM 两张卡各吃 22G 推理大概 10 token/s 太可了 剩下一点空间还可以加载一个 3B 的代码模型拿来做高速补全

我早干吗去了 草