是的,本地部署 100b 以下的尺寸,如果以 70b 为 100 分基准,那么 32b 就是 90 分, 32b 以下都不及格,很难做生产力工具。
本地部署了deepseek的32b和70b,对比硅基的满血R1,简单测试“以BBC阴阳怪气语气”写一篇关于中芯财报的新闻稿:从生成质量上看满血R1明显高于小尺寸蒸馏版,但32b和70b没有本质区别;同时,由于70b蒸馏自llama,在某些场景的中文推理是不如蒸馏自Qwen的30b的。个人认为本地部署30b是质量比较合适的尺寸。
关注数量超出限制,
请先删除部分内容再尝试