Ta好神秘,什么都没有留下。
注册12周年签到3161天
IP属地:北京

芝麻信用评估

芝麻信用评分是合法独立的信用评估及信用管理机构,授权后得到分数越高,代表信用越好

是的,本地部署 100b 以下的尺寸,如果以 70b 为 100 分基准,那么 32b 就是 90 分, 32b 以下都不及格,很难做生产力工具。

02-14 10:26

本地部署了deepseek的32b和70b,对比硅基的满血R1,简单测试“以BBC阴阳怪气语气”写一篇关于中芯财报的新闻稿:从生成质量上看满血R1明显高于小尺寸蒸馏版,但32b和70b没有本质区别;同时,由于70b蒸馏自llama,在某些场景的中文推理是不如蒸馏自Qwen的30b的。个人认为本地部署30b是质量比较合适的尺寸。

02-13 21:12
01-11 22:11

实测,两块 2080ti,ollama 跑 qwen2 72b,显存共占用不到 42G

2024-07-26
2024-06-20

夜里下单,还在纠结要不要。看参数噪音貌似很大,有用过的说说吗?

2024-06-19

1749-7-20-100-100-100-200=1222。还有什么优惠能减100吗?

2024-06-17
社区达人榜 查看更多

小提示

您确定删除该评论吗?

关注数量超出限制,
请先删除部分内容再尝试