正常部署至少20张a100需要专门的供电,我这个最多400w,够可以的了
俩epyc 9115 配 24*32gb ddr5 内存, 跑r1 可以每秒6个token,基本三四万能拿下。这个ktransformer 就是消费级硬件整个活,速度太慢没法用
期待再次停服
关注数量超出限制,请先删除部分内容再尝试