q4量化是404gb显存需求。要是不量化,得1300多g。这还是基本需求,考虑上下文长度得话,至少+30%。有训练需求的话,越多越好
一台服务器一般只能插8-10块显卡,你插8块4090,才192g显存,插8块h100,是640g显存。这还没算和ai高度相关的算力指标、nvlink特性之类的。你只需要了解黄皮衣是刀客,不是慈善家,美国禁h100、禁4090不禁4090D,其它的就都能想明白了。
活的这个价可以接受,冷冻的就算了,何况页面明说了500-600g重量里还包括了20%的冰
关注数量超出限制,
请先删除部分内容再尝试