Mac的192g内存因为显存可以共享,在跑大模型上就是有特定优势,能跑在这个价位上pc笔记本跑不起来的模型,这话没毛病啊?人家也没说秒杀H100吧,说到底,也就是个笔记本,人家文章也没把这个放到推荐原因第一位啊
405b参数的,通常这得多少块H100?不过是两台笔记本(果子内存金贵,内存拉满的笔记本也不便宜)……你觉得果子是个玩具,难堪大用,确实也不能说错,但还真没你想的那么拉垮
你说的没毛病,问题就在于现在很多时候瓶颈就是显存,决定了能不能跑…你说专不专业,Mac上跑肯定是多少是玩票性质;但是它确实可以,你看不到不代表没人用,之前有人用两台MBP运行了llama 3.1
跑大模型瓶颈在显存,4060玩游戏吊打果子,显存也就8g,16g顶天了,想要更多显存,只能上4090,但4090也就给了24g,在往上只能买老黄的专业卡了,而果子的统一内存就没有单独显存的瓶颈,192g的内存虽然贵,但相比老黄的显存,还是有性价比的…PC上内存便宜,但是对于显存提升没有帮助。当然算力不只有显卡显存一个瓶颈,果子能跑一些4090甚至专业卡才能跑的参数量的模型,实话说也只是半专业的玩票,玩玩可以,正经干活,还是找老黄吧……
关注数量超出限制,
请先删除部分内容再尝试