看用途,已经很多开箱即用的工具了,比如lm studio和它底层的llama.cpp
大模型推理是能到4090的80%,我是翻了海外论文和博客后打算搞几张的
定位应该是便携的黑苹果小钢炮,自己配64g内存+2t固态只需要加1500不到
关注数量超出限制,请先删除部分内容再尝试