芝麻信用评估
芝麻信用评分是合法独立的信用评估及信用管理机构，授权后得到分数越高，代表信用越好
kt为了减少显存占用，gpu只加载了6个专家模型，其它的模型放在内存，大幅降低了硬件要求，还能有一个可观的tokens
02-15 17:42
382gb只是最低要求，上下文跑几个问题内存就爆了，要512gb内存才能跑的动，这已经跟绝大部分人无缘了
02-15 17:30
ollama支持cpu和gpu混合推理，但是据我部署的671B大模型跑推理来看实际上gpu负载0-3%，模型太大了，显存没大到一定程度，gpu已经不参与运算了，都是CPU再跑。
02-15 17:23
