其实要本地部署的目的有什么意义呢？没有足够的算力还不如直接用网页的

有些资料内容是不想通过联网的大模型去问答处理的

大模型的精度对应的显存大小我一直没搞明白之间的关系，比如千问这个30b和70b的模型一般都对应多少显存？

模型的显存占用推理和训练阶段的显存需求不一样，精度不一样的占用也不同