xChar
undefined Avatar
@undefined
·2 months ago

大模型的精度对应的显存大小我一直没搞明白之间的关系,比如千问这个30b和70b的模型一般都对应多少显存?

·2 months ago

模型的显存占用推理和训练阶段的显存需求不一样,精度不一样的占用也不同

Loading comments...