quantizing-models-bitsandbytes

将大型语言模型量化为8位或4位以实现50-75%的内存减少，同时保持最小精度损失。适用于GPU内存有限、需要容纳更大模型或希望加快推理速度的场景。支持INT8、NF4、FP4格式，QLoRA训练和8位优化器。与HuggingFace Transformers兼容。