awq-quantization

用于4位LLM压缩的激活感知权重量化，具有3倍加速和最小精度损失。适用于在GPU内存有限的情况下部署大型模型（7B-70B），或需要比GPTQ更快推理且更好保留精度的情况，也适用于指令调优和多模态模型。获MLSys 2024最佳论文奖。