model-pruning

使用剪枝技术如Wanda和SparseGPT减少LLM大小并加速推理。适用于在无需重新训练的情况下压缩模型，实现50%稀疏度并保持最小精度损失，或在硬件加速器上实现更快的推理。涵盖无结构剪枝、结构化剪枝、N:M稀疏度、幅度剪枝和一次性方法。