speculative-decoding

使用推测解码、Medusa多头和前瞻解码技术加速LLM推理。适用于优化推理速度（1.5-3.6倍加速）、降低实时应用延迟或在计算资源有限的情况下部署模型。涵盖草稿模型、基于树的注意力机制、Jacobi迭代、并行令牌生成和生产部署策略。