optimizing-attention-flash

使用Flash Attention优化Transformer注意力机制，实现2-4倍的速度提升和10-20倍的内存减少。适用于训练/运行长序列（>512 token）的Transformer模型，遇到GPU内存问题或需要更快推理时。支持PyTorch原生SDPA、flash-attn库、H100 FP8和滑动窗口注意力。