long-context

使用RoPE、YaRN、ALiBi和位置插值技术扩展Transformer模型的上下文窗口。适用于处理长文档（32k-128k+ token）、将预训练模型超出原始上下文限制，或实现高效的定位编码。涵盖旋转嵌入、注意力偏差、插值方法和LLM的外推策略。