rwkv-architecture

RNN+Transformer 混合架构，具有 O(n) 推理能力。线性时间，无限上下文，无需 KV 缓存。训练方式类似 GPT（并行），推理方式类似 RNN（顺序）。Linux 基金会 AI 项目。已在 Windows、Office、NeMo 中投入生产。RWKV-7（2025 年 3 月）。模型参数最多达 14B。