mamba-architecture

状态空间模型具有 O(n) 复杂度，相比 Transformer 的 O(n²)。推理速度更快 5 倍，支持百万 token 序列，无需 KV 缓存。具有硬件感知设计的选择性 SSM。Mamba-1（d_state=16）和 Mamba-2（d_state=128，多头）。在 HuggingFace 上提供 130M 到 2.8B 参数的模型。