moe-training

使用 DeepSpeed 或 HuggingFace 训练混合专家（MoE）模型。适用于计算资源有限时训练大规模模型（相比密集模型降低成本 5 倍）、实现像 Mixtral 8x7B 或 DeepSeek-V3 这样的稀疏架构，或在不按比例增加计算资源的情况下扩展模型容量。涵盖 MoE 架构、路由机制、负载均衡、专家并行和推理优化。