training-llms-megatron

使用NVIDIA Megatron-Core训练大型语言模型（2B-462B参数），采用先进的并行策略。适用于需要训练超过10亿参数的模型、追求最大GPU效率（H100上达47% MFU）或需要张量/流水线/序列/上下文/专家并行的场景。该生产就绪框架被用于Nemotron、LLaMA、DeepSeek等项目。