多卡训练核心技术详解

多卡训练 主要围绕分布式环境初始化、模型并行化、数据分片和梯度同步展开。下面结合您的代码，详细解释这些核心部分：

并行执行命令

torchrun --nproc_per_node=5 TokenLossMulCard.py

1. 分布式环境初始化

def init_distributed():
    init_process_group(backend=