分布式训练常用基础-通信原语
1、集合通讯中包含多个sender和多个receiver，常见的通信原语包括broadcast、gather、all-gather、scatter、reduce、all-reduce、reduce-scatter、all-to-all等通信操作进行数据传输。
2、点对点通信原语的简单操作。 集合通信常用原语的类型与功能。分布式通信是多机多卡训练的基础。在正式介绍并行算法之前，我们需要了解常用分布式通信库，如MPI与NCCL。MPI（消息传递接口）在计算集群和超算中广泛使用，优化了节点间的通信。
