集合通信 - AlltoAllV【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl样例介绍本样例展示如何使用HcclAlltoAllV()接口执行 AlltoAllV 操作包含以下功能点设备检测通过aclrtGetDeviceCount()接口查询可用设备数量。将 rank0 作为 root 节点通过HcclGetRootInfo()接口生成 root 节点的 rootinfo 标识信息。rootinfo 标识信息主要包含Device IP、Device ID 等信息此信息需广播至集群内所有 rank 用来初始化通信域。在每个线程中基于 rootinfo 标识信息通过HcclCommInitRootInfo()接口初始化通信域。调用HcclAlltoAllV()算子将输入数据在特定的维度切分成特定的块数并按顺序发送给其他 rank同时从其他 rank 接收数据按顺序在特定的维度拼接数据最后打印结果。目录结构├── main.cc # 样例源文件 ├── Makefile # 编译/构建配置文件 └── alltoallv # 编译生成的可执行文件环境准备环境要求本示例支持以下产品Ascend 950PR / Ascend 950DTAtlas A3 训练系列产品 / Atlas A3 推理系列产品Atlas A2 训练系列产品Atlas 训练系列产品 / Atlas 推理系列产品配置环境变量# 设置 CANN 环境变量以 root 用户默认安装路径为例 source /usr/local/Ascend/cann/set_env.sh编译执行样例在本样例代码目录下执行如下命令make make test注意可通过设置HCCL_OP_EXPANSION_MODE环境变量配置通信算子的展开模式不同产品型号支持的范围可参考环境变量列表中该环境变量的使用方法。# 设置通信算子的展开模式为AI CPU通信引擎 export HCCL_OP_EXPANSION_MODEAI_CPU结果示例每个 rank 的数据初始化为对应的 rank_id经过 AlltoAllV 操作后各节点的内容为所有节点输入数据的拼接。Found 8 NPU device(s) available rankId: 0, output: [ 0 1 2 3 4 5 6 7 ] rankId: 1, output: [ 0 1 2 3 4 5 6 7 ] rankId: 2, output: [ 0 1 2 3 4 5 6 7 ] rankId: 3, output: [ 0 1 2 3 4 5 6 7 ] rankId: 4, output: [ 0 1 2 3 4 5 6 7 ] rankId: 5, output: [ 0 1 2 3 4 5 6 7 ] rankId: 6, output: [ 0 1 2 3 4 5 6 7 ] rankId: 7, output: [ 0 1 2 3 4 5 6 7 ]【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考