CANN/asc-devkit LogSoftMax Tiling接口文档
LogSoftMax Tiling【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit功能说明kernel侧LogSoftMax接口的计算需要开发者预留/申请临时空间以下接口用于在host侧获取预留/申请的最大最小临时空间大小开发者基于此范围选择合适的空间大小并调用LogSoftMaxTilingFunc函数获取reduceSizesplitSize等参数作为Tiling参数传递到kernel侧使用。为保证功能正确预留/申请的临时空间大小不能小于最小临时空间大小在最小临时空间-最大临时空间范围内随着临时空间增大kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能开发者可以根据实际的内存使用情况进行空间预留/申请。函数原型获取Kernel接口计算所需最大/最小临时空间的接口uint32_t GetLogSoftMaxMaxTmpSize(const ge::Shape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)uint32_t GetLogSoftMaxMinTmpSize(const ge::Shape srcShape, const uint32_t dataTypeSize, const bool isReuseSource)Tiling计算接口void LogSoftMaxTilingFunc(const ge::Shape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, optiling::LogSoftMaxTiling softmaxTiling)void LogSoftMaxTilingFunc(const ge::Shape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, AscendC::tiling::LogSoftMaxTiling softmaxTiling)参数说明表 1GetLogSoftMaxMaxTmpSize/GetLogSoftMaxMinTmpSize接口参数列表接口输入/输出功能srcShape输入输入的shape信息。dataTypeSize输入输入的数据类型大小单位为字节。比如输入的数据类型为half此处应传入2。isReuseSource输入是否复用源操作数输入的空间与LogSoftMax接口一致。表 2LogSoftMaxTilingFunc接口参数列表接口输入/输出功能srcShape输入输入的shape信息。dataTypeSize输入输入的数据类型大小单位为字节。比如输入的数据类型为half此处应传入2。localWorkSpaceSize输入输入的临时空间大小。softmaxTiling输出传递到kernel侧使用的Tiling参数。返回值说明GetLogSoftMaxMaxTmpSize/GetLogSoftMaxMinTmpSize接口返回值为最大/最小临时空间。LogSoftMaxTilingFunc接口无返回值**。**约束说明无调用示例// shape输入的shape信息 // dtypesize输入的数据类型大小单位为字节 // 定义 LogSoftMax 算子的 Tiling 参数结构体实例 AscendC::tiling::LogSoftMaxTiling tilingData; // 是否复用源操作数输入的空间与LogSoftMax接口一致 bool isReuseSource false; // 获取计算所需最大临时空间 const uint32_t tmpsize AscendC::GetLogSoftMaxMaxTmpSize(shape, dtypesize, isReuseSource); // 计算最优分片策略并填充到tilingData结构体中供Kernel端使用。 AscendC::LogSoftMaxTilingFunc(shape, dtypesize, tmpsize, tilingData);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2627198.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!