项目背景本项目针对搭载摄像头的管道内部巡检软体机器人开发实现管道内部缺陷、障碍物、异物的实时AI检测完成从PC端训练到边缘端部署的完整链路。开源仓库AtomGit 公开仓库适配设备香橙派AIPro搭载昇腾310B4芯片核心链路训练权重.pt→ 通用中间模型.onnx→ 边缘推理模型.om一站式转换验证目录一、项目简介二、应用场景三、环境依赖准备四、本地PT模型验证推理五、PT一键转ONNX验证推理六、香橙派ATC转为OM模型七、机器人端推理开发说明八、常见问题排查九、开源声明与协议一、项目简介管道广泛应用于市政工程、石油化工、给排水等领域长期运行易出现破损、堵塞、异物堆积、裂纹等问题人工巡检难度大、风险高。本项目依托自带摄像装置的管道内部巡检软体机器人搭载香橙派AIPro边缘计算设备利用YOLOv8目标检测算法实现管道内部的实时图像采集、缺陷自动识别、异物目标检测。整套方案分为三步PC端采集管道图像数据集训练YOLOv8模型生成best.pt权重文件将.pt模型转为通用ONNX格式完成模型校验与精度对齐在香橙派AIPro上通过昇腾ATC工具编译为硬件适配的.om模型实现机器人端离线推理本文提供全套可直接运行的代码、完整操作步骤无需复杂修改即可落地到管道巡检软体机器人设备上。二、应用场景适用设备带视觉摄像头的管道内部巡检软体机器人检测目标管道裂纹、破损、堵塞物、异物、腐蚀点、淤泥堆积等运行环境狭小密闭管道、地下管网、工业管道等复杂场景优势边缘端离线推理、低功耗、实时检测、适配机器人移动作业三、环境依赖准备3.1 本地PC训练转换环境用于模型训练、PT权重验证、ONNX格式转换配备常规电脑即可pipinstallultralytics onnx onnxruntime opencv-python numpy onnx-simplifier3.2 机器人端设备环境香橙派AIPro核心芯片Ascend310B4搭载设备管道巡检软体机器人主控预装软件Ascend CANN开发套件、ATC模型转换工具、AscendCL运行环境外设机器人搭载的高清管道摄像头四、本地PT模型验证推理在模型格式转换前先对PC端训练好的.pt权重进行推理校验确认模型能正常识别管道内部目标保证权重无损坏、精度达标。# pt_infer.py# 管道巡检机器人 YOLOv8 权重验证代码fromultralyticsimportYOLOimportnumpyasnp# 路径配置替换为你的模型和测试图片路径model_pathD:/suanfa1/yolov8/runs/detect/train3/weights/best.pt# 测试图建议选用管道内部实拍图贴合机器人采集画面image_pathD:/suanfa1/yolov8/dataset/test/images/4560_jpg.rf.8c932b6c93142dddbdbb2669fa475a62.jpgdefload_and_infer():# 加载YOLOv8模型try:modelYOLO(model_path)print(f✅ 成功加载管道巡检模型{model_path})exceptExceptionase:print(f❌ 模型加载失败{e})return# 对管道内部图片进行推理print(f\n 正在推理管道巡检图片{image_path})resultsmodel(image_path,conf0.25,saveFalse)# 打印检测结果print(f\n 推理完成共识别到{len(results)}组目标\n)fori,outinenumerate(results):print(*60)print(f 输出{i}: )print(*60)print(\n【完整输出信息】)print(out)# 解析管道缺陷/异物检测结果print(\n【解析后关键检测信息】)ifout.boxesisnotNone:boxesout.boxesprint(f管道内检测目标总数{len(boxes)})forbox_idx,boxinenumerate(boxes):# 提取目标坐标、置信度、类别xyxybox.xyxy[0].cpu().numpy()confbox.conf[0].cpu().numpy()cls_idint(box.cls[0].cpu().numpy())cls_namemodel.names[cls_id]print(f\n 目标{box_idx1}:)print(f 边界框{np.round(xyxy,2)})print(f 置信度{conf:.4f})# 类别对应管道裂纹、堵塞物、异物等自定义标签print(f 检测类别{cls_name}(ID:{cls_id}))print(\n-*60)if__name____main__:load_and_infer()运行结果能正常识别管道内部缺陷、障碍物输出坐标和类别即可进入下一步格式转换。五、PT一键转ONNX验证推理本脚本集成三大功能PT模型转ONNX 模型合法性校验 ONNX Runtime推理推理结果与原生PT格式完全对齐贴合机器人部署需求避免精度丢失。# pt2onnx.py# 管道巡检机器人 模型格式转换专用代码fromultralyticsimportYOLOimportonnximportonnxruntimeasortimportnumpyasnpimportcv2importos# 路径配置替换为你的本地路径model_pathD:/suanfa1/yolov8/runs/detect/train3/weights/best.ptonnx_output_pathos.path.splitext(model_path)[0].onnx# 测试图采用管道内部实拍图image_pathD:/suanfa1/yolov8/dataset/test/images/4560_jpg.rf.8c932b6c93142dddbdbb2669fa475a62.jpg# 模型参数与训练、机器人推理保持一致imgsz640conf_threshold0.25iou_threshold0.45# 修改为你的管道检测类别总数如裂纹、堵塞、异物等num_classes4defconvert_pt_to_onnx():print(*80)print(管道巡检模型PT 正在转为 ONNX 格式)print(*80)try:modelYOLO(model_path)print(✅ PT模型加载成功)exceptExceptionase:print(f❌ 加载失败:{e})returnFalse# 昇腾平台兼容配置model.export(formatonnx,imgszimgsz,opset12,simplifyTrue,saveTrue,batch1,confconf_threshold,iouiou_threshold)# 校验ONNX模型是否生成ifos.path.exists(onnx_output_path):size_mbos.path.getsize(onnx_output_path)/(1024*102)print(f ONNX生成成功:{onnx_output_path}大小:{size_mb:.2f}MB)returnTruereturnFalsedefvalidate_onnx_model():print(\n*80\n校验ONNX模型合法性适配昇腾芯片\n*80)try:onnx_modelonnx.load(onnx_output_path)onnx.checker.check_model(onnx_model)print(✅ ONNX结构合法可用于昇腾转换)returnTrueexceptExceptionase:print(f❌ 校验失败:{e})returnFalse# 图像预处理与机器人摄像头采集逻辑一致defpreprocess_image(image_path,target_size640):imgcv2.imread(image_path)orig_h,orig_wimg.shape[:2]scalemin(target_size/orig_w,target_size/orig_h)new_w,new_hint(orig_w*scale),int(orig_h*scale)img_resizedcv2.resize(img,(new_w,new_h))# 黑边填充保持图像比例不变canvasnp.zeros((target_size,target_size,3),np.uint8)ox,oy(target_size-new_w)//2,(target_size-new_h)//2canvas[oy:oynew_h,ox:oxnew_w]img_resized# 格式转换img_rgbcv2.cvtColor(canvas,cv2.COLOR_BGR2RGB)tensorimg_rgb.transpose(2,0,1).astype(np.float32)/255.0tensornp.expand_dims(tensor,axis0)returnimg,tensor,orig_w,orig_h,scale,ox,oy# 后处理解析还原管道目标坐标defpostprocess_output(outputs,orig_w,orig_h,scale,ox,oy,conf_thres,iou_thres):outputoutputs[0][0].transpose(1,0)cxcywhoutput[:,:4]cls_scoresoutput[:,4:]confsnp.max(cls_scores,axis1,keepdimsTrue)cls_idsnp.argmax(cls_scores,axis1,keepdimsTrue)# 过滤低置信度目标maskconfsconf_thres maskmask.squeeze()cxcywh,confs,cls_idscxcywh[mask],confs[mask],cls_ids[mask]iflen(cxcywh)0:returnnp.array([]),np.array([]),np.array([])# 坐标转换cxnp.clip(cxcywh[:,0],0.01,0.99)*imgsz cynp.clip(cxcywh[:,1],0.01,0.99)*imgsz wnp.clip(cxcywh[:,2],0.01,0.99)*imgsz hnp.clip(cxcywh[:,3],0.01,0.99)*imgsz x1,y1cx-w/2,cy-h/2x2,y2cxw/2,cy-h/2boxesnp.stack([x1,y1,x2,y2],axis1)# 映射回原图尺寸boxes[:,[0,2]](boxes[:,[0,2]]-ox)/scale boxes[:,[1,3]](boxes[:,[1,3]]-oy)/scale boxesnp.clip(boxes,0,[orig_w,orig_h,orig_w,orig_h])# 非极大值抑制去重框idxcv2.dnn.NMSBoxes(boxes.tolist(),confs[:,0].tolist(),conf_thres,iou_thres)iflen(idx)0:returnnp.array([]),np.array([]),np.array([])idxidx.flatten()returnboxes[idx],confs[idx],cls_ids[idx]# ONNX推理definfer_onnx_model():print(\n*80\nONNX 模型推理模拟机器人端运行\n*80)_,tensor,orig_w,orig_h,scale,ox,oypreprocess_image(image_path)sessort.InferenceSession(onnx_output_path,providers[CPUExecutionProvider])in_namesess.get_inputs()[0].name# 测速importtime t0time.time()outssess.run(None,{in_name:tensor})t_cost(time.time()-t0)*1000# 解析结果boxes,confs,cls_idspostprocess_output(outs,orig_w,orig_h,scale,ox,oy,conf_threshold,iou_threshold)modelYOLO(model_path)print(f推理耗时:{t_cost:.2f}ms 管道内检测目标数量:{len(boxes)})fori,(b,c,cls)inenumerate(zip(boxes,confs,cls_ids)):cidcls.item()cnamemodel.names[cid]print(f\n目标{i1}坐标:{np.round(b,2)}置信度:{c[0]:.4f}类别:{cname})if__name____main__:ifconvert_pt_to_onnx()andvalidate_onnx_model():infer_onnx_model()关键参数说明适配管道机器人imgsz640与训练、机器人摄像头采集尺寸严格对齐保证识别精度opset12昇腾310B4兼容性最优避免转换报错simplifyTrue精简模型算子降低设备功耗适合机器人长时间作业六、香橙派ATC转为OM模型ONNX模型无法直接在香橙派AIPro上运行需通过昇腾ATC工具编译为.om离线模型部署到管道巡检软体机器人。6.1 上传ONNX模型将生成的best.onnx文件上传至香橙派指定路径可自定义/home/HwHiAiUser/suanfa/guiguigui/haigui_change/6.2 执行ATC转换命令登录香橙派终端进入CANN环境执行以下命令atc\--model/home/HwHiAiUser/suanfa/guiguigui/haigui_change/best.onnx\--framework5\--output/home/HwHiAiUser/suanfa/guiguigui/haigui_change/best\--soc_versionAscend310B46.3 转换结果命令执行完毕后对应目录会生成best.om文件即为管道巡检机器人专用推理模型。七、机器人端推理开发说明将.om模型部署到软体机器人后按照以下流程开发推理程序实现管道内部实时检测初始化启动香橙派加载AscendCL环境载入.om模型图像采集调用机器人搭载的摄像头实时采集管道内部画面图像预处理复用本文代码中的预处理逻辑保证格式对齐模型推理调用OM模型完成缺陷、异物识别结果解析解析目标坐标、类别标记管道问题点后续动作存储检测数据、回传结果、控制机器人避障资源释放推理结束释放模型与设备资源整套推理流程轻量化适合管道内移动作业、低功耗长时间运行。八、常见问题排查问题现象原因与解决方案PT转ONNX失败更新ultralytics库开启simplify参数opset固定为12ONNX校验不通过固定batch1去除动态轴用onnx-simplifier手动优化ATC转换OM报错核对soc_version为Ascend310B4降低opset版本检查模型路径机器人端识别不准预处理逻辑与PC端不一致补全填充、缩放步骤用管道实拍图训练模型推理速度慢开启模型精简降低输入分辨率关闭冗余后处理九、开源声明与协议开源说明本项目全套代码、文档已开源至AtomGit平台完全免费专为管道内部巡检软体机器人场景定制。包含PT权重验证代码、PT转ONNX代码、ATC转换命令、部署教程适用个人学习、毕业设计、工程项目二次开发欢迎Star、Fork提交Issue交流优化共同完善管道巡检AI方案