1. 为什么需要动态batchsize优化在实际的AI模型部署中我们经常会遇到输入数据量不固定的情况。比如视频分析场景可能同时有1路或8路视频需要实时处理又比如在线服务请求量会随时间波动。这时候如果使用固定batchsize要么浪费计算资源batchsize设太大要么无法充分利用硬件性能batchsize设太小。动态batchsize就是为解决这个问题而生。它允许模型在运行时接受不同batchsize的输入从最小到最大范围内灵活调整。TensorRT通过trtexec工具提供了完整的动态batchsize支持这也是我们今天要重点探讨的内容。我去年部署过一个工业质检系统就深刻体会到了动态batchsize的价值。产线上的检测请求忽多忽少用固定batchsize要么导致延迟波动要么GPU利用率上不去。后来改用动态batchsize方案吞吐量直接提升了3倍。2. trtexec工具基础使用2.1 工具安装与环境准备trtexec是TensorRT自带的命令行工具位于TensorRT安装目录的bin文件夹下。以TensorRT 8.6为例典型路径是cd /usr/local/TensorRT-8.6.1.6/bin使用前需要确保CUDA环境配置正确建议11.x版本cuDNN已安装且版本匹配系统PATH包含TensorRT的lib路径验证环境是否就绪的最简单方法是运行./trtexec --help如果能看到完整的参数说明说明环境配置正确。2.2 基础转换命令将ONNX模型转为TensorRT engine的基础命令格式如下./trtexec --onnxmodel.onnx \ --saveEnginemodel.engine \ --workspace4096 \ --fp16这里有几个关键参数--onnx指定输入的ONNX模型路径--saveEngine输出的TensorRT engine路径--workspaceGPU显存工作空间大小MB复杂模型需要更大空间--fp16启用FP16精度加速这个命令生成的是静态batchsize的engine。如果要处理动态batchsize就需要引入更多参数这正是下一节要详细讲解的内容。3. 动态batchsize配置实战3.1 核心参数解析动态batchsize需要三个关键参数配合使用--minShapesinput:1x3x224x224 \ --optShapesinput:8x3x224x224 \ --maxShapesinput:16x3x224x224这三个参数定义了batchsize的允许范围minShapes最小batchsize必须≥1optShapes最优batchsizeTRT会针对这个尺寸优化maxShapes最大batchsize取决于显存容量我建议把optShapes设成实际最常用的batchsize。比如在视频分析场景如果通常同时处理4路视频偶尔会到8路那就设--optShapesinput:4x3x224x224 \ --maxShapesinput:8x3x224x2243.2 实际案例演示以YOLOv4模型为例假设输入分辨率是416x416希望支持batchsize 1到8./trtexec --onnxyolov4.onnx \ --minShapesinput:1x3x416x416 \ --optShapesinput:4x3x416x416 \ --maxShapesinput:8x3x416x416 \ --workspace4096 \ --saveEngineyolov4_dynamic.engine \ --fp16这里有个实际经验当显存不足时需要适当降低maxShapes。比如原计划设maxShapes8x3x608x608但转换时报显存不足可以逐步下调到4x3x608x608。3.3 显存优化技巧动态batchsize会占用更多显存这里分享几个优化技巧workspace设置复杂模型需要更大workspace简单模型可以减小。一般从1024开始尝试精度选择FP16通常能在精度损失很小的情况下节省显存分批处理如果maxShapes还是太大可以考虑将大batch拆分成多个小batch处理我曾经处理过一个3D点云模型初始设置maxShapes8时报OOM。通过以下调整最终成功workspace从4096降到2048启用FP16maxShapes从8降到64. 性能测试与调优建议4.1 基准测试方法转换完成后可以用trtexec直接测试engine性能./trtexec --loadEngineyolov4_dynamic.engine \ --shapesinput:4x3x416x416 \ --iterations100关键测试参数--shapes指定测试用的batchsize--iterations迭代次数越多结果越稳定--duration最小测试时长秒建议测试min/opt/max三个batchsize的性能记录延迟和吞吐量。4.2 性能数据分析这是我实测某分类模型在不同batchsize下的性能Batchsize延迟(ms)吞吐量(imgs/s)15.219248.1494814.3559可以看到batchsize增大能提升吞吐量但收益递减延迟会随batchsize增加而增加optShapes应该设在吞吐量曲线拐点附近本例中4是个不错的选择4.3 高级调优技巧对于追求极致性能的场景还可以尝试int8量化添加--int8参数但需要校准数据tacticSources调整如--tacticSources-cublasLt禁用某些算法多stream并发--streams2使用两个流并行处理不过要注意这些高级优化可能需要多次尝试才能找到最佳组合。我在某项目中使用int8FP16混合精度最终获得了比纯FP16快1.8倍的性能。5. 常见问题排查5.1 转换失败问题问题现象转换过程中报错退出可能原因及解决方案ONNX模型问题用onnxruntime验证模型是否能正常推理显存不足减小workspace或maxShapes版本不兼容确保TensorRT版本支持ONNX opset版本我遇到过最棘手的一个问题是某些特殊算子不被支持最终解决方案是在导出ONNX前替换这些算子。5.2 推理异常问题问题现象engine能生成但推理结果不对排查步骤对比ONNX和engine在相同输入下的输出检查输入数据预处理是否一致尝试禁用FP16/INT8用FP32测试曾经有个案例是因为FP16精度下某些小数值被截断导致检测框位置偏移。解决方案是在模型最后添加一个FP32精度的输出层。5.3 性能不达预期问题现象engine运行速度比预期慢优化方向检查GPU利用率nvidia-smi看是否达到100%尝试不同的CUDA/cuDNN版本组合调整--avgTiming和--minTiming参数有个项目中将CUDA从11.0升级到11.4后性能直接提升了15%这提醒我们软件版本的选择也很关键。