在资源受限的嵌入式设备上实现高精度、低延迟的目标检测，是当前智能摄像头、边缘计算等应用中的关键挑战。本文以 Rockchip 的 RV1106 嵌入式平台为例，结合百度开源的轻量级检测模型 PicoDet，探讨如何通过模型优化与硬件加速，在有限的计算资源下实现高效的实时目标检测。目前该模型测试可以达到 25 fps左右

---

一、背景介绍

1.1 RV1106 硬件特性

• 主频：1.2GHz Arm Cortex-A55 CPU
• 内存：256MB DDR3
• NPU算力：1TOPS INT8 运算能力
• 应用场景：适用于安防监控、智能家居、零售分析等对成本和功耗敏感的场景

1.2 PicoDet 模型优势

• 百度 PaddleDetection 推出的轻量级目标检测模型
• 支持多种骨干网络（如 LCNet、MobileNet）
• 在移动端和嵌入式设备中表现出色，兼顾精度与速度

---

二、主要挑战

挑战点	描述
内存限制	256MB 内存限制了模型大小与推理缓存
计算能力瓶颈	CPU 性能较弱，需依赖 NPU 加速
实时性要求	视频流处理需达到 15~30FPS 的帧率
精度保持	轻量化处理后仍需维持较高检测准确率

---

三、优化策略与解决方案

3.1 模型压缩技术

✅ 模型量化（FP32 → INT8）

• 使用 PaddleDetection 提供的量化工具链将浮点模型转换为 INT8 模型
• 优点：
  • 减少约 75% 的模型体积
  • 提升推理速度，降低功耗
• 注意事项：
  • 需确保校准集具有代表性，避免精度损失

✅ 权重剪枝

• 对不重要的神经元连接进行剪枝
• 可进一步减少模型参数量，提升推理效率
• 剪枝后需重新微调以恢复精度

3.2 输入图像分辨率优化

分辨率	推理速度	检测精度
320×320	快	较低
416×416	中等	平衡
640×640	慢	更高

• 建议：根据实际应用场景选择合适的输入尺寸（如 416×416 或 320×320）

3.3 利用 NPU 加速推理

• 将模型编译为 RKNN 格式，并运行在 RV1106 的 NPU 上
• 通过 SDK 接口绑定推理任务到 NPU，显著提升性能
• 示例流程：
  1. 模型导出为 ONNX/PaddlePaddle 格式
  2. 使用 RKNN Toolkit 编译成 .rknn 模型文件
  3. 调用 C++ SDK 接口加载并执行推理

---

四、API 接口说明

4.1 PaddleDetection 类

#include <lockzhiner_vision_module/vision/deep_learning/detection/paddle_det.h>

构造函数

PaddleDetection();

• 初始化对象及内部变量

Initialize()

bool Initialize(const std::string& model_path);

• 加载模型路径下的 .rknn 文件
• 返回值：成功返回 true，失败返回 false

SetThreshold()

void SetThreshold(float score_threshold = 0.5, float nms_threshold = 0.3);

• 设置置信度与 NMS 阈值

Predict()

std::vector<DetectionResult> Predict(const cv::Mat& image);

• 执行目标检测，返回结果列表

---

4.2 DetectionResult 类

#include <lockzhiner_vision_module/vision/utils/visualize.h>

方法	作用
box()	获取边界框 Rect
score()	获取置信度得分
label_id()	获取类别 ID

---

4.3 Visualize 工具函数

void Visualize(
    const cv::Mat& input_mat,
    cv::Mat& output_image,
    const std::vector<DetectionResult>& results,
    const std::vector<std::string>& labels = {},
    float font_scale = 0.4
);

• 将检测结果可视化至输出图像

---

五、示例代码解析

// 初始化模型
lockzhiner_vision_module::vision::PaddleDet model;
if (!model.Initialize(argv[1])) {
    std::cout << "Failed to load model." << std::endl;
    return 1;
}

// 设置阈值
model.SetThreshold(0.5, 0.3);

// 图像预处理 & 推理
cv::Mat input_mat = cv::imread("test.jpg");
auto results = model.Predict(input_mat);

// 结果可视化
cv::Mat output_image;
lockzhiner_vision_module::vision::Visualize(input_mat, output_image, results);
cv::imshow("output", output_image);
cv::waitKey(0);

🔗 完整源码地址

---

六、交叉编译与部署

6.1 编译环境搭建

• 安装 Docker 并进入 Lockzhiner 开发容器
• 配置交叉编译工具链与 OpenCV、SDK 路径

6.2 CMake 配置文件（简化版）

cmake_minimum_required(VERSION 3.10)
project(D01_test_detection)

set(CMAKE_CXX_STANDARD 17)

find_package(OpenCV REQUIRED)
find_package(LockzhinerVisionModule REQUIRED)

add_executable(Test-detection test_detection.cc)
target_include_directories(Test-detection PRIVATE ${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-detection PRIVATE ${OpenCV_LIBRARIES} ${LOCKZHINER_VISION_MODULE_LIBRARIES})

6.3 编译命令

cd build && rm -rf * && cmake ..
make -j8 && make install

---

七、运行测试

chmod +x Test-detection
./Test-detection ./LZ-Picodet.rknn

• 注意事项：
  • 确保模型已正确转换为 .rknn 格式
  • 若使用自定义数据集，请同步修改标签映射关系

---

八、总结与展望

本文系统地介绍了在 RV1106 平台上部署 PicoDet 模型的全过程，包括：

• 模型压缩（量化、剪枝）
• 输入分辨率优化
• NPU 加速方案
• API 接口使用
• 编译与部署流程

未来可进一步探索：

• 多线程处理与流水线优化
• 动态批处理（Dynamic Batch）提升吞吐
• 自适应分辨率调整机制

---

📣 开发者生态支持

• ✅ 关注 更新日志 获取最新模型支持
• ❓ 遇到问题？欢迎提交 Issue

---

📌 文档版本：v1.0
📌 最后更新时间：2025年5月15日