rockx人脸检画框测大体流程本次代码主要实现如何通过rockx的框架进行人脸的检测并把人脸画出来。具体的流程如下总共分成四步第一步是初始化rockx人脸检测框架、第二步是读取人脸图片、第三步是调用rockx的人脸检测API对其进行人脸检测、第四步循环人脸数量并使用Opencv进行画框、第五步保存图像.1.初始化rockx人脸检测框架上图是初始化步骤首先要使用rockx_create_config分配rockx_config_t结构体并使用rockx_add_config把对应的rockx路径配置进去在我们的板子里面在/userdata/rockx_data里面并使用rockx_create创建rockx_handle_t句柄。2.读取人脸图片读取对应的人脸图片在rockx里面用rockx_image_read来读取对应的人脸图片。并把人脸的特征数据传入到rockx_image_t结构体里面。3.调用rockx的人脸检测API对其进行人脸检测调用rockx_face_detect对图片进行人脸检测这里的输入的是input_image这个是由rockx_image_read读取的图片数据输出的数据是rockx_object_array_t后面的数据则都是通过rockx_object_array_t来处理。4.循环人脸数量并使用Opencv进行画框循环人脸数量人脸数量是face_array.count。然后获取人脸的坐标属性这里的坐标属性就是left、top、w、h并用OPENCV把input_image转换成Mat矩阵(Mat tmp_img Mat(input_image.height, input_image.width, CV_8UC3, input_image.data))转换完成之后再使用rectangle把坐标转换成矩形。5.保存人脸检测的图片最后用imwrite保存人脸检测后的图片并使用rockx_destroy销毁rockx_handle_t。最后的效果可以看到周董的脸上就已经出现矩形检测的框框。/**************************************************************************** * * Copyright (c) 2017 - 2019 by Rockchip Corp. All rights reserved. * * The material in this file is confidential and contains trade secrets * of Rockchip Corporation. This is proprietary information owned by * Rockchip Corporation. No part of this work may be disclosed, * reproduced, copied, transmitted, or used in any way for any purpose, * without the express written permission of Rockchip Corporation. * *****************************************************************************/ #include stdio.h #include memory.h #include sys/time.h #include rknn_rockx_include/rockx_type.h #include rknn_rockx_include/utils/rockx_config_util.h #include rknn_rockx_include/utils/rockx_image_util.h #include rockx.h #include opencv2/opencv.hpp #include opencv2/imgcodecs.hpp using namespace cv; int main(int argc, char **argv) { const char * img_path argv[1]; rockx_config_t * face_detect_config rockx_create_config(); rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, /userdata/rockx_data/); rockx_handle_t face_detect_handle; rockx_ret_t rockx_ret; rockx_module_t face_rockx_module ROCKX_MODULE_FACE_DETECTION_V2; rockx_ret rockx_create(face_detect_handle, face_rockx_module, face_detect_config, 0); if(rockx_ret ! ROCKX_RET_SUCCESS) { printf(rockx_create failed...\n); return -1; } rockx_image_t face_rockx_image; rockx_image_read(img_path, face_rockx_image, 1); rockx_object_array_t face_array; rockx_ret rockx_face_detect(face_detect_handle, face_rockx_image, face_array, nullptr); if(rockx_ret ! ROCKX_RET_SUCCESS) { printf(rockx_face_detect failed...\n); return -1; } Mat rockx_face_mat Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data); for (int i 0; i face_array.count; i) { int left face_array.object[i].box.left; int top face_array.object[i].box.top; int w face_array.object[i].box.right - face_array.object[i].box.left; int h face_array.object[i].box.bottom - face_array.object[i].box.top; Rect boudingRect(left, top, w, h); rectangle(rockx_face_mat, boudingRect, Scalar(255,255,0),1); } imwrite(output_face_det.jpg, rockx_face_mat); rockx_destroy(face_detect_handle); return 0; }代码详解1.rockx_create_config()rockx_config_t* rockx_create_config(void);参数无返回值指向新创建的rockx_config_t配置对象的指针。作用创建一个空的配置对象用于后续设置RockX模块的运行参数。代码示例rockx_config_t * face_detect_config rockx_create_config();这行代码创建了一个名为face_detect_config的配置对象用来保存人脸检测模块的配置。2.rockx_add_config()rockx_ret_t rockx_add_config(rockx_config_t *config, const char *key, const char *value);参数config指向已创建的配置对象的指针。key配置项的键名是一个字符串。常用键为ROCKX_CONFIG_DATA_PATH用于指定模型数据文件的存放路径。value与key对应的配置项的值。返回值rockx_ret_t枚举值ROCKX_RET_SUCCESS表示成功其他值表示失败。作用向配置对象中添加具体的配置键值对。代码示例rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, /userdata/rockx_data/);这行代码设置了模型文件的查找路径为/userdata/rockx_data/。3.rockx_create()rockx_ret_t rockx_create(rockx_handle_t *handle, rockx_module_t m, void *config, size_t config_size);参数handlerockx_handle_t类型的指针用于接收创建成功的模块句柄。mrockx_module_t枚举类型指定要创建的模块功能。例如ROCKX_MODULE_FACE_DETECTION_V2V2版本的人脸检测模块。ROCKX_MODULE_OBJECT_DETECTION目标检测模块。config指向配置对象rockx_config_t的指针。config_size配置对象的大小通常传入0即可。返回值rockx_ret_t枚举值ROCKX_RET_SUCCESS表示成功其他值表示失败。作用根据指定的模块类型和配置初始化RockX模块并创建操作句柄。这是使用任何RockX功能前必须先完成的初始化步骤。这行代码创建了一个V2版本的人脸检测模块并将操作句柄保存在face_detect_handle中后续所有检测操作都通过此句柄进行。4.rockx_image_read函数原型rockx_ret_t rockx_image_read(const char *img_path, rockx_image_t *image, int flag);参数img_path图像文件的路径字符串。image指向rockx_image_t结构体的指针用于存储读取到的图像数据。flag读取图像的标志Flag通常1表示以彩色模式读取。返回值rockx_ret_t枚举值ROCKX_RET_SUCCESS表示成功其他值表示失败。作用从文件路径读取图像并将其数据填充到rockx_image_t结构体中。代码示例rockx_image_read(img_path, face_rockx_image, 1);这行代码读取argv[1]路径下的图像并将数据存入face_rockx_image结构体。5.rockx_image_t结构体定义这不是一个函数而是一个用于存储图像信息的关键结构体。成员width图像的宽度像素。height图像的高度像素。datauint8_t*类型的指针指向存储实际图像像素数据的连续内存块。pixel_format图像的像素格式如RGB、BGR等。作用作为RockX SDK内部传递图像数据的标准容器。代码示例Mat rockx_face_mat Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data);这行代码巧妙地利用了rockx_image_t的成员将其中的数据指针data、width和height共享给OpenCV的Mat对象避免了数据拷贝实现了零开销的格式转换。6.rockx_face_detect函数原型rockx_ret_t rockx_face_detect(rockx_handle_t handle, rockx_image_t *in_image, rockx_object_array_t *out_objects, void *extra);参数handle由rockx_create创建的人脸检测模块句柄。in_image指向rockx_image_t的指针为输入图像。out_objects指向rockx_object_array_t结构体的指针用于接收检测到的人脸数组。每个对象object[i]都包含一个box矩形框left,top,right,bottom。extra扩展参数通常设置为nullptr。返回值rockx_ret_t枚举值ROCKX_RET_SUCCESS表示成功其他值表示失败。作用对输入图像执行人脸检测并将检测结果如人脸位置框返回到out_objects中。代码示例这行代码对之前读取的图像face_rockx_image进行人脸检测检测到的人脸信息如位置、大小会被保存至face_array中。7.rockx_destroy函数原型rockx_ret_t rockx_destroy(rockx_handle_t handle);参数handle要销毁的RockX模块句柄。返回值rockx_ret_t枚举值ROCKX_RET_SUCCESS表示成功。作用销毁由rockx_create创建的RockX模块句柄并释放其占用的所有资源。这是一个必须调用的清理函数以防止内存泄漏。代码示例rockx_destroy(face_detect_handle);这行代码释放了face_detect_handle所关联的人脸检测模块资源。