开发板
亚博K210开发板
实验目的
本次测试主要学习 K210 如何物体分类，然后通过 LCD 显示屏实时显示当前物体的分类名称。本节采用百度出的 PaddlePaddle 平台开发。
实验元件
OV2640 摄像头/OV9655 摄像头/GC2145 摄像头、LCD 显示屏
硬件连接
K210 开发板出厂默认已经安装好摄像头和显示器，只需要使用 type-C 数据线连接 K210 开发板与电脑即可。
实验原理
Kendryte K210 具备机器视觉能力，是零门槛机器视觉嵌入式解决方案。它可以在低功耗情况下进行卷积神经网络计算。相关介绍请看前面所述。
- 百度大脑 AI Studio 是针对 AI 开发者的在线一体化开发平台。 该平台集成了 AI 教程, 深度学习样例工程, 各领域典数据集,强大的云端算力资源及存储资源, 从而解决开发者在 AI 学习过程中的一系列难题, 例如样例代码难以直接应用, 高质量的数据集不易获得,以及本地环境难以使用大体量数据集进行模型训练等等.
- 百度 AI Studio 平台已经为使用者预置了 Python 语言环境, 以及百度PaddlePaddle 深度学习开发框架.
- 同时该平台还提供了 PaddlePi-K210 开发套件官方项目，开发者只需要复制相应的项目，重新训练，即可获取模型。您也可以修改成自己的数据集，进行训练, 以适配您的应用场景。
AI Studio 基本使用可以参考百度 AI 官网。
这是官方其他用户的：
https://aistudio.baidu.com/projectdetail/59854
亚博测试通过的项目：
https://aistudio.baidu.com/aistudio/projectdetail/403452?shared=1
- 点击上图网址的“运行一下”。会弹出登录，大家自行注册百度账号或者 github账号登录。
- 登录完成可以选择 fork 到自己项目中，或者直接运行，点击启动环境，可以选择 CPU 或者 GPU 版本，GPU
是需要算力卡的，一般每天会有 12 个小时使用，一般不追加速度直接选择 CPU 即可。如下图：
- 启动环境需要一段时间，启动完成会提示环境启动成功，点击进入即可。
为了简单起见，在此训练一个花的五分类模型。
1、fork 过来的项目已经带有 flower_photos.zip 数据集作为训练数据。
2、数据存储在 data/data2815/ 目录下，以压缩包的形式存在。
3、开发者只需要按顺序执行 cell 的代码，就能生成 paddle 模型，为了能在亚
博 K210 开发板上运行，cell8 开始是模型转换相关代码。
4、执行模型转换的相关代码后会在左边的根目录产生 mobilenet.kmodel 模型。
模型生成完成后，需要把模型运行到亚博 K210 开发板上。
5、下载 kmodel 到本机电脑上等待后续开发板调用。
实验步骤
- 代码流程
系统内部初始化部分：
系统时钟初始化
串口初始化
硬件引脚初始化
IO 电压设置
系统中断初始化
Flash 初始化
外部硬件初始化
Lcd 初始化
Ov2640 初始化
物体分类初始化
在这里插入代码片
物体分类业务逻辑层
等待摄像头采集完成
传入摄像头采集的图像到 KPU 运行模型
等待 KPU 处理完成
获取 KPU 最终处理的结果
把 KPU 处理的结果带入区域层计算最终标记分类结果
- 核心代码如下
int main()
{
/* Set CPU and dvp clk */
sysctl_pll_set_freq(SYSCTL_PLL0, 800000000UL);
sysctl_pll_set_freq(SYSCTL_PLL1, 400000000UL);
sysctl_pll_set_freq(SYSCTL_PLL2, 45158400UL);
sysctl_clock_enable(SYSCTL_CLOCK_AI);
//uarths_init();
plic_init();
io_set_power();
io_init();
/* LCD init */
printf("LCD init\n");
lcd_init();
lcd_set_direction(DIR_YX_LRUD);
lcd_clear(BLACK);
lcd_draw_picture_half(0, 0, 320, 240, logo);
lcd_draw_string(70, 40, "Hello Yahboom!", RED);
lcd_draw_string(70, 60, "5flower classification demo!", BLUE);
sleep(1);
/* DVP init */
printf("DVP init\n");
dvp_init(8);
dvp_sccb_set_clk_rate(1000000);//为了兼容GC2145不能太高的速率
dvp_set_xclk_rate(24000000);
dvp_enable_burst();
dvp_set_output_enable(0, 1);
dvp_set_output_enable(1, 1);
dvp_set_image_format(DVP_CFG_RGB_FORMAT);
dvp_set_image_size(320, 240);
int OV_type;
OV_type=OVxxxx_read_id();
/* 初始化摄像头 */
if(OV_type == OV_9655)
{
ov9655_init();
}
else if(OV_type == OV_2640)
{
ov2640_init();
}
else //读取gc2145摄像头
{
uint16_t device_id;
gc2145_read_id(&device_id);
printf("device_id:0x%04x\n", device_id);
if(device_id != GC2145_ID)
{
printf("Camera failure\n");
return 0;//打不开摄像头，结束
}
printf("This is the GC2145 camera\n");
gc2145_init();//初始化
}
kpu_image.pixel = 3;
kpu_image.width = 320;
kpu_image.height = 240;
image_init(&kpu_image);
display_image.pixel = 2; //2->3 LIUSEN
display_image.width = 320;
display_image.height = 240;
image_init(&display_image);
crop_image.pixel = 3;
crop_image.width = 224;
crop_image.height = 224;
image_init(&crop_image);
//存放AI图像的地址，供AI模块进行算法处理（红色、绿色、蓝色/分量地址）
dvp_set_ai_addr((uint32_t)kpu_image.addr, (uint32_t)(kpu_image.addr + 320 * 240), (uint32_t)(kpu_image.addr + 320 * 240 * 2));
//设置采集图像在内存中的存放地址，可以用来显示
dvp_set_display_addr((uint32_t)display_image.addr);
//图像开始采集中断| 图像结束采集中断
dvp_config_interrupt(DVP_CFG_START_INT_ENABLE | DVP_CFG_FINISH_INT_ENABLE, 0);
//禁用自动接收图像模式
dvp_disable_auto();
/* DVP interrupt config */
printf("DVP interrupt config\n");
plic_set_priority(IRQN_DVP_INTERRUPT, 1); //设置中断优先级
plic_irq_register(IRQN_DVP_INTERRUPT, dvp_irq, NULL); //注册外部中断函数
plic_irq_enable(IRQN_DVP_INTERRUPT); //使能外部中断
/* init model */
//加载 kmodel，需要与 nncase 配合使用
if (kpu_load_kmodel(&task1, model_data) != 0)
{
printf("Cannot load kmodel.\n");
exit(-1);
}
sysctl_enable_irq();
/* system start */
printf("System start\n");
while (1)
{
g_dvp_finish_flag = 0;
dvp_clear_interrupt(DVP_STS_FRAME_START | DVP_STS_FRAME_FINISH);
dvp_config_interrupt(DVP_CFG_START_INT_ENABLE | DVP_CFG_FINISH_INT_ENABLE, 1);
while (g_dvp_finish_flag == 0)
;
image_crop(&kpu_image, &crop_image, 48, 8);
g_ai_done_flag = 0;
if (kpu_run_kmodel(&task1, crop_image.addr, DMAC_CHANNEL5, ai_done, NULL) != 0)
{
printf("Cannot run kmodel.\n");
exit(-1);
}
while (!g_ai_done_flag);
float *features;
size_t output_size;
// 获取 KPU 最终处理的结果 KPU任务句柄 结果的索引值 结果 大小（字节）
kpu_get_output(&task1, 0, &features, &output_size);
size_t cls = argmax(features, 5);
const char *text = NULL;
switch (cls)
{
case 0:
text = "daisy";
break;
case 1:
text = "dandelion";
break;
case 2:
text = "roses";
break;
case 3:
text = "sunflowers";
break;
case 4:
text = "tulip";
break;
}
/* display pic*/
if (features[cls] > PROB_THRESH)
ram_draw_string(display_image.addr, 150, 20, text, RED);
lcd_draw_picture(0, 0, 320, 240, (uint32_t *)display_image.addr);
}
}
- 编译调试，烧录运行
进入自己项目 build目录，运行以下命令编译。
cmake .. -DPROJ=watchdog -G "MinGW Makefiles"
make
- 代码烧录方法
打开 kflash 将 object_detection.bin 文件烧录到 K210 开发板上。
如果想把代码和模型文件分开烧录，需要修改代码
#define LOAD_KMODEL_FROM_FLASH 0
改为
#define LOAD_KMODEL_FROM_FLASH 1
然后重新生成 bin 文件，这个时候我们需要把模型文件和 bin 文件打包成一个kfpkg 文件在烧录
实验现象
LCD 显示器先显示图片 logo 和文字，一秒后打开摄像头采集的画面，并且实时检测 20 种物体并标记位置和显示识别的结果。
实验总结
- 物体分类使用的是百度人工智能 paddlepaddle 的平台。
- 基于 paddlepaddle 平台可以比较轻松实现物体分类的功能。
