1. 项目概述为什么要在边缘设备上跑神经网络最近几年AI应用从云端下沉到边缘的趋势越来越明显。无论是智能摄像头里的人脸识别、工业质检设备上的缺陷检测还是智能音箱里的语音唤醒都要求模型能在本地、低功耗的设备上实时运行。这就催生了对嵌入式AI开发的需求。然而对于很多嵌入式开发者来说从熟悉的单片机、RTOS世界一脚踏入需要运行Linux、部署神经网络模型的领域中间横亘着不小的鸿沟。米尔电子基于NXP i.MX6UL处理器推出的MYD-Y6ULX-V2开发板就是这样一块绝佳的“桥梁板”。它性能适中、接口丰富、功耗极低更重要的是它原生支持Linux系统让我们可以在一个相对友好的环境中去实践那些在x86服务器或高端工控机上才能玩的AI技术。这次我选择将腾讯开源的轻量级神经网络推理框架ncnn移植到这块板子上并完成基础测试。整个过程就是一个典型的嵌入式Linux AI应用开发流程的缩影从交叉编译环境搭建、依赖库处理到框架移植、模型转换最后是性能测试与优化。如果你手头也有一块类似的板子或者对如何在资源受限的设备上部署AI模型感到好奇那么这篇记录或许能给你一些直接的参考。2. 开发环境与工具链准备工欲善其事必先利其器。在嵌入式开发中环境配置是第一步也是最容易踩坑的一步。我们的目标是在x86_64架构的Ubuntu主机上编译出能在ARM Cortex-A7架构的i.MX6UL上运行的ncnn库和示例程序。2.1 交叉编译工具链的选择与安装i.MX6UL的CPU是ARM Cortex-A7核心运行的是32位的ARMv7指令集。NXP官方为Yocto项目提供了完整的工具链但为了通用性和简便性我选择了Linaro出品的ARM裸机工具链arm-linux-gnueabihf。这个“hf”代表硬浮点Hard Float能充分利用i.MX6UL的浮点运算单元VFPv4对于神经网络计算至关重要。在Ubuntu主机上安装非常简单sudo apt-get update sudo apt-get install gcc-arm-linux-gnueabihf g-arm-linux-gnueabihf安装完成后可以通过arm-linux-gnueabihf-gcc -v命令验证版本。我使用的是gcc version 9.4.0足够新以支持C14等现代特性又足够稳定。注意务必确认工具链的libc版本与开发板根文件系统中的版本兼容。一个简单的检查方法是在开发板上运行ldd --version查看glibc版本。如果工具链的libc版本高于板子上的编译出的程序可能会因找不到某些符号而无法运行。米尔提供的系统通常基于较旧的Yocto版本因此不建议使用太新的工具链。2.2 第三方依赖库的交叉编译ncnn本身依赖较少核心是矩阵运算。为了发挥最大性能我们需要为ARM平台编译优化后的数学库。这里有两个关键依赖Protobufncnn的模型转换工具onnx2ncnn等需要Protobuf来解析ONNX模型。我们需要交叉编译Protobuf的C版本。# 下载 protobuf 源码以3.20.x版本为例 wget https://github.com/protocolbuffers/protobuf/releases/download/v3.20.3/protobuf-cpp-3.20.3.tar.gz tar zxvf protobuf-cpp-3.20.3.tar.gz cd protobuf-3.20.3 # 配置交叉编译 ./configure --hostarm-linux-gnueabihf --prefix/opt/protobuf-arm --disable-shared make -j$(nproc) sudo make install这里使用了--disable-shared只编译静态库是为了简化后续部署避免在板子上额外配置动态库路径。OpenBLAS 或 Eigenncnn的后端计算可以选择OpenBLAS更优的矩阵乘性能或Eigen纯头文件库更方便。对于Cortex-A7OpenBLAS有专门的ARM优化。但经过测试在单核A7上简单的Eigen后端与OpenBLAS差距不大且Eigen无需额外编译依赖更轻量。因此本项目选择使用ncnn内置的Eigen后端。如果你需要处理大尺寸矩阵乘可以尝试交叉编译OpenBLAS。2.3 ncnn源码获取与交叉编译配置直接从GitHub拉取ncnn源码并切换到某个稳定分支如20240216git clone https://github.com/Tencent/ncnn.git cd ncnn git checkout 20240216接下来是最关键的步骤配置CMake进行交叉编译。我们需要创建一个工具链文件toolchain.cmake来指明交叉编译器的路径、目标平台等信息。# toolchain.cmake set(CMAKE_SYSTEM_NAME Linux) set(CMAKE_SYSTEM_PROCESSOR arm) set(CMAKE_C_COMPILER arm-linux-gnueabihf-gcc) set(CMAKE_CXX_COMPILER arm-linux-gnueabihf-g) # 这里指定了板子根文件系统的路径用于查找头文件和库 set(CMAKE_FIND_ROOT_PATH /opt/protobuf-arm /path/to/your/rootfs) set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER) set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY) set(CMAKE_FIND_ROOT_PATH_MODE_PACKAGE ONLY)然后在ncnn源码目录外创建一个构建目录并使用CMake配置mkdir build-arm cd build-arm cmake -DCMAKE_TOOLCHAIN_FILE../toolchain.cmake \ -DCMAKE_BUILD_TYPERelease \ -DNCNN_BUILD_EXAMPLESON \ -DNCNN_BUILD_TOOLSON \ -DNCNN_DISABLE_RTTIOFF \ -DNCNN_DISABLE_EXCEPTIONOFF \ -DNCNN_OPENMPOFF \ # i.MX6UL单核OpenMP无益 -DNCNN_THREADSOFF \ # 先关闭多线程简化调试 -DNCNN_VULKANOFF \ # 无GPU关闭Vulkan -DNCNN_SIMPLEOMPOFF \ -DNCNN_RUNTIME_CPUOFF \ -DNCNN_AVX2OFF \ -DNCNN_ARM82OFF \ -DNCNN_BF16OFF \ -DNCNN_INT8OFF \ # 先测试FP32后续可尝试INT8量化 -DNCNN_PIXELON \ -DNCNN_PIXEL_ROTATEOFF \ -DNCNN_PIXEL_AFFINEOFF \ -DProtobuf_INCLUDE_DIR/opt/protobuf-arm/include \ -DProtobuf_LIBRARIES/opt/protobuf-arm/lib/libprotobuf.a \ -DProtobuf_PROTOC_EXECUTABLE/usr/bin/protoc \ # 使用主机版protoc ../ncnn实操心得CMAKE_FIND_ROOT_PATH非常关键。它告诉CMake在哪些目录下搜索依赖库。如果你将板子根文件系统通过NFS挂载到主机可以将挂载点路径加入此处。否则需要手动将板子上的关键库如libstdc.so.6拷贝到某个目录并加入此路径否则编译链接时会报错找不到库。配置成功后执行make -j$(nproc)开始编译。编译完成后在build-arm目录下的install文件夹中你会得到交叉编译好的ncnn库静态库.a或动态库.so和头文件以及examples/目录下的示例程序。3. ncnn库向开发板的移植与部署编译产出物需要正确部署到开发板上才能运行。这不仅仅是简单的文件拷贝。3.1 文件系统结构与库部署策略米尔i.MX6UL开发板通常运行由Yocto构建的根文件系统。我们需要将编译好的ncnn库和示例程序放入其中。有两种策略系统目录集成将libncnn.a或libncnn.so拷贝到板子的/usr/lib目录将头文件拷贝到/usr/include。这是最规范的方式使得所有应用程序都能方便地链接ncnn。但需要你有板子根文件系统的写权限并且最好在制作系统镜像时就集成进去。应用本地部署将ncnn库和可执行程序放在同一个应用目录下。例如创建一个/home/root/ncnn_demo目录里面包含可执行文件squeezenet、模型文件squeezenet.bin和squeezenet.param以及动态库libncnn.so。运行前需要设置环境变量export LD_LIBRARY_PATH/home/root/ncnn_demo:$LD_LIBRARY_PATH来让系统找到本地库。这种方式灵活适合调试和单个应用分发。我采用第二种方式因为它不需要动系统分区更安全方便。通过TF卡、U盘或者scp命令将build-arm/install下的文件传输到开发板。3.2 模型文件的准备与转换ncnn使用自定义的模型格式包含一个网络结构描述文件.param和一个模型权重文件.bin。我们需要将主流框架如PyTorch、TensorFlow、Caffe训练好的模型转换过来。以经典的SqueezeNet为例我们可以使用ncnn提供的预转换模型也可以自己动手。这里演示从ONNX模型转换在主机上准备转换工具确保你在主机上编译了ncnn非交叉编译这样可以得到onnx2ncnn工具。位于build-host/tools/onnx/onnx2ncnn。获取或导出ONNX模型从PyTorch导出SqueezeNet的ONNX模型。import torch import torchvision.models as models model models.squeezenet1_1(pretrainedTrue) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, squeezenet1_1.onnx, opset_version11)执行模型转换./onnx2ncnn squeezenet1_1.onnx squeezenet.param squeezenet.bin转换后得到的squeezenet.param和squeezenet.bin就是ncnn所需的模型文件。将它们拷贝到开发板的应用目录下。注意事项模型转换并非总能一帆风顺。某些特殊的算子Operator可能不被ncnn支持。如果转换失败或转换后的模型推理出错需要检查ncnn的算子支持列表并考虑修改原始模型结构或自定义实现ncnn层。对于SqueezeNet这类经典模型通常没有问题。3.3 基础功能验证编译与运行测试示例部署完成后首先运行ncnn自带的简单测试程序验证库的基本功能是否正常。在开发板上进入你的应用目录运行一个最简单的示例比如test_mem。这个程序测试内存分配和释放不涉及模型加载。chmod x test_mem ./test_mem如果运行成功输出一些内存信息说明ncnn库本身加载正常C运行时环境也没问题。接下来运行一个涉及模型加载和简单计算的示例比如test_net。你需要一个非常简单的测试模型ncnn源码tests目录下有一些。# 假设你将测试模型文件放在了当前目录 ./test_net test.param test.bin这个步骤验证了文件IO、模型解析、基础计算层如Convolution、ReLU在目标板上的功能是否完好。如果这一步通过恭喜你最棘手的移植部分基本成功了。4. 基准模型测试与性能分析基础验证通过后我们就可以用真实的神经网络模型来测试性能了。这是评估板子AI算力的核心环节。4.1 测试模型与输入数据准备我选择了三个具有代表性的轻量级模型进行测试覆盖了分类和检测任务SqueezeNet 1.1极致的轻量化分类网络参数量少计算量相对较低。MobileNetV2移动端经典的分类网络使用了倒残差结构和线性瓶颈在精度和速度间取得了很好平衡。nanodet-m超轻量级的单阶段目标检测网络适合边缘设备我们可以测试其检测一张图片中多个物体的耗时。输入数据方面准备一张224x224的RGB图片用于分类模型和一张320x320的图片用于检测模型。将图片数据以二进制形式例如从OpenCV读取后序列化的float32数组保存为文件或者直接在代码中构造一个随机张量。4.2 性能测试代码编写与关键指标我们以SqueezeNet为例编写一个简单的C测试程序。核心是测量前向推理Forward的耗时。#include ncnn/net.h #include chrono int main() { ncnn::Net squeezenet; // 加载模型 squeezenet.load_param(squeezenet.param); squeezenet.load_model(squeezenet.bin); // 准备输入 ncnn::Mat in ncnn::Mat::from_pixels_resize(image_data, ncnn::Mat::PIXEL_BGR, img_w, img_h, 224, 224); const float mean_vals[3] {104.f, 117.f, 123.f}; // 注意SqueezeNet使用的均值 const float norm_vals[3] {1.f, 1.f, 1.f}; in.substract_mean_normalize(mean_vals, norm_vals); ncnn::Extractor ex squeezenet.create_extractor(); ex.input(data, in); ncnn::Mat out; // 预热一次避免冷启动误差 ex.extract(prob, out); // 正式计时循环多次取平均 const int loop_num 100; auto start std::chrono::high_resolution_clock::now(); for (int i 0; i loop_num; i) { ex.extract(prob, out); } auto end std::chrono::high_resolution_clock::now(); auto duration std::chrono::duration_caststd::chrono::microseconds(end - start); float avg_time_ms duration.count() / 1000.0 / loop_num; printf(SqueezeNet average inference time: %.2f ms\n, avg_time_ms); // 处理输出获取分类结果这里省略argmax代码 // ... return 0; }将这段代码交叉编译记得链接ncnn库和protobuf库上传到板子运行。关键性能指标单次推理耗时ms最直观的指标直接反映模型运行速度。CPU占用率使用top命令查看推理时CPU应接近100%单核。内存占用使用free -m或top查看关注程序运行前后内存的变化评估模型加载和推理对内存的消耗。功耗/温度对于电池供电设备尤为重要。可以通过外接电流计或读取板载传感器如果支持来监测推理时的功耗和芯片温度变化。4.3 i.MX6UL实测数据与瓶颈分析在米尔MYD-Y6ULX-V2开发板主频696MHz上我的实测数据大致如下环境Linux 4.1.15 无其他负载模型输入尺寸平均推理耗时 (ms)备注SqueezeNet 1.1224x224~450 msFP32精度MobileNetV2 1.0224x224~1200 msFP32精度nanodet-m320x320~1800 msFP32精度包含后处理数据分析与瓶颈解读绝对性能可以看到即使是轻量级的SqueezeNet单次推理也需要近半秒。这决定了其应用场景只能是低帧率如1-2 FPS的识别任务无法用于实时视频流分析。计算瓶颈Cortex-A7是顺序执行架构没有乱序执行且主频较低。神经网络中大量的乘加运算MAC是其沉重负担。使用perf工具分析会发现热点集中在卷积层Convolution和全连接层InnerProduct的计算上。内存带宽i.MX6UL的DDR3内存带宽有限。模型权重和中间特征图在内存中的频繁搬运也会成为瓶颈尤其是在层数较深、特征图较大的模型中如MobileNetV2。优化空间使用ncnn的量化功能将FP32模型转换为INT8模型可以大幅减少内存占用和计算量通常能带来2-4倍的加速且精度损失可控。这是对这类低算力平台最有效的优化手段。尝试Winograd卷积ncnn对3x3卷积支持Winograd算法可以减少计算量。在CMake编译时开启-DNCNN_WINOGRADON并重编译。模型剪枝与蒸馏在训练阶段就获得更小、更高效的模型比在推理阶段优化更根本。踩坑记录最初测试时发现推理速度比预期慢很多。排查后发现板子上的Linux内核默认的CPU频率调度器governor是ondemand或conservative。在推理开始时CPU频率会从低频逐步爬升到最高频导致前几次推理特别慢。通过echo performance /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor命令将调度器设置为performance让CPU始终以最高频率运行获得了更稳定且更快的推理速度。当然这会增加功耗。5. 实战构建一个图像分类应用理论测试通过后我们来构建一个简单的端到端应用一个从摄像头捕获图像并进行分类的Demo。这会将之前所有步骤串联起来。5.1 使用V4L2捕获摄像头图像米尔开发板带有CSI接口可以连接摄像头模块。我们使用Video for Linux 2 (V4L2) API来捕获图像。这里不展开V4L2的详细编程其基本流程是打开设备 - 设置格式 - 申请缓冲区 - 开始捕获 - 循环取帧 - 处理图像 - 停止捕获。关键点在于从V4L2获取的图像通常是YUV格式如YUYV或MJPEG而神经网络模型一般需要RGB或BGR格式的输入。我们需要进行颜色空间转换。ncnn提供了Mat::from_pixels和Mat::from_pixels_resize函数支持从多种格式包括YUV转换并缩放到模型输入尺寸。// 伪代码示例 unsigned char yuv_buffer[width * height * 2]; // 假设是YUYV格式 // ... 通过V4L2的dqbuf获取一帧数据到yuv_buffer ... ncnn::Mat in ncnn::Mat::from_pixels_resize(yuv_buffer, ncnn::Mat::PIXEL_YUV2BGR_YUYV, width, height, target_w, target_h); // 现在 in 就是BGR格式尺寸为 target_w x target_h 的Mat了 in.substract_mean_normalize(mean_vals, norm_vals); // 减去均值归一化5.2 将推理结果与业务逻辑结合获取到网络输出一个概率向量后我们需要解析它。通常是找到概率最大的那个类别ID然后通过一个标签文件如ImageNet的synset_words.txt将其映射为人类可读的类别名称。// 假设 out 是 shape为 (1, 1000) 的输出Mat float* prob out.row(0); int max_idx 0; float max_prob prob[0]; for (int i1; i1000; i) { if (prob[i] max_prob) { max_idx i; max_prob prob[i]; } } printf(Predicted: Class ID %d, Prob %.4f\n, max_idx, max_prob); // 根据 max_idx 查找标签文本在实际应用中你可能还需要设置一个置信度阈值例如0.6只有当最大概率超过阈值时才认为识别有效否则输出“未知”。对于检测模型还需要解析边界框进行非极大值抑制NMS等后处理。5.3 系统集成与资源管理一个健壮的应用需要考虑更多帧率控制由于单次推理耗时数百毫秒实际帧率可能只有1-2 FPS。你需要设计一个生产者-消费者模型例如一个线程负责抓图生产者另一个线程负责推理消费者用一个队列缓冲图像避免丢帧或阻塞。资源释放确保在程序退出或异常时正确关闭摄像头设备、释放V4L2缓冲区。日志与状态输出将推理结果、耗时、帧率等信息输出到控制台、文件或网络方便调试和监控。功耗管理如果应用是间歇性工作可以在空闲时通过Linux的cpufreq或runtime_pm接口降低CPU频率进入低功耗状态。6. 常见问题排查与优化技巧在移植和测试过程中我遇到了不少问题这里总结一下希望能帮你绕过这些坑。6.1 编译与链接阶段问题问题现象可能原因解决方案arm-linux-gnueabihf-g: not found交叉编译工具链未安装或未在PATH中使用apt-get install安装或手动下载工具链并设置PATH环境变量。fatal error: xxx.h: No such file or directory头文件搜索路径错误未找到依赖库的头文件。检查CMake的CMAKE_FIND_ROOT_PATH是否包含了依赖库的安装路径如/opt/protobuf-arm。undefined reference tostd::xxx链接时找不到C标准库。确保交叉编译工具链的libstdc版本与板子上的兼容。板子上可能缺少对应的.so文件需要从工具链的arm-linux-gnueabihf/libc/usr/lib目录拷贝到板子的/lib或设置LD_LIBRARY_PATH。error while loading shared libraries: libncnn.so.xxx: cannot open shared object file运行时动态链接失败板子上找不到ncnn库。将libncnn.so拷贝到板子的/usr/lib或应用目录并确保LD_LIBRARY_PATH环境变量包含了该目录。编译ncnn时Protobuf相关错误Protobuf库未正确交叉编译或CMake未找到。确认Protobuf已用--host选项交叉编译并make install。在CMake命令中显式指定Protobuf_INCLUDE_DIR和Protobuf_LIBRARIES的路径。6.2 运行时问题问题现象可能原因解决方案程序运行立即Segmentation fault1. 栈溢出嵌入式系统默认栈空间可能只有8MB。2. 内存对齐问题某些ARM架构对内存访问有对齐要求。3. 动态库不兼容。1. 使用ulimit -s unlimited临时扩大栈空间或在编译时添加-Wl,-z,stack-size8388608链接选项。2. 检查代码中是否有未对齐的内存访问。ncnn的Mat数据默认是对齐的。3. 使用file和readelf命令检查可执行文件和动态库的架构ARM是否匹配。推理结果完全错误全零或随机1. 模型文件损坏或未正确传输。2. 输入数据预处理错误均值、归一化、颜色通道顺序。3. 模型输出层名称不对。1. 使用md5sum检查板子上的模型文件与主机上的是否一致。2.这是最常见的原因仔细核对模型训练时使用的预处理方式。SqueezeNet常用BGR输入和[104, 117, 123]均值MobileNet常用RGB输入和[0.485, 0.456, 0.406]均值与[0.229, 0.224, 0.225]标准差。使用OpenCV的cvtColor和Scalar减法在主机上验证预处理代码。3. 使用net.load_param(“xxx.param”)后可以用net.input_names()和net.output_names()打印输入输出blob名称进行确认。推理速度异常慢远超预期1. CPU频率被限制在低频。2. 系统负载过高有其他进程抢占CPU。3. ncnn未启用优化如未使用多线程虽然A7是单核但某些SIMD优化可能受影响。4. 内存带宽瓶颈。1. 检查CPU频率调节器cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor设置为performance。2. 使用top命令查看系统负载关闭不必要的后台服务。3. 确认编译时开启了-DNCNN_THREADSON虽然单核但内部可能有一些并行优化并尝试在代码中set_omp_num_threads(1)。4. 对于内存带宽瓶颈优化手段有限主要靠模型量化减少数据搬运量。6.3 性能优化进阶技巧当基础功能跑通后可以尝试以下优化来压榨硬件性能模型量化INT8这是提升速度最有效的方法。ncnn提供了完整的量化工具链。你需要准备一个校准数据集几百张有代表性的图片使用ncnn2table生成量化表再用ncnn2int8将FP32模型转换为INT8模型。在i.MX6UL上INT8推理速度通常能有2-3倍的提升。利用NEON SIMD指令Cortex-A7支持NEON高级SIMD扩展。ncnn的卷积、池化等算子在编译时会自动启用NEON优化通过-DNCNN_ARM82OFF其实是指令集选择A7应使用ARMv7的NEON。确保你的交叉编译工具链支持-mfpuneon-vfpv4标志gcc-arm-linux-gnueabihf默认支持。你可以通过反汇编查看生成的代码是否使用了NEON指令。内存池优化ncnn内部有内存分配器。对于连续推理的场景可以创建ncnn::Allocator并设置给Net对象重用中间层的内存减少动态内存分配的开销。输入尺寸固定化如果你的应用输入图片尺寸是固定的可以在模型转换后手动编辑.param文件将第一层输入的尺寸写死例如从-1 3 -1 -1改为1 3 224 224。这有助于ncnn在加载模型时进行一些常量折叠和内存优化。整个项目从环境搭建到性能调优走下来最大的体会是在嵌入式设备上部署AI是一个在“算力、内存、功耗、精度、速度”之间反复权衡的工程。i.MX6UL这样的入门级板卡虽然无法运行复杂的模型但它为我们理解整个流程——从交叉编译、模型转换到性能分析与优化——提供了一个绝佳的实践平台。当你成功让第一行识别结果在屏幕上显示出来时那种成就感是单纯在服务器上跑通代码无法比拟的。这只是一个起点后续你可以尝试更复杂的模型、探索INT8量化、甚至结合硬件加速器如i.MX8系列的NPU一步步深入嵌入式AI的广阔世界。