基于 DAViD 算法的前景分割效果展示项目简介本项目是一个基于 DAViD (Denoising Aggregation for Vision and Depth) 算法的图像前景分割工具使用 ONNX 模型进行推理支持 CPU 和 CUDA 加速。项目采用 C# WinForms 开发提供友好的图形界面可以实时显示原始图像和分割后的透明背景结果。算法原理DAViD 前景分割算法DAViD 是一种先进的视觉前景分割算法其核心原理如下输入处理接收 RGB 三通道图像缩放到模型固定输入尺寸512×512特征提取通过 ViT (Vision Transformer) 骨干网络提取多层次视觉特征前景预测输出单通道掩膜Mask每个像素值范围 [0, 1]表示该像素属于前景的概率后处理将 512×512 的预测掩膜双线性插值回原始图像尺寸将浮点掩膜转换为 8 位 Alpha 通道0-255将 Alpha 通道与原始 BGR 图像合并生成 BGRA 四通道透明背景图像技术特点软掩膜输出默认输出软掩膜Soft Mask保留边缘过渡的半透明效果二值化支持可配置阈值进行二值化处理适用于需要硬边界的场景高效推理基于 ONNX Runtime支持 CPU 和 CUDA GPU 加速环境要求开发环境IDEVisual Studio 2019 或更高版本.NET Framework4.7.2C# 语言版本5.0操作系统Windows 10/11 (x64)依赖库依赖库版本用途OpenCvSharp4.13.0图像处理缩放、颜色转换、矩阵运算ONNX Runtime1.20.1ONNX 模型推理引擎System.Drawing.Common-图像格式转换硬件要求CPU 模式任意 x64 处理器CUDA 模式可选NVIDIA GPU支持 CUDA 12.x已安装 CUDA Toolkit 12.x已安装 cuDNN 9.x足够的显存建议 ≥ 4GB安装步骤1. 克隆或下载项目# 从 Git 仓库firc-projects获取gitclonerepository-urlcdFIRC2. 准备 ONNX 模型将 DAViD 前景分割 ONNX 模型文件放置在weights文件夹中bin\x64\Release\weights\foreground-segmentation-model-vitb16_384.onnx注意模型文件名必须与代码中的路径一致或修改Form1.cs中的modelPath变量。3. 安装 CUDA可选仅 GPU 加速需要如果使用 CUDA 加速需要安装以下组件NVIDIA 显卡驱动最新版本CUDA Toolkit 12.x从 NVIDIA 官网 下载cuDNN 9.x从 NVIDIA cuDNN 下载确保以下 DLL 文件存在于bin\x64\Release\目录cudart64_12.dllcublas64_12.dllcublasLt64_12.dllcudnn64_9.dll其他cudnn_*.dll文件4. 编译项目使用 Visual Studio 2019 打开FIRC.sln选择配置Release|x64生成解决方案生成→生成解决方案(CtrlShiftB)编译成功后可执行文件位于bin\x64\Release\FIRC.exe运行步骤方式一Visual Studio 运行在 Visual Studio 中打开项目设置启动项目为FIRC按F5或点击开始调试运行方式二直接运行可执行文件进入bin\x64\Release\目录双击FIRC.exe运行程序使用流程选择推理设备可选默认使用 CPU勾选 “CUDA 加速” 使用 GPU需提前安装 CUDA加载模型点击 “加载模型” 按钮等待状态栏显示 “状态模型已加载 [CPU]” 或 “[CUDA]”上传图片点击 “上传图片” 按钮选择要处理的图像文件支持 BMP、JPG、JPEG、TIFF、PNG开始推理点击 “开始推理” 按钮等待推理完成右侧显示分割结果底部显示推理耗时查看结果左侧显示原始图像右侧显示带透明背景的前景分割结果支持右键保存为 PNG 格式保留透明通道注意事项模型相关模型路径确保 ONNX 模型文件位于正确路径默认路径为bin\x64\Release\weights\foreground-segmentation-model-vitb16_384.onnx模型输入尺寸DAViD 模型固定输入为 512×512程序会自动缩放图像模型输出模型输出单通道掩膜形状为 [1, 1, 512, 512]值域 [0, 1]CUDA 加速DLL 依赖使用 CUDA 模式时必须确保所有 CUDA/cuDNN DLL 文件存在于运行目录版本匹配CUDA、cuDNN 版本必须与 ONNX Runtime 编译版本匹配CUDA 12.x, cuDNN 9.x显存不足如果 GPU 显存不足程序可能崩溃或回退到 CPU首次运行首次使用 CUDA 可能有初始化延迟图像处理支持格式BMP、JPG、JPEG、TIFF、PNG输出格式建议保存为 PNG 格式以保留透明通道内存管理程序会自动释放 OpenCV Mat 对象但处理超大图像时可能占用较多内存性能优化CPU 模式下处理 1080p 图像约需 100-500ms取决于 CPU 性能开发相关C# 版本项目使用 C# 5.0 语法不要使用 C# 6.0 特性如属性初始化器、空值条件运算符等平台目标必须使用 x64 平台编译因为 ONNX Runtime 和 OpenCvSharp 的 native DLL 均为 64 位资源释放所有Mat对象和 ONNX 推理对象都实现了IDisposable使用完毕后会自动释放文件夹结构FIRC/ ├── Properties/ # 项目属性配置 │ ├── AssemblyInfo.cs # 程序集信息 │ ├── Resources.Designer.cs # 资源文件设计器 │ ├── Resources.resx # 资源文件 │ ├── Settings.Designer.cs # 设置文件设计器 │ └── Settings.settings # 应用程序设置 ├── bin/ # 编译输出目录 │ └── x64/ │ └── Release/ │ ├── FIRC.exe # 主程序 │ ├── FIRC.pdb # 调试符号 │ ├── FIRC.exe.config # 配置文件 │ ├── weights/ # 模型权重目录 │ │ └── foreground-segmentation-model-vitb16_384.onnx │ ├── dll/ │ │ └── x64/ # Native DLL 目录 │ │ ├── OpenCvSharpExtern.dll │ │ └── opencv_videoio_ffmpeg4130_64.dll │ ├── Microsoft.ML.OnnxRuntime.dll │ ├── onnxruntime.dll │ ├── onnxruntime_providers_cuda.dll # CUDA 支持 │ ├── onnxruntime_providers_tensorrt.dll # TensorRT 支持 │ ├── OpenCvSharp.dll # OpenCV C# 绑定 │ ├── OpenCvSharp.Extensions.dll │ ├── cudart64_12.dll # CUDA Runtime │ ├── cublas64_12.dll # CUDA BLAS │ ├── cudnn64_9.dll # cuDNN │ └── ...其他 CUDA/cuDNN DLL ├── images/ # 示例图像目录 │ ├── *.jpg # 历史照片示例 │ └── ... ├── ForegroundSegmentation.cs # 前景分割推理类核心 ├── Form1.cs # 主窗体逻辑 ├── Form1.Designer.cs # 主窗体设计器代码 ├── Form1.resx # 主窗体资源文件 ├── Program.cs # 程序入口 ├── App.config # 应用程序配置 ├── FIRC.sln # Visual Studio 解决方案 ├── FIRC.csproj # 项目文件 ├── FIRC.csproj.user # 用户项目设置 └── README.md # 项目说明文档核心代码说明ForegroundSegmentation.cs推理封装类提供以下功能LoadModel(string modelPath, bool useCuda)加载 ONNX 模型Segment(Mat inputImage, float binarizationThreshold)执行前景分割Dispose()释放资源推理流程输入图像 (BGR) ↓ 缩放到 512×512 ↓ 归一化到 [0, 1] ↓ 转换为 CHW 格式 ↓ ONNX 模型推理 ↓ 输出掩膜 [1, 1, 512, 512] ↓ 双线性插值到原始尺寸 ↓ 生成 Alpha 通道 (0-255) ↓ 合并为 BGRA 图像 ↓ 输出透明背景结果常见问题支持哪些显卡不直接支持RTX50显卡可以使用RTX40,30,20,1660系列显卡也支持CPU运行Q1: 提示 “模型文件不存在”A: 检查weights文件夹中是否有 ONNX 模型文件文件名是否正确。Q2: 勾选 CUDA 后程序崩溃A: 确保已安装 CUDA 12.x 和 cuDNN 9.x且所有 DLL 文件在运行目录。Q3: 推理速度很慢A: CPU 模式下速度取决于处理器性能可尝试勾选 CUDA 加速使用 GPU。Q4: 分割边缘不够精细A: 默认使用软掩膜保留过渡效果如需硬边界可调整二值化阈值当前代码固定为 0。