机载视频 SEI 解析与抽帧一、模块要解决什么问题机载吊舱录制的视频中常通过码流侧的补充增强信息附带POS、姿态、时间、焦距等。测绘内业需要两类产物仅解析 SEI得到与解码帧对齐的记录列表供质检、对时、与定拍数据融合。抽帧 POS 表按帧间隔导出JPEG 序列与汇总文本列名含经纬高、角元素、四元数、焦距、帧号等便于接入空三、正射等批处理。核心约束不同厂商SEI 载荷格式不同必须通过枚举类型选择解析分支否则整段无效或字段错乱。二、核心抽象概念类图对外以C 接口 结构体 枚举暴露便于跨语言与跨编译边界调用内部用FFmpeg 解封装/解码驱动时间轴用函数指针表按厂商分发到具体解析逻辑。填充SEIInformaion有效性标记帧序号经纬高/相对高偏航俯仰横滚四元数焦距等时间字符串«enumeration»SEI_TYPE厂商A厂商B厂商CParseVideoSEI输入路径与类型输出 vectorSEIInformaion进度回调ExtractFrameImages间隔帧输出目录与 POS 路径进度回调读图要点SEIInformaion集中承载业务字段无效时用统一哨兵值标记避免调用方判空链过长。SEI_TYPE是协议选择器新增吊舱等价于新增分支实现与枚举值及测试向量而不是改公共解码循环。三、执行流程3.1 解析 SEI时间线打开输入支持本地文件若扩展为网络流需初始化网络协议并设置缓冲、传输方式等工程内对 RTSP 等常见协议有关心。选视频流在多个流中定位主视频轨。构建解码管线创建解码器上下文配置线程数以利用多核色彩空间转换上下文用于后续可选的 BGR 显示或导出路径。顺序读包—送解码—收帧单线程循环非视频包丢弃。侧数据 SEI从解码帧上取非注册 SEI类侧数据按SEI_TYPE选择解析函数成功则写入SEIInformaion并追加到向量。收尾释放包、帧、转换上下文、解码与封装上下文必要时反初始化网络。否是否是打开输入/选流解码器就绪读包循环视频包?解码得帧有 SEI 侧数据?按厂商解析追加记录/进度结束释放资源3.2 抽帧 写 POS时间线与 3.1共享前半段打开、解码、厂商解析差异在后半段打开 POS 文本预写表头列名固定便于 Excel/脚本读入。按 nFrameStep 抽样并非每帧落盘控制数据量与 SEI 记录对齐策略以产品实现为准常见为同序推进。写 JPEG将解码帧转到合适像素格式后落盘路径拼接需处理中文/本地化路径工程侧用统一编码转换减少失败。可选 EXIF写入 GPS、焦距等使后续软件直接可读地理标签。写 POS 行每行对应一帧导出记录含四元数与焦距等便于与影像名关联。关闭文件与释放与 3.1 同样要严格避免句柄泄漏。影像与POS帧间隔厂商解析解码循环视频影像与POS帧间隔厂商解析解码循环视频连续包侧数据有效记录按步长写 JPG追加 CSV 行四、设计原因设计点原因C 接口导出与主程序、其他语言绑定兼容性好避免 C ABI 牵连。厂商分支用函数指针/表驱动解码主循环稳定新厂商只增解析单元降低回归风险。无效字段统一哨兵外业数据断续时下游可批量过滤不必猜“0 是真是假”。进度回调长视频解码耗时必须可取消或可展示否则集成体验差。路径编码处理Windows 中文路径是高频故障点在入口统一转 UTF-8 与库约定一致。五、注意事项SEI_TYPE 必须与实飞设备一致错选型表现为全无效或角度数量级错误。FFmpeg 与 OpenCV/EXIF 依赖部署时动态库搜索路径、Debug/Release 库一致避免“本机可跑、现场崩溃”。解码线程数过高可能在低内存机器上抖动需与产品默认策略协调。网络流UDP/TCP、缓冲、超时对弱网敏感生产环境建议可配置。帧序号与 POS 行中断续跑时要注意文件覆盖与序号连续性由业务层定义。与定拍数据融合统一坐标系、高程基准与时间戳后再进同一工程避免“视频帧 POS 与照片 POS 各说各话”。六、踩坑记录有画面无 POS多为 SEI 类型选错或固件升级改了载荷头标识解析函数前置校验失败。角度跳变/单位错误不同厂商度与百分度混用文档与实飞样例要对表校验。路径含中文失败未走统一编码时在avformat_open_input或写文件处失败。上博等分支未实现或占位返回恒假时集成方误以为解码失败实为协议未接。DEBUG 下弹窗或 imshow若遗留调试显示在无界面服务器上会阻塞或报错。重复解码成本同一视频先全解析 SEI 再全抽帧会扫两遍若性能吃紧需产品层合并为单次解码双产出。七、心得体会视频-in GIS-out 的文章价值在“时间轴”读者最需要知道的是包序、帧序、侧数据、记录如何对齐而不是某一字节的含义。厂商协议是资产也是负债每多一家吊舱维护成本线性上升应用样例库 黄金文件回归比口头约定可靠。观测性优先日志里打印帧号、解析成功/失败原因枚举排障效率远高于只报“false”。谨慎引入硬件解码CUVID/QSV 等能提速但 SEI 侧数据行为需单独验证避免“快但丢信息”。