文章信息

论文题目：MediaPipe: A Framework for Building Perception Pipelines
发表：ArXiv,2019
作者：Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, Matthias Grundmann
Google团队出品

前言

今天要介绍的MediaPipe是一个构建pipeline用于在任意的传感器数据上进行推理的框架。框架源码：https://github.com/google/mediapipe。该框架由于其扩展性强，实时性，跨平台等众多特点收到了广泛关注，该框架目前已经集成到Python，可以作为一个包来直接使用。

框架介绍

原文花费了很长的篇幅来介绍该框架的一些设计理念以及涉及的基本的概念，这里首先从一个简单的例子开始来介绍MediaPipe。

MediaPipe用于目标检测

下图展示了使用MediaPipe进行目标检测的示意图。其中实体框表示外部到Graph的inputs/outputs, 透明框为计算节点(被称为Calculator), 实现表示数据流向(顶部输入，底部输出)

在这里插入图片描述
该Graph总共包含两个并行的分支，其中左边的用于Tracking, 右边的用于Detection,

(1)Detection branch:

该分支用来进行目标检测， 由于视频帧率一般30FPS,如果对每一帧都进行目标检测的话，无论是时间还是资源消耗都很难满足要求，因此MediaPipie的策略是：对帧先进行采样然后对采样的帧进行目标检测，然后Tracker再把检测结果(边界框，类标记)进行传播Propagate。那么如何采样呢？MediaaPipe主要是基于极限频率和场景变化分析来采样，这样一来只需要对开始帧以及场景变化的帧进行目标检测即可。

如上图所示，一个Frame selection node首先被用来选择帧，然后选择出来的帧被送入目标检测模块，Object detection node 加载ML模型和label map （作为输入侧packets）构建推断引擎对送入的帧进行推断。

(2)Tracking branch:

Tracker的作用是更新早期的检测结果并将他们的位置推进到当前帧。

检测完成以后，detection merging node基于他们在帧中的位置比对，合并检测结果。这里需要说明的是：这两个Branches是并行的，比对是对同一帧进行的，因此该节点的Input strategy会自动对其两个检测结果的timestep。

最后， detection-annotation node对frame进行标注用于可视化。

MediaPipe框架

Mediapipe允许开发人员以渐进的方式来搭建pipeline, 如上图所示，一个pipeline实际上就是一个有向图Graph，有向图中的每个节点node实际上就是Calculator。 Graph是使用GraphConfig协议缓冲区指定的，然后使用Graph对象运行。在该graph中，两个calculator通过data stream进行连接，每个stream实际上就是数据包packets的时间序列。

用户可以自定义calculator, 同时还可以对Graph中的某个node进行替换，非常灵活。