1、图像分割任务概述
1.1 图像分割
分割任务就是在原始图像中逐像素的找到你需要的轮廓
1.2 语义分割
- 语义分割就是把每个像素都打上标签（这个像素点是人，树，背景等）
- 语义分割只区分类别，不区分类别中具体单位
1.3 实例分割
在右图中将五个人的轮廓都描绘出来了，但是没有把5个人区分出来，这就是一个基本的语义分割
往基本的要求做，就是可以做语义分割，往高级的做就是实例分割
和物体检测的任务对比呢，比如YOLO是将分类任务变成回归，找一些坐标点分别是什么。那分割任务呢？
2 语义分割损失函数解析
2.1 损失函数
- 逐像素的交叉熵
- 还经常需要考虑样本均衡问题
- 交叉熵损失函数公式如下：
p
o
s
w
e
i
g
h
t
=
n
u
m
n
e
g
n
u
m
p
o
s
pos_{weight} = \frac{num_{neg}}{num_{pos}}
posweight=numposnumneg
这里的
p
o
s
w
e
i
g
h
t
pos_{weight}
posweight是一个额外权重，是前景像素点和背景像素点的数量的比例值。
l
o
s
s
=
−
p
o
s
w
e
i
g
h
t
∗
y
t
r
u
e
l
o
g
(
y
p
r
e
d
)
−
(
1
−
y
t
r
u
e
)
l
o
g
(
y
p
r
e
d
)
loss = -pos_{weight}*y_{true}log(y_{pred})-(1-y_{true})log(y_{pred})
loss=−posweight∗ytruelog(ypred)−(1−ytrue)log(ypred)
首先一张图像有几万几十万甚至更多个像素点，需要对每一个像素点都进行多分类任务，也就是逐像素进行交叉熵的过程。上式就是一个2分类交叉熵的公式再加上前面提到的额外权重
2.2 Focal loss
样本也由难易之分，就跟玩游戏一样，难度越高的BOSS奖励越高
−
(
1
−
y
p
r
e
d
)
γ
∗
y
t
r
u
e
l
o
g
(
y
p
r
e
d
)
−
y
p
r
e
d
γ
∗
(
1
−
y
t
r
u
e
l
o
g
(
1
−
y
p
r
e
d
)
)
-(1-y_{pred})^γ*y_{true}log(y_{pred})-y^γ_{pred}*(1-y_{true}log(1-y_{pred}))
−(1−ypred)γ∗ytruelog(ypred)−ypredγ∗(1−ytruelog(1−ypred))
正负样本的比例完全就是由数量决定的，每一个像素点都会去做交叉熵，都会产生一个损失值，像素点是不应该相同对待的，有些像素比较好处理，很明显是背景和前景的，难处理的就是轮廓上的，一个人去描边，边里面的好处理外面的也好处理，但是边上的不好处理。但是这些难处理的像素点应该要体现出比较高的重要性
在上面的公式中，Gamma通常设置为2，例如预测正样本概率0.95，那预测效果就非常好，也就是说这个像素处理的比较简单， ( 1 − 0.25 ) 2 = 0.0025 (1-0.25)^2=0.0025 (1−0.25)2=0.0025，0.0025也就意味着当前这个样本提供的损失值比较低，如果是0.5， ( 1 − 0.5 ) 2 = 0.25 (1-0.5)^2=0.25 (1−0.5)2=0.25，这个难度高一点，权重也就大一些。可以类似理解为错题本，想要学的更好得高分，错的题比较重要。这里就是对γ值的解释
再结合样本数量的权值就是Focal Loss：
−
α
(
1
−
y
p
r
e
d
)
γ
∗
y
t
r
u
e
l
o
g
(
y
p
r
e
d
)
−
(
1
−
α
)
∗
y
p
r
e
d
γ
∗
(
1
−
y
t
r
u
e
l
o
g
(
1
−
y
p
r
e
d
)
)
-α(1-y_{pred})^γ*y_{true}log(y_{pred})-(1-α)*y^γ_{pred}*(1-y_{true}log(1-y_{pred}))
−α(1−ypred)γ∗ytruelog(ypred)−(1−α)∗ypredγ∗(1−ytruelog(1−ypred))
3 IOU计算
3.1 IOU计算
多分类任务时：iou_dog = 801 /（ true_dog + predict_dog - 801）
如图的混淆矩阵，左图中，横轴和纵轴分别为预测值和真实值，单独求某一个类别：真实值为狗的预测值也为狗就是做对的，为801个除以（实际总共有多少个狗的，再加上预测为狗的，再减去801）
看右图，交集就是801，并集就是绿色加上黄色的，上面的公式就是由于加了两次801所以要减去801
3.2 MIOU计算
IoU(Intersection over Union，交并比)，下图中，左边是标签值，右边是预测值
Intersection 就是真实值和预测值的交集，Union就是真实值和预测值的并集，这两个值的比例
MIOU就是计算所有类别的平均值，一般当作分割任务评估指标
