1.什么是语义分割
1.1 任务:
将图像按照物体的类别分割成不同的区域,相当于对每个像素进行分类。

1.2 应用:
无人驾驶汽车

人像分割
实时替换视频背景

智能遥感
分辨地表物体的类别,通过右侧分割之后的图像可以看到,红色的部分属于湖泊河流。通过智能遥感能够监测不同季节地表水域的变化,从而辅助农业生产,以及旱灾洪灾的预测等等。

医疗影像分析

1.3 分类
语义分割 vs 实例分割 vs 全景分割

2. 语义分割的基本思路
2.1 按颜色分割
先验知识:物体内部颜色相近,物体交界颜色变化

存在的问题:
(1)先验知识不完全准确;
(2)不同物体颜色可能相近,物体内也会包含多种颜色。
2.2 逐像素分类

存在的问题:
效率低下,重叠区域重复计算卷积
解决方式:
复用卷积计算


2.3 全连接层的卷积化

2.4 预测图的升采样

双线性插值 Bilinear Interpolation

卷积实现双线性插值

转置卷积 Transposed Convolution


2.5 全卷积网络的预测和训练

2.6 基于多层级特征的上采样

各种解决方案:


2.5 上下文信息
图像周围的内容(也称上下文)可以帮助我们做出更准确的判断。

如何在分割过程中使用上下文信息?
方案:增加感受野更大的网络分支,将上下文信息导入局部预测中

2.6 空洞卷积和Deeplab系列

空洞卷积解决下采样问题



DeepLab模型

2.6 条件随机场CRF

条件随机场

能量函数的意义

2.6 空间金字塔池化 ASPP



3. 语义分割算法总结

4. 语义分割前言算法
4.1 SegFormer

4.2 K-Net

4.3 MaskFormer

4.4 Mask2Former

4.5 SAM

5. 语义分割模型的评估



















