一、整体总结研究领域基于视觉基础模型的铁路场景语义分割轨道分割解决问题解决传统铁路分割方法依赖大量标注数据、泛化能力差、计算开销大的问题同时探索如何将通用大模型SAM有效迁移到铁路场景使用技术提出RailSAM将视觉基础模型 SAM 与参数高效微调PEFT方法相结合并采用 Adapter 作为具体实现在多尺度特征上注入铁路领域信息实现高效的铁路分割。实验结果在 RailSem19 数据集上达到SOTA最优性能如 mIoU 达87.6%明显优于 Mask2Former 等方法表现出更强鲁棒性二、引言背景随着人工智能和计算机视觉的发展铁路系统的运行与维护逐渐智能化但当前大规模铁路环境的检测仍依赖人工效率低且成本高因此需自动化的轨道分割方法。现有方法问题传统方法如 Canny 算子用人工设计的图像特征来找轨道边界→ 鲁棒性差深度学习方法利用 CNN 或 Transformer 自动学习多尺度特征 →依赖大量标注数据且结构复杂。新趋势近年来视觉基础模型VFM如SAM展现出强大的零样本能力因此本文提出关键问题能否将其通用能力迁移到铁路分割任务中。针对直接微调大模型计算开销大、易过拟合的问题作者提出 RailSAM将 SAM 与参数高效微调PEFT即只训练少量新增参数来适配新任务结合并通过插入Adapter轻量级神经网络模块用于注入领域知识在多尺度特征层中实现铁路场景适配在保持模型通用性的同时提升分割性能。三、相关工作本文从铁路分割方法和视觉基础模型两个方向进行了综述1铁路分割基于RailSem19一个包含8500张铁路场景图像的标准数据集研究者提出了多种方法如结合U-Net经典编码器-解码器结构的分割网络与ResUNet改进版U-Net增强特征表达能力的模型以及通过数据增强和深度卷积如depthwise convolution用于降低计算量来提升性能和速度同时一些通用语义分割模型如 Transformer 结构也表现良好但整体仍存在依赖大量标注数据、泛化能力不足的问题数据集RailSem19标准基准方法CNNU-Net、ResUNetTransformerSegFormer轻量化网络depthwise conv问题总结需要大量数据泛化能力弱模型设计复杂2视觉基础模型 PEFTVFM通过自监督学习无需人工标注自动学习特征、对比学习通过样本之间的相似性学习表示和视觉-语言预训练结合图像和文本进行训练等方式获得强大能力其中SAM在1100万图像上训练具备优秀的零样本能力。但由于完整微调大模型计算成本高研究者提出PEFT主要包括三类方法参数选择只训练部分参数低秩分解用低维矩阵近似参数更新如LoRA附加模块如Adapter在模型中插入轻量模块进行适配其中 Adapter 由于“即插即用”的特点非常适合用于大模型微调因此本文基于该思路将 SAM 与 Adapter 结合用于铁路分割任务。代表SAM特点大规模预训练1100万图像支持 prompt点/框/文本强泛化能力本文采用Adapter 方法四、方法1. 总体结构RailSAM SAM Adapter本文提出的 RailSAM 由SAM与多个Adapter轻量级适配模块组成首先利用在大规模数据上预训练的图像编码器Image Encoder用于提取图像特征并保持其参数冻结以保留通用视觉表示然后在不同尺度的特征层中插入 Adapter将铁路任务相关信息注入网络最后通过掩码解码器Mask Decoder将特征转换为像素级分割结果输出轨道分割。流程输入图像↓SAM Encoder冻结不训练↓多尺度特征 f1~f4↓Adapter注入领域知识↓Mask Decoder可训练↓输出分割结果核心思想不改SAM主体只“外挂小模块”2. SAM结构解释SAM包含3部分1Image Encoder图像编码器图像编码器用于将输入图像映射为高维语义特征表示。在 SAM 中图像编码器基于Vision TransformerViT将输入图像划分为若干 patch并通过 Transformer 结构建模全局上下文关系最终输出具有丰富语义信息的特征嵌入image embedding。2Prompt Encoder提示编码器提示编码器用于将用户提供的提示信息prompt转换为模型可利用的特征表示。处理prompt即点/框/文本等引导信息其中文本由CLIP视觉-语言联合预训练模型提取特征输入点point框box文本text输出提示特征3Mask Decoder掩码解码器掩码解码器用于融合图像特征与提示信息并生成最终的分割掩码。利用自注意力和交叉注意力机制机制实现信息融合自注意力Self-Attention在图像特征内部建模长距离依赖关系使模型能够捕捉不同区域之间的全局语义关联从而提升特征表达能力。交叉注意力Cross-Attention在提示特征与图像特征之间建立对应关系将 prompt 信息作为条件引导选择性地增强与目标相关的区域响应从而实现条件分割conditional segmentation。在此基础上解码器通过动态预测头dynamic head输出每个像素属于目标区域的概率最终生成分割掩码mask。3. Adapter设计核心创新由于直接微调整个大模型计算成本过高本文采用PEFT参数高效微调只更新少量参数思想引入 Adapter通常为一个小型前馈神经网络FFN即由多层感知机MLP组成的简单网络插入到模型中每个 Adapter 通过MLP多层感知机用于特征变换 GELU平滑激活函数将输入特征 Fi转换为任务相关的提示 Pi并通过上投影调整特征维度以匹配原模型从而在不破坏 SAM 原有结构的前提下实现铁路分割任务的高效适配与性能提升。结构每个尺度一个 AdapterFi来自 SAM 编码器的特征↓MLP降维压缩特征维度提取“关键信息”↓GELU引入非线性能力↓MLP升维把特征维度恢复到原来大小↓PipromptFi 通用视觉信息Pi 带铁路知识的特征作用把铁路领域知识注入SAM关键优点不改原模型保持通用能力参数少高效可插拔灵活五、实验1. 数据集本文在RailSem19铁路语义分割标准数据集包含8500张多场景图像上对所提出的 RailSAM 进行了验证RailSem198500张图像分辨率1920×108019类多国家、多天气2. 评价指标采用mIoU平均交并比用于衡量预测区域与真实区域重叠程度和DiceDice系数用于评估分割结果相似度作为评价指标在 PyTorch 框架下进行训练使用AdamW优化器一种改进的自适应梯度优化算法并结合cosine annealing学习率策略使学习率逐渐平滑下降。1mIoU最重要交集 / 并集衡量预测和真实的重叠程度2Dice2TP / (2TP FP FN)更关注区域重合3. 实验结果最优模型RailSAM-2.1 实验结果表明RailSAM在不同版本如 SAM-1、SAM-2下均取得最优性能其中 RailSAM-2.1 达到87.6% mIoU显著优于当前主流方法如 Mask2Former 等性能mIoU87.6%IoU轨道75.9%Dice85.5%对比结论超过 Mask2FormerIoU 1.6%超过传统方法提升 7.7%11.8%4. 可视化结果对比方法PIDNetMaskFormerMask2FormerRailSAM现象方法问题MaskFormer分割断裂Mask2Former易受背景干扰RailSAM连续、准确