ULTRA 论文复现报告1. 背景与说明本文档用于记录论文ULTRA: Uncertainty-aware Label Distribution Learning for Breast Tumor Cellularity Assessment的完整复现过程、实验配置、运行结果与论文结果对比。2. 论文信息论文标题ULTRA: Uncertainty-aware Label Distribution Learning for Breast Tumor Cellularity Assessment会议版本MICCAI 2022代码仓库https://github.com/PerceptionComputingLab/ULTRA论文 PDFhttps://arxiv.org/pdf/2206.06623.pdfSpringer 页面https://link.springer.com/chapter/10.1007/978-3-031-16437-8_29数据集页面https://breastpathq.grand-challenge.org/Data/论文研究的问题是在乳腺癌新辅助治疗后的病理图像中自动估计肿瘤细胞密度。与传统回归方法不同ULTRA 不再把标签视为唯一精确数值而是把标签转为标签分布从而建模病理医生标注中的不确定性和模糊性。3. 论文简介3.1 核心思想论文把传统的 TC 回归问题改写为标签分布学习问题。假设一张图像的 TC 标签是某个实数s传统方法直接回归s。而 ULTRA 会围绕s构建一个高斯分布将标签从单点扩展成一个概率分布。这个分布的宽窄由sigma或std控制std越小分布越尖锐越接近“单点标签”std越大分布越平滑越强调标签的不确定性论文还通过多分支特征融合模块 MBFF 模拟“多阅片者”的融合过程进一步增强模型对标签不确定性的建模能力。3.2 参数设置根据论文正文主要设置如下数据集BreastPathQ训练集 patch 数2394验证集 patch 数185测试集 patch 数1119两阶段训练第一阶段训练 backbone第二阶段训练整个 ULTRA每个阶段训练150 epochs优化器Adam初始学习率1e-4学习率衰减每100 epochs衰减为原来的0.1批大小8标签离散数100分支数N 3论文正文写sigma 0.04But GitHub数值为0.024. 论文原始结果整理为了后面做严格对比先把论文正文里与本次复现直接相关的数据整理出来。4.1 论文主表 Table 3BreastPathQ 验证集结果方法ICCKappaMSEBaseline0.901 [0.870, 0.930]0.688 [0.602, 0.774]0.015 [0.011, 0.019]Peikari et al.0.750 [0.710, 0.790]0.380 - 0.420未报告Akbar et al.0.830 [0.790, 0.860]未报告未报告Rakhlin et al.0.883 [0.858, 0.905]0.689 [0.642, 0.734]0.010 [0.009, 0.012]ULTRA0.941 [0.920, 0.950]0.703 [0.620, 0.787]0.011 [0.007, 0.014]4.2 论文 Table 1不同分支数 N 的消融实验模型ICCKappaMSEULTRA (N1)0.9190.6880.013ULTRA (N2)0.9210.6930.014ULTRA (N3)0.9410.7030.011结论论文认为N3最优。4.3 论文 Table 2LDL 与回归分支消融模型ICCKappaMSEULTRA w/o KL0.9180.6000.012ULTRA w/o MSE0.9260.6500.014ULTRA0.9410.7030.011结论论文认为 KL 分支与回归分支联合使用效果最好。5. 复现目标本次复现的目标一方面把程序跑起来另一方面完整完成如下流程获取数据集整理成仓库可识别的数据结构在 H200 服务器上部署环境运行第一阶段 backbone 训练运行第二阶段 ULTRA 训练从日志中提取最佳结果与论文报告值逐项对比分析差异来源本次复现实际上完成了以上全部步骤。6. 复现实验环境6.1 服务器信息训练时服务器实际资源状态如下GPUNVIDIA H200 NVL× 2驱动版本570.211.01CUDA 版本12.8内存125 GiB目录磁盘可用空间约11 TB因此本次训练主要使用GPU 16.2 Python 与依赖环境由于 H200 属于较新的 Hopper 架构如果严格按仓库最初的torch1.8.0安装极有可能遇到 CUDA 兼容问题。因此本次采用“新版本 PyTorch 保留算法逻辑”的兼容部署方案。实际部署思路如下conda create-nultrapython3.9-yconda activate ultra python-mpipinstall--upgradepip setuptools wheel pipinstalltorch2.3.1torchvision0.18.1 --index-url https://download.pytorch.org/whl/cu121 pipinstallnumpy pillow tqdm tensorboard pandas scipy scikit-learn seaborn statsmodels pingouin pretrainedmodels matplotlib imageio opencv-python scikit-image openpyxl7. 数据获取7.1 数据下载从 BreastPathQ 页面获取下载入口后实际下载了两个压缩包SPIE_BreastPathQ2019_Training_Validation.zipSPIE_BreastPathQ2019_Testing.zip7.2 数据解压后的结构检查通过压缩包检查可知Training_Validation.zip中包含​train/​validation/​train_labels.csvTesting.zip中包含​test_patches/​val_labels.csv7.3 数据数量核对实际统计结果为​ 训练集 patch2394​ 验证集 patch185​ 测试集 patch1119这与论文实验部分描述完全一致。7.4 最终数据目录结构为了让仓库代码直接读取最终整理为~/data/BreastPathQ/ultra_data/ ├── train/ ├── validation/ ├── test_patches/ ├── train_labels.csv └── val_labels.csv其中图像目录使用了软链接方式整理标签文件使用了实际 CSV 拷贝。8. 代码获取与修复8.1 代码下载gitclone https://github.com/PerceptionComputingLab/ULTRA.gitcd~/ULTRA/ULTRA8.2 复现中遇到的问题与修复问题 1config.py的 Windows 注释触发unicodeescape仓库的config.py顶部作者注释中含有类似\ULTRA\src\config.py的 Windows 路径。Python 会把\U误识别为 Unicode 转义直接报错。修复方法把顶部注释改为原始字符串形式避免\U解析。问题 2train_backbone.py中kappa()返回元组训练 backbone 时日志格式化阶段报错TypeError: must be real number, not tuple原因是kappa()返回元组但原代码只用单变量接收。修复方法改为kappa_, _ kappa(...)。问题 3GPU 选择问题原仓库部分脚本默认写死CUDA_VISIBLE_DEVICES1。复现时应看清并依据具体服务器情况来选择GPU。由于目前我复现时计算机资源较为充足因此继续沿用GPU 1实际上是更合理的选择。问题 4第二阶段预训练权重格式问题train_ldl.py不能直接读取第一阶段保存的完整 checkpoint需要的是纯backbone权重。因此从第一阶段的best_valloss_metric.pt中额外抽取了best_valloss_metric_backbone_only.pt。9. 第一阶段复现Backbone 训练9.1 第一阶段目的第一阶段的目标是获得一个可靠的 backbone 初始化权重为第二阶段 ULTRA 提供预训练特征提取器。9.2 训练命令nohuppython-utrain_backbone.py--data_path~/data/BreastPathQ/ultra_data~/ultra_backbone.log219.3 训练设置第一阶段日志显示model resnet34batchsize 8num_epoch 150lr_S 1e-4第一阶段完整跑满150 epochs并成功生成best_valloss.pt、best_valloss_metric.pt之后又进一步抽取得到best_valloss_metric_backbone_only.pt供第二阶段使用。第一阶段不作为论文主表最终对比对象因此本报告不把它作为最终成绩只作为第二阶段的前置步骤。10. 第二阶段复现ULTRA 模型训练10.1 第二阶段训练命令本次第二阶段实际运行命令对应日志如下CUDA_VISIBLE_DEVICES1nohuppython-utrain_ldl.py\--data_path~/data/BreastPathQ/ultra_data\--pre_train_path~/ULTRA/ULTRA/runs/runs_resnet34_backbone_Apr05_23-23-48/best_valloss_metric_backbone_only.pt\~/ultra_ldl.log2110.2 第二阶段真实配置根据ultra_ldl.log头部信息本次第二阶段真实运行配置如下architecture LDLmodel resnet34batchsize 8num_epoch 150num_discretizing 100num_raters 3std 0.02lr_S 0.0001lr_ratio 0.1lr_step_size 60augmentation True10.3 采用std0.02本次实验采用std0.02的原因是官方公开仓库默认参数就是0.02train_ldl.py默认参数中--std的默认值为0.02。本次复现优先遵循“官方仓库可运行版本”由于首次目标是先在 H200 上流程测试优先选择公开代码的默认参数完成可复现实验。11. 复现与论文设置的差异为了保证报告严谨此章节指出GitHub的开源代码与论文中实际参数的差异问题11.1std0.02与论文sigma0.04的差异论文正文写的是sigma 0.04而本次真实运行的是std 0.02两者本质上都是标签分布高斯函数的标准差参数。0.02比0.04更小意味着分布更尖、更强调标签中心值。11.2 学习率衰减步长差异论文正文写的是每100 epochs衰减一次本次实际日志显示lr_step_size 6011.3 数据增强差异论文正文提到增强包括水平翻转、垂直翻转、弹性变换等而“自我认为”公开代码的实现主要是翻转增强。11.4 损失权重差异论文正文公式写的是L L_KL α L_MSE并且正文写α 1。但GitHub的开源代码代码中实际使用的是lossloss120*loss2即代码里回归分支损失权重实际上是20与论文正文表述不一致。11.5 差异结论基于官方公开仓库默认配置、在 H200 服务器上完成复现。12. 复现结果12.1 结果文件第二阶段最终输出目录为runs/runs_resnet34_0.02_100_3_LDL_Apr06_00-11-22目录中包含best_valloss_metric.pt、logs.txt、多个中间checkpoint_*.pt12.2 最佳结果对logs.txt全部150个 epoch 进行扫描后得到best_icc出现在epoch 52best_kappa出现在epoch 52best_mse出现在epoch 52best_pk出现在epoch 52best_score icc kappa - mse也出现在epoch 52最佳结果为指标数值Epoch52ICC0.938Kappa0.710MSE0.011PK0.91177综合分数ICC Kappa - MSE1.637最终第149轮结果为指标数值ICC0.921Kappa0.670MSE0.014PK0.8957113. 与论文对比13.1 主指标对比指标论文 ULTRA本次复现最佳差值ICC0.9410.938-0.003Kappa0.7030.7100.007MSE0.0110.0110.00013.2 相对差异分析ICC论文0.941本次0.938差值-0.003说明仅低0.003偏差极小Kappa论文0.703本次0.710差值0.007说明本次结果略优于论文报告值MSE论文0.011本次0.011差值0说明完全一致13.3 论文 95% 置信区间论文报告的 95% 置信区间如下ICC[0.920, 0.950]Kappa[0.620, 0.787]MSE[0.007, 0.014]本次结果是否落在论文区间内指标本次结果论文 95% CI是否落入ICC0.938[0.920, 0.950]是Kappa0.710[0.620, 0.787]是MSE0.011[0.007, 0.014]是结论本次复现的三项核心指标全部落在论文报告的 95% 置信区间内。这意味着从统计对比角度看本次复现结果与论文结果是一致且可信的。14. 局限尽管本次结果非常接近论文但有以下局限本次真实运行参数按照GitHub是std0.02而论文正文写的是sigma0.04学习率衰减步长与论文正文不一致数据增强实现与论文文字描述不完全一致代码中回归损失权重与论文公式文字不一致本次只复现了主配置没有额外复现实验表中的全部消融实验15. 改进如果后续时间允许可继续如下两类补充实验15.1 论文正文参数版单独重新跑第二阶段将std改为0.04将学习率衰减步长改为100对比0.02和0.04两个版本的差异15.2 论文消融实验版根据论文 Table 1 和 Table 2进一步补跑不同N的消融N1,2,3去掉 KL 分支去掉 MSE 分支16. 结论本次 ULTRA 论文复现已经基本成功完成。在 BreastPathQ 验证集上基于官方仓库默认std0.02配置完成的第二阶段训练在epoch 52取得了最佳结果ICC 0.938Kappa 0.710MSE 0.011PK 0.91177与论文报告的ICC 0.941Kappa 0.703MSE 0.011相比ICC仅低0.003Kappa高0.007MSE完全一致三项核心指标全部落在论文 95% 置信区间内