Title

题目

PARADISE: Personalized and regional adaptation for HIE disease  identification and segmentation

PARADISE：用于新生儿缺氧缺血性脑病（HIE）疾病识别与分割的个性化和区域适应性方法

1

文献速递介绍

缺氧缺血性脑病（HIE）是一种影响约千分之一到千分之五足月新生儿的脑功能障碍疾病（格雷厄姆等人，2008；李等人，2013）。HIE病变检测是HIE临床治疗中的关键步骤。它有助于更准确地评估预后、更好地理解神经症状，并及时预测该人群对治疗的反应。人工智能（AI）的兴起为在临床常规获取的磁共振图像（MRI）中客观、准确地发现HIE病变带来了希望。当前的方法主要集中于大脑肿瘤（门泽等人，2014；马加扎和维里里，2021；哈瓦埃等人，2017；蒂瓦里等人，2020）、急性中风病变（迈尔等人，2017；克莱里格斯等人，2020；刘等人，2021a）等大的局灶性病变以及其他医学图像分割任务（利特延斯等人，2017；雷等人，2020；沙姆沙德等人，2022；卡姆尼察斯等人，2017；周等人，2019b；阿洛姆等人，2019；奥克泰等人，2018；向等人，2020；韩等人，2022；瓦拉纳拉苏和帕特尔，2022；顾等人，2019；张等人，2018；王等人，2020a，2022；曹等人，2021；鲍等人，2021；何等人，2023）。然而，针对HIE的MRI人工智能研究仅有一两项，且使用的是专有单中心数据，样本量较小（几十例），报告的准确率也不理想（墨菲等人，2017）。此外，将现有的医学成像方法直接应用于HIE并不能得到令人满意的结果。这主要是因为与HIE病变相比，大多数脑肿瘤和急性中风病变是局灶性的，占据的脑体积要大得多。然而，在MRI中观察到的与HIE相关的脑部异常（如图1所示）通常是弥散性（即多灶性）且微小（小于1%）的，超过50%的HIE患者病变影响的脑体积小于1%（鲍等人，2023）。如图2的第一行和第二行所示，大多数脑肿瘤患者1表现为局灶性病变，其占脑总体积的中位数通常为6.1%。在急性中风病例中2，这一中位数增加到12.5%。形成鲜明对比的是，HIE病变仅占脑总体积中位数的0.6%。大的局灶性病变分割与HIE微小弥散性病变分割在Dice重叠率方面存在明显的性能差距。如图2的第三行所示，大的局灶性病变分割性能约为80%，而微小弥散性病变的分割性能约为50%。因此，迫切需要专门针对占HIE病例超过50%的微小弥散性HIE病变分割的算法。设计用于HIE的机器学习方法面临以下挑战：（a）病变大小和位置差异大，弥散性病变体积从几百到几万立方毫米不等，脑梗死可发生在脑叶、小脑和脑干等任何脑区（鲍等人，2023）。（b）HIE弥散性病变的多灶性分布和边界不清晰，这些模糊像素可能会使算法产生混淆。（c）病变体素与正常体素之间的严重不平衡会使结果偏向正常类别，因为简单地假设所有体素都是正常的只会导致一小部分体素被误分类。算法在损失函数中缺乏足够的梯度来学习如何聚焦并正确分类病变体素。这导致假阳性（专家标记为正常但算法错误分类为病变的体素）比假阴性（专家识别为病变但算法错误分类为正常的体素）更多。本文提出个性化区域适应网络（ParadiseNet），通过精心设计的模块来应对上述挑战。ParadiseNet的设计灵感来自临床诊断流程，在将机器学习算法与HIE检测相结合的同时，将临床专家置于设计核心位置。ParadiseNet由三个模块组成。首先，受医生诊断流程（包括全局诊断和对局部区域的仔细观察）启发，我们设计了全局 - 局部学习模块，该模块可以捕捉全局上下文和局部更精细的细节。由于小病变区域在图像块上占比更大，局部流被设计为在局部图像块上运行。因此，全局 - 局部学习模块有助于缓解数据不平衡问题。其次，我们设计了渐进不确定性学习模块，该模块学习生成分割图，并从较粗尺度到较细尺度逐步细化不确定的病变区域。第三，我们设计了自进化学习模块，通过在输出病变分割图和输入之间添加反馈回路来增强ParadiseNet，使单个网络模型能够在不增加参数的情况下对病变分割图进行迭代细化。与现有方法相比，我们为微小弥散性病变分割任务建立了一种新颖且专门的网络结构。本文的主要贡献总结如下： - 我们引入了ParadiseNet，旨在应对缺氧缺血性脑病（HIE）中微小弥散性病变分割这一具有挑战性的任务。 - 我们提出了三个互补组件，每个组件都受临床诊断指南启发，以有效应对微小病变分割中病变检测不准确的挑战。  - 我们证明，与UNet相比，在整个数据集上，ParadiseNet显著提高了HIE病变分割的Dice准确率，Dice系数提高了3%，归一化表面距离（NSD）提高了3%。值得注意的是，对于受影响区域小于总体积1%的微小弥散性病变，ParadiseNet的Dice系数提高了4%，NSD提高了6%；对于小于2%的病变区域，Dice系数提高了4% ，NSD提高了5%。这对HIE尤为重要，因为超过一半的病例病变占据的区域小于1%。 本文其余部分的组织如下：第2节回顾医学图像分割的相关工作。第3节详细介绍我们提出的方法ParadiseNet。第4节描述实验设置，第5节展示定量和可视化结果。最后，第6节对本文进行总结并讨论未来的研究方向。

01

文献速递介绍

Hypoxic ischemic encephalopathy (HIE) is a brain dysfunction occurring in approximately 1-5/1000 termborn neonates. Accurate segmentation of HIE lesions in brain MRI is crucial for prognosis and diagnosis but  presents a unique challenge due to the diffuse and small nature of these abnormalities, which resulted in  a substantial gap between the performance of machine learning-based segmentation methods and clinical  expert annotations for HIE. To address this challenge, we introduce ParadiseNet, an algorithm specifically  designed for HIE lesion segmentation. ParadiseNet incorporates global–local learning, progressive uncertainty  learning, and self-evolution learning modules, all inspired by clinical interpretation of neonatal brain MRIs.  These modules target issues such as unbalanced data distribution, boundary uncertainty, and imprecise lesion  detection, respectively. Extensive experiments demonstrate that ParadiseNet significantly enhances small lesion  detection (< 1%) accuracy in HIE, achieving an over 4% improvement in Dice, 6% improvement in NSD  compared to U-Net and other general medical image segmentation algorithms.

缺氧缺血性脑病（HIE）是一种脑功能障碍疾病，约每1000名足月新生儿中就有1 - 5名患病。在脑部磁共振成像（MRI）中准确分割HIE病变对于预后和诊断至关重要，但由于这些病变具有弥散性和微小性的特点，给分割带来了独特挑战，导致基于机器学习的分割方法与临床专家对HIE的标注结果之间存在较大差距 。为应对这一挑战，我们引入了ParadiseNet算法，这是一种专门为HIE病变分割设计的算法。ParadiseNet融合了全局 - 局部学习、渐进不确定性学习和自进化学习模块，其设计灵感均源于对新生儿脑部MRI的临床解读。这些模块分别针对数据分布不均衡、边界不确定性和病变检测不精确等问题。大量实验表明，ParadiseNet显著提高了HIE中微小病变（<1%）的检测准确率，与U-Net及其他通用医学图像分割算法相比，Dice系数提高了4%以上，归一化表面距离（NSD）提高了6% 。

Conclusion

结论

We address the challenge of detecting small diffuse lesions in HIE,  a task that has not been well explored. Our proposed ParadiseNet, designed by clinical guidance, which incorporates global–local learning,  progressive uncertainty learning, and self-evolution learning modules,  effectively mitigates issues related to unbalanced data distribution,  boundary uncertainty, and inaccurate lesion detection, as demonstrated  by comprehensive experimental analysis. ParadiseNet has achieved  state-of-the-art performance, marking significant advancements over  existing methods in HIE small diffuse lesion task. Looking ahead, we  plan to apply and further enhance ParadiseNet for the detection of  small diffuse lesions in other diseases such as multiple sclerosis and  subacute ischemic stroke.

我们针对缺氧缺血性脑病（HIE）中微小弥散性病变检测这一尚未充分探索的任务展开研究。通过临床指导设计的ParadiseNet融合了全局-局部学习、渐进不确定性学习和自进化学习模块，经全面实验分析验证，该模型有效缓解了数据分布不平衡、边界不确定性和病变检测不精确等问题。ParadiseNet已实现了当前最优性能，标志着在HIE微小弥散性病变任务中较现有方法取得了显著进展。   展望未来，我们计划将ParadiseNet应用于多发性硬化、亚急性缺血性中风等其他涉及微小弥散性病变的疾病检测，并进一步优化其性能。具体方向包括：   1. 多模态数据融合：结合功能磁共振成像（fMRI）或弥散张量成像（DTI）等多模态信息，提升低对比度病变的特征表征能力。   2. 模型轻量化：通过知识蒸馏或架构优化，在保持精度的同时降低计算复杂度，推动临床实时部署。   3. 跨中心泛化研究：在更大规模、多中心数据集上验证模型鲁棒性，解决不同成像设备和协议带来的异质性问题。   4. 临床决策支持整合：将分割结果与预后预测模型结合，构建从病变检测到治疗方案推荐的全链条AI系统，辅助医生制定个性化诊疗策略。   通过上述探索，ParadiseNet有望为更多涉及微小弥散性病变的神经疾病提供精准、高效的诊断工具，推动人工智能在精准医疗中的实际应用。

Results

结果

5.1. Comparisons with STOA general algorithms ParadiseNet consistently achieves state-of-the-art performance  on small diffuse lesion segmentation. In our study, we comparedParadiseNet with widely-utilized deep learning architectures in medical  imaging. The results are summarized in Table 2, under two distinct settings: the whole dataset, where evaluation metrics are calculated across  the entire dataset to measure overall quality, and small diffuse lesion  cases, where metrics are specifically computed for patients with small  diffuse lesions (lesion percentage less than 1% and 2%). Compared  to existing methods, our model demonstrates superior performance,  particularly in small diffuse lesion regions, highlighting its efficacy in  addressing this challenging detection task. (1) Whole dataset setting: As  indicated in Table 2, ParadiseNet achieves a mean Dice coefficient of  0.61, which is a 3% increase over the closest competing methods in the  whole dataset for lesion region prediction accuracy. Moreover, it shows  a notable improvement in NSD, with a mean of 0.72, corresponding  to a 2% enhancement in boundary prediction accuracy compared to  other UNet variants. The sensitivity of ParadiseNet is remarkable, with  a mean of 0.64, reinforcing its ability to detect true positives effectively.  Simultaneously, its specificity remains exceptionally high at a mean of  0.9989, indicating a low rate of false positives in lesion identification.  (2) On small diffuse lesions: Notably, ParadiseNet exhibits significant  improvements in small diffuse lesion cases, especially with a Dice  increase of 5% and NSD of 5% for lesions less than 1% over nnUNet,  and a Dice and NSD increase of 4% for lesions less than 2% with  most methods. These results underscore ParadiseNet’s capability in  managing unbalanced data distribution and its precision in delineating  lesion boundaries for small diffuse lesions. The predictive performances  of different methods are also visually presented in Fig. 5. We visualized  slices from different patients, each displaying various lesioned areas.  The Dice and NSD metrics for the whole brain volume are displayed  beneath each image. These visualizations clearly demonstrate that ParadiseNet significantly and consistently outperforms in terms of Dice and  NSD metrics.

5.1 与最先进通用算法的比较   ParadiseNet在微小弥散性病变分割任务中持续实现了最先进的性能。在本研究中，我们将ParadiseNet与医学影像中广泛使用的深度学习架构进行了比较。结果总结于表2，分为两种不同场景：全数据集场景（计算整个数据集的评估指标以衡量整体性能）和微小弥散性病变场景（专门针对病变占比小于1%和2%的患者计算指标）。与现有方法相比，我们的模型表现出更优的性能，尤其在微小弥散性病变区域，突显了其应对这一挑战性检测任务的有效性。   #### （1）全数据集场景   如表2所示，ParadiseNet的平均Dice系数达0.61，相比全数据集中最接近的竞争方法，病变区域预测准确率提升了3%。此外，其归一化表面距离（NSD）显著改善，平均值为0.72，相比其他UNet变体，边界预测准确率提升了2%。ParadiseNet的敏感性表现卓越，平均值为0.64，证实了其有效检测真阳性病变的能力。同时，其特异性维持在极高水平，平均值为0.9989，表明病变识别中的假阳性率极低。 （2）微小弥散性病变场景   值得注意的是，ParadiseNet在微小弥散性病变病例中表现出显著改进：对于占比小于1%的病变，其Dice系数相比nnUNet提升5%，NSD提升5%；对于小于2%的病变，相比大多数方法，Dice和NSD均提升4%。这些结果凸显了ParadiseNet在处理数据分布不平衡问题上的能力，以及在勾勒微小弥散性病变边界时的精确性。   不同方法的预测性能也在图5中进行了可视化展示。我们选取了不同患者的切片，每例显示不同的病变区域，图像下方标注了全脑体积的Dice和NSD指标。这些可视化结果清晰表明，ParadiseNet在Dice和NSD指标上显著且持续优于其他方法。

Figure

图

Fig. 1. Hypoxic ischemic encephalopath (HIE) is a typical small diffuse lesion dataset.  Legion regions in half of the patients in the HIE dataset are less than 1%.

图1. 缺氧缺血性脑病（HIE）是典型的微小弥散性病变数据集。HIE数据集中半数患者的病变区域占比小于1%。

Fig. 2. Big focal lesion detection on ISLES-SPES (Maier et al., 2017; Kistler et al., 2013)  and BraTS (Menze et al., 2014) vs HIE (Bao et al., 2023) small diffuse detection. The  systematic gap in the Dice accuracies and methods of big focal lesion segmentation  versus HIE small diffuse lesion segmentation are displayed. The first row visualizes a  MRI image of a randomly-chosen patient and the expert-annotated lesions (red regions)  from each dataset. The second row quantifies the percentage of brain volume lesioned  across all patients within the dataset. In the third row, each dot represents the mean  Dice accuracy reported of a method. A clear gap in lesion segmentation accuracies  and number of methods are illustrated for small diffuse lesions, as noted by the  gray horizontal stripe in the third row. (See ISLES-SPES and BraTS challenge sites for  performance reporting in our Figure, and performances on HIE dataset are generated  by us using deep learning methods designed for other lesion segmentation or from  literatures).

图2. ISLES-SPES（Maier等人，2017；Kistler等人，2013）和BraTS（Menze等人，2014）的大灶性病变检测与HIE（Bao等人，2023）微小弥散性病变检测的对比。图中展示了大灶性病变分割与HIE微小弥散性病变分割在Dice准确率和方法上的系统性差距。   - 第一行：随机选取的各数据集患者MRI图像及专家标注的病变区域（红色）。大灶性病变（如脑肿瘤、急性中风）呈现明显局灶性分布，而HIE病变表现为多灶性、微小且弥散的特点。   - 第二行：各数据集中所有患者的病变体积占脑体积的百分比。脑肿瘤和急性中风病变体积占比中位数分别为6.1%和12.5%，而HIE病变仅为0.6%，突显HIE病变的“微小性”。   - 第三行：不同方法的平均Dice准确率。大灶性病变分割准确率约80%，而HIE微小弥散性病变仅约50%，灰色横条标注了两类任务的显著性能差距，表明现有方法对微小病变分割效果显著不足。

Fig. 3. Overview of our proposed ParadiseNet. ParadiseNet consists of three learning modules: global–local learning module, progressive-uncertainty learning module and selfevolution learning module.It mimics the concepts of doctor diagnosis, doctor democracy, and precision diagnosis in the clinical diagnosis.

图 3. 我们提出的 ParadiseNet 概述。该网络包含三个学习模块：全局 - 局部学习模块、渐进式不确定性学习模块和自进化学习模块，其设计灵感源于临床诊断中的 “医生诊断”“多专家会诊” 和 “精准诊断” 概念。

Fig. 4. Global–local-uncertainty learning module.

图4. 全局-局部-不确定性学习模块

Fig. 5. Lesion segmentation results of different methods. Each row is a patient with different percentages of the brain being lesioned. Compared with existing methods, ParadiseNet  higher accuracy in lesion regions with different percentage.

图5. 不同方法的病变分割结果。每行展示一位脑损伤占比不同的患者。与现有方法相比，ParadiseNet在不同损伤比例的病变区域中均表现出更高的准确性。

Fig. 6. Frequency maps of false-negative and false-positive detections in 133 patients. The value at each voxel quantified the percentage of patients out of our 133 patients that  had false-positive (left column) or false-negative (right column) lesion detection using DeepMedic (top row), nnUNet (middle row) and proposed ParadiseNet (bottom row). The  frequency is color-coded according to the vertical color bar on the right side.

图 6. 133 例患者假阴性和假阳性检测的频率图。每个体素的值表示 133 例患者中使用 DeepMedic（顶行）、nnUNet（中间行）和 proposed ParadiseNet（底行）检测到假阳性（左列）或假阴性（右列）病变的患者百分比。频率根据右侧的垂直色条进行颜色编码。

Fig. 7. Failure cases in HIE. Yellow indicates true positives, red denotes false negatives, and blue denotes false positives.

图 7. HIE 分割失败案例。黄色表示真阳性（正确检测的病变），红色表示假阴性（漏检的病变），蓝色表示假阳性（误检的正常区域）。

Table

表

Table 1 HIE dataset. Over 50% of patients with HIE small diffuse lesions.

表 1 HIE 数据集。超过 50% 的 HIE 患者存在微小弥散性病变

Table 2 Performance comparison of ParadiseNet and other deep learning methods for HIE lesion segmentation across a 4-fold cross-testing dataset.  Results are segmented into overall performance, small diffuse lesions smaller than 1% of the image area, and small diffuse lesions smaller than  2% of the image area. ParadiseNet shows marked improvements in both Dice, MASD and NSD metrics, particularly in the segmentation of small  diffuse lesions.

表 2 ParadiseNet 与其他深度学习方法在 HIE 病变分割的 4 折交叉测试数据集上的性能对比。结果分为整体性能、小于图像面积 1% 的微小弥散性病变和小于 2% 的微小弥散性病变三部分。ParadiseNet 在 Dice、MASD 和 NSD 指标上均表现出显著改进，尤其在微小弥散性病变的分割中。

Table 3 A Comparative analysis of segmentation performance between ParadiseNet and baseline models for small diffuse lesion detection in HIE. The  table presents the Dice coefficient, sensitivity, and specificity metrics for lesions under 1% of the image area, as well as the overall performance  across the entire dataset. The contributions of global–local learning, progressive uncertainty, and self-evolution modules to the performance  enhancement in ParadiseNet are also highlighted.

表 3 HIE 微小弥散性病变检测中 ParadiseNet 与基线模型的分割性能对比。表格展示了图像面积小于 1% 的病变的 Dice 系数、敏感性和特异性指标，以及整个数据集的整体性能。同时强调了全局 - 局部学习、渐进不确定性和自进化模块对 ParadiseNet 性能提升的贡献。

Table 4 HIE 4-fold Ablation Study on global and local stream.

表 4 HIE 全局和局部流的 4 折消融研究

Table 5 HIE 4-fold Ablation Study on Self Iterations.

表 5 HIE 自迭代次数的 4 折消融研究

Table 6 Performance comparison of ParadiseNet and ensemble results of top 10 methods in  Table 2.

表 6 ParadiseNet 与表 2 中前 10 种方法集成结果的性能对比