1. 项目概述为什么我们需要重新审视机器学习地球系统模型的评估作为一名长期从事气候模式开发与评估的研究者我亲眼见证了机器学习ML技术如何以惊人的速度渗透到地球系统科学领域。从几年前Pangu-Weather、GraphCast等模型在天气预报上初露锋芒到如今越来越多的团队开始尝试构建全耦合的机器学习地球系统模型ML-ESM这股浪潮带来的不仅是效率的指数级提升更是一种根本性的范式转变。传统物理模型Physics-Based Model的构建逻辑是“自顶向下”的我们基于已知的物理定律纳维-斯托克斯方程、辐射传输理论等编写代码用离散化的数值方法求解。而ML-ESM则是“自底向上”的它像一个黑箱从海量的观测或再分析数据如ERA5和传统模式输出如CMIP6中学习变量间的复杂关系试图直接映射出系统的演化规律。这种转变带来了巨大的机遇也带来了前所未有的挑战。最核心的问题在于我们如何信任一个没有显式编码物理定律的模型去预测一个我们从未经历过的未来气候状态传统的物理模型即便有偏差其偏差来源相对清晰如参数化方案的不确定性我们可以通过调整参数或改进方案来逼近。但一个ML模型即使它在历史数据上表现优异我们也无法确定它是否真正“理解”了气候系统运作的物理机制还是仅仅记住了数据中的统计关联。当面对远超训练数据范围的强迫情景如极高的CO2浓度时它是否会给出物理上荒谬的结果这正是当前ML-ESM发展面临的最大信任危机。因此对ML-ESM的评估绝不能止步于“历史拟合优度”。我们需要一套全新的、更严格的评估哲学和工具箱。这不仅仅是技术问题更是科学诚信和决策可靠性的基石。本文旨在结合领域内最新的共识与思考系统性地拆解ML-ESM评估的完整框架从物理一致性检验到标准化比对为开发者和使用者提供一份清晰的路线图。2. 核心挑战与评估哲学超越历史数据拟合2.1 物理一致性的核心地位评估一个ML-ESM首先要明确评估的目标。对于传统物理模型评估的核心是“准确性”和“过程真实性”即模拟结果是否接近观测以及其内部物理过程是否合理。对于ML-ESM在“准确性”之上我们必须将“物理一致性”提升到前所未有的高度。物理一致性是指模型的行为是否符合支配地球系统的基本物理定律和约束。这包括全局守恒律质量、能量、动量等基本量在长时间积分中是否守恒虽然传统模型也追求守恒但数值离散化会引入微小误差。对于ML模型其架构本身可能不内置守恒性因此必须作为首要检验项。局部物理约束例如一个网格点的降水量不可能超过该气柱中的水汽总量近地面空气很难达到过饱和状态。这些是强物理约束违反它们意味着模型产生了物理上不可能的状态。涌现约束与关系这是更高阶的检验。例如全球平均降水随温度升高的变化率约1-2%/K远低于大气水汽含量的变化率约7%/K这是由能量约束决定的。一个可靠的ML-ESM即使在新的强迫下也应自发地保持这种涌现关系。其他例子还包括云反馈与气候敏感性之间的关系、ENSO厄尔尼诺-南方涛动的遥相关型等。注意许多ML模型在训练时损失函数如均方根误差RMSE主要优化对历史状态的拟合。这可能导致模型倾向于“回归到均值”过度平滑小尺度特征如锋面、涡旋从而在功率谱上表现出对高波数的过度阻尼。这虽然不是物理不一致但意味着模型的“有效分辨率”可能低于其网格分辨率影响其对极端天气事件等的模拟能力。2.2 “样本外”预测的可信度构建地球系统建模的终极目标之一是预测未来气候这完全是一个“样本外”问题。训练数据过去100多年只代表了气候系统在相对稳定强迫下的一个可能轨迹。而未来可能面临从未有过的强迫组合。ML模型 notoriously 存在外推能力弱的问题。因此评估必须设计能够检验模型外推能力的实验。这不能仅仅依靠与未来“未知”的观测对比因为未来还没发生而需要通过一系列“代理实验”来构建可信度理想化测试在高度简化的、解析解已知或物理理解透彻的设定下运行模型。例如一个干燥的斜压不稳定波测试。如果模型在这样干净的初始条件下都无法产生合理的斜压波发展那么其模拟真实复杂气候的能力就值得怀疑。极端强迫测试在历史强迫范围之外运行模型例如瞬间将CO2浓度翻四倍4xCO2观察模型的瞬态气候响应和平衡态是否落在物理合理的范围内并与传统物理模型的多模式集合进行比较。过程扰动测试检验模型对特定物理过程扰动的响应是否合理。例如人为改变某个区域的海洋热通量观察大气环流的响应是否符合理论预期如罗斯贝波列传播。这些测试的目的不是要求ML-ESM给出一个“正确”答案因为很多测试没有唯一答案而是要求它的行为“不荒谬”并且落在基于物理理解的合理范围之内。3. 评估框架的四大支柱从理论到实践基于上述哲学一个全面的ML-ESM评估框架应建立在四大支柱上。这不仅是清单更是一个循序渐进的验证流程。3.1 支柱一继承与融合——充分利用现有评估生态系统地球系统建模界在过去三四十年积累了无比丰富的评估经验和工具。ML社区完全没必要从头造轮子第一步应该是积极融入并利用这些现有资源。核心工具包借鉴PCMDI Metrics Package (PMP)评估平均气候态、气候变率模态如ENSO、NAO、极端事件等。它提供了与CMIP多模式集合的直接对比基准。ESMValTool社区驱动的诊断和性能评估工具覆盖全面可高度定制。ILAMB/IOMB专门针对陆面和海洋分量的基准测试。过程诊断工具如MDTF用于深入分析特定物理过程如云-辐射反馈、陆-气耦合的模拟性能。实操要点标准化输出ML-ESM的输出应遵循CFClimate and Forecast元数据公约确保数据能被现有工具无缝读取。这包括正确的变量名、单位、网格描述和时间坐标。历史气候模拟评估运行AMIP式模拟给定观测海温强迫的大气模拟使用上述工具进行全面评估。关键不是追求在所有指标上击败物理模型而是理解偏差的模式ML模型的偏差是系统性的还是随机的与物理模型相比有何异同参与比对将ML-ESM的结果提交到类似CMIP耦合模式比较计划的框架中进行“盲比”。在统一的实验设计、强迫场和评估指标下模型的真实能力高下立判。心得初期我们团队曾将自研的ML气候模拟器结果用PMP分析生成类似“肖像图”的多变量误差对比图。与CMIP6模型放在一起比较时能立刻发现我们的模型在副热带急流模拟上存在系统性偏弱的问题而这个问题在单看自己的结果时并不明显。这种社区级的“标尺”至关重要。3.2 支柱二物理一致性诊断——模型是否“讲道理”这是ML-ESM评估独有的、也是最重要的环节。我们需要开发一系列诊断性测试专门用于探查模型的物理内核。基础守恒检验全局质量/能量平衡在长时间如100年耦合积分中计算全球大气、海洋、陆地的总质量、总能量焓势能动能的变化。理想情况下净变化应为零。允许存在因数值格式导致的微小机器误差量级的漂移但不能有趋势性增长或减少。示踪物非负性检查水汽、云水、雨水、臭氧等所有示踪物浓度是否出现负值。这在物理上是禁止的。过程一致性检验因果关系与传播速度这是一个针对ML模型的独特测试。在稳态流场中于单个格点注入一个温度或涡度扰动。在物理世界中这个扰动会以有限的速度如声速或平均流速度传播。检查ML模型的响应扰动是否瞬间传递到全球这能检验模型是否隐式地学习了正确的局部因果关系还是建立了非物理的全局瞬时关联。特征结构合理性使用特征追踪算法如TempestExtremes分析ML模型模拟的热带气旋、温带气旋、大气河等。对比其生命周期、空间结构、强度分布与观测或高分辨率物理模型的异同。例如ML模型模拟的台风眼墙结构是否清晰暖心结构是否合理涌现关系检验协方差关系分析关键变量对之间的协方差关系是否合理。例如热浪期间通常伴随地表风速减弱高压脊控制最热日前后土壤湿度和降水是否有特定的时序关系先干后湿计算这些关系的时空模式与观测或物理理解对比。功率谱分析计算关键变量如涡度、温度的纬向波谱。检查模型是否过度阻尼高波数小尺度的变率。这可以通过与高分辨率物理模式或观测的波谱对比来实现。3.3 支柱三理想化测试——模型的“单元测试”软件工程中我们在集成测试前会做单元测试。对ESM也是如此。传统物理模型的发展遵循严格的层级测试流程ML-ESM也应采纳这一思想尤其是在模型开发初期。大气分量核心测试示例二维浅水方程测试测试模型在简化条件下的水平流体动力学包括能量串级等。干燥斜压不稳定测试移除水汽、辐射、地形等过程测试模型能否在初始斜压扰动下自发发展出合理的斜压波结构。这是大气动力学的“Hello World”。理想热带气旋测试在均一海温、无陆地的“水球”地球上给定一个初始涡旋测试模型能否模拟出热带气旋的增强、眼墙形成等关键过程。地形强迫罗斯贝波测试引入理想化地形如一座孤立山脉测试模型产生的地形罗斯贝波响应是否符合理论。关键挑战与应对 许多ML-ESM尤其是端到端训练的模型将地形、海陆分布等作为固定的内部知识编码进了网络权重。这使得“移除地形”进行理想化测试变得困难因为这意味着要重新训练一个没有地形信息的模型。目前可行的变通方案有使用允许自定义地形的架构在模型设计时就将地形、辐射强迫等作为可变的输入条件而非固定权重。开发新的“半理想化”测试如Hakim Masanam (2024)的工作他们在真实地形和气候平均态背景下设计了一系列理想化扰动实验如稳态热带加热、温带气旋发展等来测试Pangu-Weather的物理一致性。这为无法修改地形的ML模型提供了可行的测试路径。3.4 支柱四生态系统中的定位——与现有工具的协同与对比ML-ESM不应被孤立地看待而应被置于地球系统建模的完整工具生态中评估其价值。对比维度与“父模型”/“兄弟模型”对比仿真器将其输出与它所仿真的那个特定物理模型父模型进行逐对比较。差异在哪里是ML简化了某些过程还是引入了新的偏差混合模型将其与未替换ML组件的原版物理模型兄弟模型比较。ML组件的引入是全面改善了性能还是在某些方面有得有失参与多模式集合将ML-ESM或混合模型作为一个独立成员加入CMIP-like的多模式集合。分析集合离散度ML模型的投影是否显著扩大了或缩小了传统物理模型集合的不确定性范围信号一致性对于关键气候变量如全球平均温度、降水格局变化ML模型给出的变化信号是否落在物理模型集合的范围内如果显著超出需要提供强有力的物理解释。与降尺度方法对比在区域气候信息提供方面ML-ESM的统计降尺度能力与传统的动力降尺度或统计降尺度方法相比优劣如何特别是在捕捉区域极端事件和复杂地形效应上。建立标准化比对框架 这需要社区共同努力形成公约。核心要素包括共同实验协议定义一套标准的、强制性的测试实验如1.5°C稳定情景、历史气候模拟、理想化测试等所有参与比对的模型都必须完成。共同诊断指标集不仅包括传统的气候态指标还必须包含3.2节中提到的物理一致性诊断指标。开源与可复现鼓励模型代码、权重、实验配置开源。至少应提供足够详细的文档使第三方能够复现关键实验结果。独立管理机构需要一个中立的机构如过去的PCMDI来协调比对实验、收集结果、进行初步分析并维护数据门户。这能保证评估的公正性和透明度避免“指标黑客”行为即针对特定评估指标过度优化模型。4. 实操指南如何开始评估你的ML-ESM对于刚起步的团队面对庞大的评估体系可能会无从下手。我建议遵循一个从简到繁、从内部到外部的渐进式流程。4.1 第一步基础体检与历史表现评估数据与工具准备确保你的模型输出符合CF公约。在本地或云端部署ESMValTool或PMP。从运行其提供的示例脚本开始。运行核心历史实验AMIP实验如果是有大气分量的模型在观测海温和海冰强迫下运行1979-2014年或更长的模拟。历史耦合实验如果是全耦合模型在历史温室气体和气溶胶强迫下运行1850-2014年模拟。生成基础评估报告使用工具计算全球平均温度、降水、海平面气压等基本场的气候态与观测如ERA5、GPCP对比绘制偏差图。计算关键变率模式如ENSO、NAO的指数评估其振幅、周期和空间型。重点关注偏差的空间分布是否具有物理意义例如降水偏差是否与地形或海温偏差系统性相关4.2 第二步物理一致性“快速检查”在深入分析前先进行几项快速检查排除重大硬伤全局守恒检查对一段如10年耦合积分结果按月输出全球积分量计算大气总质量、总水物质、总能量近似为温度积分的时间列。绘制出来肉眼观察是否有明显的趋势性漂移。负值扫描写一个简单的脚本遍历输出数据中的所有示踪物变量水汽、云水、雨水、雪、臭氧等查找是否存在负值。哪怕只有一个格点出现负值都需要严肃对待基本关系抽查选取几个典型区域如热带太平洋、西伯利亚绘制近地面气温与饱和水汽压的关系散点图。检查在高温下模型模拟的相对湿度是否会超过100%近地面过饱和是极罕见的。4.3 第三步运行关键理想化测试根据模型的能力选择1-2个最相关的理想化测试。如果你的模型允许自定义地形和强迫尝试运行干燥斜压波测试。这是检验大气动力核心的“试金石”。将初始场设置为Jablonowski Williamson (2006)的解析场关闭辐射、湿物理、设置均匀海温、移除真实地形。积分5-10天。对比你的模型发展出的斜压波结构与经典文献中的结果或高精度参考解在槽脊位置、强度演变上的异同。如果你的模型地形固定尝试运行Hakim Masanam (2024)式的测试。在真实地形和气候平均态基础上在热带某个区域如西太平洋暖池施加一个稳态的加热异常运行模型。检查是否产生了符合Matsuno-Gill理论的低层辐合、高层辐散及遥相关波列。4.4 第四步生态系统对比与不确定性量化制作模型“肖像图”像图1那样选取6-8个关键变量如各层温度、风场、降水计算其相对于观测的归一化RMSE并与CMIP6的一众物理模型并列展示。这能一目了然地定位你的模型在整体性能矩阵中的位置。进行初步的集合预测如果你的模型运行速度足够快对某个未来情景如SSP2-4.5运行一个20-50成员的初始条件扰动集合。计算关键变量如全球平均温度的集合平均和内部变率集合离散度。与CMIP6多模式集合的均值和离散度进行粗略比较看是否处于合理范围。分享与参与将你的评估结果尤其是理想化测试和物理一致性检查结果以技术报告或预印本形式公开。积极参与社区研讨会如AGU、EGU中关于ML-ESM的专题了解其他团队的进展和评估方法。5. 常见陷阱、问题与进阶思考在实际操作中你会遇到各种预料之外的问题。以下是一些我们踩过的“坑”和应对思路。5.1 典型问题与排查清单问题现象可能原因排查思路与解决方向长时间积分后气候态严重漂移1. 全局守恒性差2. 能量收支存在微小但持续的系统性偏差3. 模型存在数值不稳定性。1. 首先进行支柱二的全局守恒检查。如果存在趋势检查模型架构中是否内置了守恒约束如使用满足守恒性的神经网络层。2. 检查辐射、湍流等参数化方案如果是混合模型或ML组件输入输出是否存在系统性热力学不平衡。3. 缩短时间步长或检查激活函数是否导致梯度爆炸。模拟的极端事件如热浪、强降水强度不足1. 模型有效分辨率低平滑了小尺度特征2. 损失函数过度惩罚异常值3. 训练数据中极端事件样本不足。1. 进行功率谱分析确认高波数能量是否被过度阻尼。可考虑在损失函数中加入谱域约束。2. 尝试使用分位数损失、极端值加权损失等。3. 采用数据增强技术或使用包含更丰富极端事件的数据集如高分辨率再分析进行训练。理想化测试中扰动传播速度无限大模型未学习到局部因果关系可能通过注意力机制等建立了非物理的全局连接。1. 这是严重问题需重新审视模型架构。考虑引入局部性先验如使用卷积神经网络CNN或图神经网络GNN并限制感受野。2. 在损失函数中明确加入因果关系惩罚项例如惩罚远距离格点对局部扰动的瞬时响应。模型在历史数据上表现极好但未来情景下行为怪异过拟合历史数据未学到可推广的物理机制对外推的强迫响应失准。1. 进行支柱三的极端强迫测试如4xCO2。如果响应不合理如温度响应过高或过低说明模型泛化能力差。2. 在训练中引入多情景数据如CMIP6的不同SSP情景让模型学习对强迫的响应函数而非单一历史轨迹。3. 考虑使用物理引导的架构或损失如硬性约束守恒律或加入基于物理方程的残差项作为软约束。5.2 关于“黑箱”与可解释性的思考ML-ESM的可解释性是其获得科学界信任的长期关键。虽然目前完全理解一个深度网络的内部工作机制还很困难但我们可以从外部行为进行诊断敏感性分析使用自动微分等技术计算输出变量如某地降水对输入变量如全球海温场的梯度。这可以揭示模型认为哪些区域、哪些变量是重要的其空间模式是否符合物理直觉如ENSO对全球降水的影响型反事实探究如果改变某个初始条件或强迫例如将某个海区的温度人为降低模型的响应是否符合已知的物理机制如引发太平洋-北美型遥相关组件隔离测试对于混合模型可以尝试“关闭”ML组件用简单的参数化替代对比结果以量化ML组件的确切贡献。5.3 标准化之路社区的挑战与机遇建立社区公认的ML-ESM评估标准道阻且长。最大的挑战在于ML模型的多样性和快速发展。一个为卷积神经网络设计的测试可能不适用于Transformer架构。此外评估本身的计算和存储成本也不低。然而机遇同样巨大。ML的灵活性允许我们设计前所未有的评估实验。例如我们可以轻松生成成千上万个微扰初始条件的集合来统计检验模型对初始条件的敏感性是否合理。我们也可以构建“对抗性”测试用例专门针对ML模型的弱点进行压力测试。我个人认为下一步社区应协作建立一個“ML-ESM评估基准平台”。这个平台应提供标准化的测试用例数据包括理想化初始场、极端强迫场等。容器化的评估流程提供Docker或Singularity容器内置所有必要的评估工具PMP, ESMValTool等和脚本用户只需提供模型输出即可自动生成评估报告。结果数据库与可视化门户允许各团队上传评估结果进行交互式比较和可视化形成健康的竞争与合作氛围。这项工作绝非一蹴而就但正如CMIP在过去几十年深刻塑造和提升了物理模型的发展一样一个严谨、开放、持续的评估文化也必将引领ML-ESM走向真正可靠和有用的未来。评估不是终点而是模型迭代和改进的罗盘。每一次失败的测试都比一次漂亮的历史拟合更能推动我们向前因为它指出了模型认知中缺失的那块物理拼图。