Arbitrary-scale atmospheric downscaling with mixture of implicit neural networks trained on fixed-scale data摘要大气数据降采样是推进气候和天气研究的关键它解决了对高分辨率区域洞察日益增长的需求同时提高了天气预报和气候建模等关键应用的准确性和适用性。然而现有的方法往往存在精度低、计算效率低或固定尺度的限制。提出了一种新的任意尺度下尺度分解的混合隐式网络(Minet)方法该方法通过多尺度隐式特征构造和坐标检索来构造多变量大气数据的连续表示然后利用基于坐标的混合专家对这些特征在任意尺度上进行解码。在使用ERA5再分析数据集和CMIP6数据集的两个固定尺度基准上它的表现优于其他最先进的方法。大量的实验表明Minet在任意尺度下具有较好的性能只需一次固定尺度的训练而对全球区域和陆地-海洋分布的评估证实了其稳定性和准确性。【似乎是通过隐式表征来提取特征加上坐标检索类似这样构建出一个 encoder然后对于不同的变量采用的不同的 decoder进行解码】引言通过增强低分辨率气候数据然后产生高分辨率输出降采样为预测模型提供了精细化的初始和边界条件。这种精细化的特征相对而言能够捕捉更细节的局部细节和区域特征。有效的降尺度不仅使气候模式能够更准确地模拟地理特征对气候动力学的影响而且还提高了预测的精度和适用性使其成为大气科学中的一个关键重点领域。尽管它很重要但大多数现有的方法主要集中在固定尺度的降尺度上这限制了现实世界的实际适用性。相反任意尺度的缩小提供了更大的灵活性和适应性如图1所示能够在任意尺度上无缝地提取任何特定区域的高分辨率大气变量。随着现代研究和业务需求需要针对特定规模进行量身定做的分析这种适应性变得越来越必要。此外随着大气数据集的复杂性和异质性的增加已经转向在不同数据集上降尺度而不是仅依赖单一的数据集[20]。这一转变突显了传统方法可能被证明不够用的一个关键缺口。低分辨率--高分辨率 在气象方面被称为降尺度这个操作是非常重要的 现有方法的局限集中在固定尺度上以前的降尺度方法传统动力学模型统计方法 深度学习CNNTransformer生成模型扩散模型但是现有的方法仍然局限于固定尺度的降采样。通过将GridSat卫星观测作为扩散模型的有条件输入来处理任意尺度的降采样这在训练期间需要大量的计算资源。为了弥补这些差距我们提出了一种混合隐式神经网络(Minet)它可以在任意尺度上执行大气数据的缩减。Minet通过多尺度隐式特征构建和多尺度坐标检索学习多变量大气数据的连续表示并使用基于坐标的专家混合将这些隐式特征解码为任意尺度的大气数据。具体地说多尺度隐式特征构建通过残差密集网络提取局部和全局大气信息然后通过上采样模块生成多尺度隐式特征表示。为了将检索到的特征转换为大气变量解码器利用基于坐标的专家混合允许它从不同的视角解释来自不同区域的隐含特征。通过解决现有的限制并引入关于特征相互作用的多尺度视角Minet能够有效地对大气数据进行任意尺度的缩小这对于提高大气分析的精度和适用性至关重要。我们提出了一种新的范例称为混合隐式神经网络(Minet)用于任意尺度的降采样。这种方法只需要固定尺度的数据进行训练但对任何缩小尺度的任务都具有很强的适应性。我们通过多尺度隐式特征构建和多尺度坐标检索来增强隐式神经表示并结合基于坐标的混合专家解码器进行精确解码。这种方法显著提高了降尺度过程的精度和效率。Minet实现了任意尺度的缩小并且在所有固定尺度和任意尺度的实验中都优于现有方法。广泛的研究包括全球区域分析和陆地-海洋分析进一步证明了我们方法的优越性。Related Work然而将任意尺度的图像超分辨率技术转移到大气数据领域面临着独特的挑战。例如它们的特征交互仅限于邻域因此很难捕捉大气降尺度所需的广泛上下文关系。我们的方法通过利用多尺度特征采样克服了这些限制实现了更丰富的特征融合和交互从而产生了更全面的降尺度结果。此外我们的方法使用专门的专家MLP来分析不同的坐标而不是依赖于简单的MLP向前传播。这种方法实现了位置自适应分析提高了模型的灵活性和准确性。3 Methods3.1 MINET我们的大气降尺度算法建立在隐式神经网络[48]的基础上通过多尺度特征构造进一步增强了隐式特征使网络能够从粗到细的尺度捕捉大气变量的特征。此外为了获得更准确的降尺度结果采用了基于坐标的混合专家模型作为解码器。以前的基于隐式神经网络的方法如[48]和[51]主要是通过局部空间加权或注意机制在单个尺度上聚集相邻的特征值。这些方法忽略了对不同尺度上隐式特征的表示和关系的探索。具体地说我们的模型由编码器、多尺度特征构造、多尺度坐标检索和作为译码的基于坐标的专家混合组成如图2所示。编码器和多尺度特征构造方法将输入的大气变量变换成不同尺度的特征图既能捕捉局部信息又能捕捉全局信息。多尺度坐标检索旨在通过检索和聚合不同尺度上的要素地图来构建目标位置的上下文信息。最后我们使用基于坐标的混合专家将上下文信息转换为预测变量。基于坐标的专家混合动态地选择最合适的专家来处理来自不同区域的隐含特征。任意尺度降尺度的目的是提高大气数据的空间分辨率转换低分辨率数据为高分辨率数据表示输入变量(U10、V10、T2M、Z500、T850)的个数。Minet对大气数据进行任意尺度缩小的工作流程如下低分辨率大气数据首先通过编码器获得单尺度隐含特征。然后这些隐含特征被多尺度特征构造网络处理生成多尺度隐含特征。构建×形状的归一化高分辨率坐标地图如图2所示。对坐标地图上的位置跨多尺度隐式特征进行多尺度坐标检索。检索到的特征最终被送入基于坐标的混合专家解码器以构建目标分辨率的大气数据。3.2. Atmospheric feature encoder如图2所示通过Residual Dense NetworkRDN对低分辨率大气变量encode为隐式特征。与传统方法相比网络通过堆叠卷积层、特征级联模块和残差密集块(RDB)实现双重优化密集连接在保持空间维度的同时有效地提取局部特征中的细节结构参残差连接在通道维度变换(→)过程中保持全局动态特征的完整性。这种设计使得隐式编码过程能够捕捉大气变量的非线性变化同时保持不同尺度上特征之间的物理相关性从而为后续处理提供更精确的特征表示基础。【这个其实是一个别人在超分任务中使用的模块 2021年CVPR】3.3. Multi-scale implicit feature construction我们提出了一种多尺度隐式特征构造块用于将大气特征编码器中的单尺度隐式特征转换为多尺度隐式表示从而能够捕获大气数据中固有的更详细的结构信息。该多尺度构造利用应用于单尺度隐式特征的几个上采样块生成一系列多尺度隐式特征(在图2(B)中描绘为灰块)。上采样模块的灵感来自于[46]中的上采样模块的体系结构该模块采用了卷积和像素混洗运算的交替结构。通过将单尺度特征转换为多尺度表示网络能够有效地捕捉大气数据中存在的上下文结构模式增强了隐式神经表示的表达能力。我们将从多尺度金字塔块派生的多尺度特征表示为从1级到的特征维度呈现二次增长。 具体来说 Convolution and PixelShuffle 操作提高要素地图的空间分辨率同时减少通道数与我们的设计一致其中每个上采样步骤通过卷积将通道从256扩展到1024然后PixelShuffle将通道减少到256。多尺度要素的演化在数学上形式化为i 1是第一层的特征也就是3.2输出的特征conv 将256-1024然后PixelShuffle将通道减少到256这种分层变换使网络能够编码更丰富的多尺度上下文信息这对于捕获4×16×降尺度范围内的变换模式至关重要从而增强了其有效处理和模拟细粒度大气特征的能力。3.4. Multi-scale coordinate-based retrieving在这里我们开发了一个多尺度坐标检索块用于跨多尺度隐含特征执行最近邻检索并将它们与相应的相对坐标连接。这里表示高分辨率目标及其3×3邻近点的坐标∗表示最接近检索点的坐标。得到的级联特征形成目标位置的隐式特征表示然后将其馈送到后续解码器。3.5. Coordinate-based mixture of experts decoder最后在基于坐标的专家混合框架下使用我们的解码器构建高分辨率的大气数据。专家混合(MOE)[53-55]使用选通网络来确定哪个专家最适合当前的输入从而动态地选择最合适的专家进行计算。在我们的工作中检索特征来自各种不同的坐标。因此基于坐标的专家混合模型可以根据与坐标相关联的隐含特征来有选择地为前传选择专家。它能够有效地捕捉不同地区的大气模式。基于坐标的专家混合主要由一个门限网络和多个专家网络组成。每个专家网络都是一个轻量级的MLP网络。采样的特征被送入门以获得对应于每个专家的响应值。具有最高响应值的前k个专家被选择用于前向传递并且使用相应的权重对他们的输出进行积分如图2(D)所示。然后利用以下策略对目标位置及其邻近区域的输出进行集成以形成我们的预测变量4. Experiments4.1 DataERA 5 数据每小时 0.25*0.25分辨率。CMIP6 中的MPI-ESM 高分辨率和低分辨率数据时间间隔是6小时。4.2. Experiment settings我们严格遵循TOAX[20]中概述的数据拆分和预处理程序的设置。Z500, T850, T2M, U10, V10是降尺度实验的变量MPI-ESM中5.625分辨率是输入ERA5 中 1.40625的分辨率是输出大概是4倍的降尺度。1979-2010的训练2011-2012验证2013-2014测试时间分辨率是6小时。ClimateLearn[36]利用ERA5数据将Z500、T850和T2M从5.625°降至2.825°对应于2倍的降尺度。训练期从1981年到2015年验证期设定为2016年测试期从2017年到2018年时间分辨率为1小时。按照[20]和[36]中的实施对数据进行了均值和方差归一化预处理。为了评估不同模型的性能我们使用了纬度加权均方根误差(LRMSE)、皮尔逊相关系数和均值偏差详见第4.3节。5 Results虽然我们的方法是为了解决任意尺度的大气降尺度问题而开发的但我们的实验表明它在固定尺度的降尺度上也表现得很好。以往的方法主要在两个基准上进行大气固定尺度的缩小从5.625°的MPI-ESM数据到1.40625°的ERA5数据[20]和从5.625°的ERA5数据到2.8125°的ERA5数据[36]。为了与他们进行公平的比较我们严格遵循他们的实验设置评估了Minet在固定尺度下的大气降尺度。Minet获得了新的最先进的(SOTA)表演如5.1节所示。我们的模型的一个关键优势在于它能够在任意比例下执行缩减。我们进一步进行了任意尺度下的实验结果在5.2-5.4节中给出。第5.2节侧重于全球区域分析第5.3节从陆海分布的角度审查结果第5.4节显示纬度分布的结果。这些部分从不同的角度提供了全面的分析。