时序 KAN 持续发力!靠它人人都能水一篇,此时不冲,更待何时!
发展至今时间序列分析的创新依然是刚需无论是在预测还是异常检测任务上。一方面传统深度学习模型如Transformer等在提升性能的同时其“黑箱”特性和对细微噪声的过拟合问题始终是挑战另一方面模型的可解释性和效率在实际应用中愈发重要。这点在各会议期刊上都有所体现。2024年横空出世的Kolmogorov-Arnold网络(KAN)凭借其基于数学定理的结构和潜在的可解释性为解决上述困境提供了全新视角。不过要想让这一通用框架在特定领域落地绝非简单的“即插即用”。如何根据任务特性如时间序列的周期性、趋势性改造KAN的激活函数、如何设计高效稳定的训练策略便成了新的研究热点。本文解析的两篇论文正是这一方向的优秀代表为我们展示了如何“魔改”KAN来水为大家寻找新的研究切入点提供了绝佳范例。另外我整理了时间序列KAN相关论文合集~希望能帮到你原文、姿 料这里一、论文1Are KANs Effective for Multivariate Time Series Forecasting?方法论文提出了一种名为多层混合KAN网络(Multi-layer Mixture-of-KAN network, MMK)的模型。其核心是一个创新的混合KAN层(Mixture-of-KAN, MoK)。该层借鉴了混合专家(Mixture-of-Experts, MoE)的思想通过一个门控网络将输入的不同变量自适应地分配给最匹配的KAN“专家”进行处理。每个专家本身是一个拥有不同基函数如B样条、小波、雅可比多项式等的KAN变体。通过堆叠多个MoK模块并结合RevIN归一化和一种预采样初始化策略来解决深度KAN训练不稳定的问题最终实现高精度的预测。创新点首次全面评估据作者所知这是首个全面且系统性地探讨新兴的KAN架构在多变量时间序列预测任务中有效性的工作为后续研究提供了可靠的基准。混合专家KAN层提出了MoK层的概念巧妙地将MoE架构与多种KAN变体结合。这使得模型能够聚合不同基函数的优势自适应地处理不同变量的独特数据分布解决了为特定任务手动选择最佳KAN变体的难题。训练策略优化识别并解决了深度KAN模型在训练中损失过大且不稳定的问题并提出了一种有效的预采样初始化 (pre-sampling initialization)策略来保证训练过程的稳定性。代码链接https://github.com/2448845600/EasyTSF论文链接https://arxiv.org/pdf/2408.11306二、论文2KAN-AD: Time Series Anomaly Detection with Kolmogorov–Arnold Networks ICML 2025方法论文提出了一种名为KAN-AD的新型时间序列异常检测框架。该方法的核心思想是通过平滑的单变量函数来逼近时间序列的“正常”模式从而对局部噪声和扰动如局部峰值、下降保持鲁棒。具体而言它对原始KAN进行了三方面改造用具有更好平滑性和周期建模能力的傅里叶级数 (Fourier series)替代了原始KAN中容易过拟合局部特征的B样条基函数。通过一个轻量级的1D CNN网络来学习傅里叶级数的组合系数高效地重构正常模式。在预处理阶段采用一阶差分来消除数据趋势提升模型建模的准确性。创新点问题重构将时间序列异常检测问题重新定义为“用一组平滑的单变量函数逼近正常模式”。这一视角从根本上解决了传统预测模型易于过拟合训练数据中局部噪声的痛点。KAN的适配改造创新地将原始KAN中需要在训练中学习的B样条函数替换为固定的、数学特性平滑、周期性更适合时序任务的傅里叶级数。这不仅提升了鲁棒性也体现了针对具体任务改造KAN核心部件的思路。高效轻量模型架构极为高效。它不学习复杂的函数本身而是通过一个参数量极少的1D CNN学习一组固定的傅里叶基函数的线性组合系数。这使得KAN-AD在实现SOTA性能的同时参数量极低推理速度极快。其核心的傅里叶分解公式如下代码链接https://github.com/CSTCloudOps/KAN-AD论文链接https://arxiv.org/abs/2411.00278
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2430543.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!