机器学习某机构在ICML 2023会议论文速览在一系列主题中某机构的研究融合了理论与实践的探索。会议ICML 2023在今年的国际机器学习大会ICML上某机构的研究人员发表了多篇关于赌博机问题和差分隐私的论文这两个主题一直备受关注。同时他们也探索了其他各种主题将理论分析与实际应用相结合。自适应神经计算自适应神经计算意味着根据输入动态调整神经模型的计算量。在ICML上研究人员将此方法应用于自动语音识别。《在关键时刻前瞻用于流式神经转换器的自适应非因果Transformer》Grant Strimel, Yi Xie, Brian King, Martin Radfar, Ariya Rastrow, Athanasios Mouchtaris赌博机问题赌博机问题其名称源于老虎机涉及探索-利用的困境与环境交互的智能体必须同时最大化某种奖励并学习如何最大化该奖励。这类问题常见于强化学习中。《延迟自适应策略优化及针对具有延迟赌博机反馈的对抗性MDP的改进遗憾》Tal Lancewick, Aviv Rosenberg, Dmitry Sotnikov《在线性上下文和组合动作中激励探索》Mark Sellke《从赌博机反馈中进行多任务离线策略学习》Joey Hong, Branislav Kveton, Manzil Zaheer, Sumeet Katariya, Mohammad Ghavamzadeh《基于扩散生成先验的汤普森采样》Yu-Guan Hsieh, Shiva Kasiviswanathan, Branislav Kveton, Patrick Bloebaum差分隐私差分隐私是一种统计隐私保证旨在最小化攻击者能够确定给定数据项是否包含在特定数据集中的概率。《以低成本对大型模型进行差分隐私优化》Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis《通过局部敏感量化实现快速私有核密度估计》Tal Wagner, Yonatan Naamad, Nina Mishra分布偏移分布偏移是指现实世界数据可能与训练机器学习模型所用的数据集具有不同分布的问题。在ICML上研究人员提出了一个新的数据集有助于解决这个问题。《RLSbench在宽松标签偏移下的领域自适应》Saurabh Garg, Nick Erickson, James Sharpnack, Alex Smola, Sivaraman Balakrishnan, Zachary Lipton集成方法集成方法将多个不同模型的输出组合起来以得出最终结论。在ICML上研究人员针对堆叠泛化集成其中高层模型组合低层模型的输出证明了新的理论结果。《学习集成策略的理论保证及其在时间序列预测中的应用》Hilaf Hasson, Danielle Maddix Robinson, Bernie Wang, Youngsuk Park, Gaurav Gupta可解释人工智能神经网络的训练方法意味着即使是其开发者也可能不知道它们正在执行什么计算。在ICML上研究人员探索了一种称为基于样本解释的可解释人工智能方法该方法旨在识别对给定模型输出贡献最大的训练样本。《用于解释正则化高维模型的代表点选择》Che-Ping Tsai, Jiong Zhang, Hsiang-Fu Yu, Jyun-Yu Jiang, Eli Chien, Cho-Jui Hsieh, Pradeep Ravikumar极端多标签分类极端多标签分类是在标签分类类别空间巨大的情况下对数据进行分类的问题。在ICML上研究人员探索了利用边信息如标签元数据或实例相关性信号来提高分类器性能的方法。《PINA通过预测实例邻域聚合在极端多标签分类中利用边信息》Eli Chien, Jiong Zhang, Cho-Jui Hsieh, Jyun-Yu Jiang, Wei-Cheng Chang, Olgica Milenkovic, Hsiang-Fu Yu图神经网络图神经网络生成图节点的向量表示这些表示考虑了节点本身及其在图中的邻居信息。在ICML上研究人员研究了更好地初始化此类网络的技术。《论图神经网络的初始化》Jiahang Li, Yakun Song, Xiang Song, David Paul Wipf超图超图是图结构的一种泛化在普通图中一条边恰好连接两个节点而超图中的一条边可以连接多个节点。在ICML上研究人员提出了一种构建超图神经网络的新方法。《从超图能量函数到超图神经网络》Yuxin Wang, Quan Gan, Xipeng Qiu, Xuanjing Huang, David Paul Wipf超参数优化超参数是神经网络模型的属性如学习率、网络层数和宽度等优化它们也是模型训练的标准步骤。在ICML上研究人员提出使用分位数回归作为标准高斯过程的替代方法用于在超参数优化过程中对函数进行建模。《使用分位数回归优化超参数》David Salinas, Jacek Golebiowski, Aaron Klein, Matthias Seeger, Cédric Archambeau独立性检验独立性检验是许多统计分析中的关键步骤旨在确定两个变量是否独立。在ICML上研究人员提出了一种独立性检验方法该方法根据确定独立性的难易程度调整收集的样本数量。《顺序核化独立性检验》Sasha Podkopaev, Patrick Bloebaum, Shiva Kasiviswanathan, Aaditya Ramdas模型选择模型选择确定特定任务的模型架构和超参数设置通常涉及从模型训练数据中分离出的验证集。在ICML上研究人员提出在训练数据稀疏的情况下使用合成数据进行验证。《用于模型选择的合成数据》Alon Shoshan, Nadav Bhonker, Igor Kviatkovsky, Matan Fintz, Gérard Medioni物理模型深度学习方法在科学计算领域显示出潜力可用于预测偏微分方程的解。在ICML上研究人员研究了在计算偏微分方程解时将已知的物理约束如遵守守恒定律添加到机器学习模型的预测输出中的问题。《学习能够遵守守恒定律的物理模型》Derek Hansen, Danielle Maddix Robinson, Shima Alizadeh, Gaurav Gupta, Michael Mahoney表格数据近年来将Transformer模型的强大能力扩展到表格数据是一个新兴的研究领域。在ICML上研究人员展示了如何提高使用表格数据训练的模型的泛化能力。《XTab表格Transformer的跨表预训练》Bingzhao Zhu, Xingjian Shi, Nick Erickson, Mu Li, George Karypis, Mahsa Shoaran研究领域机器学习标签赌博机问题、差分隐私、超参数优化、ICML会议ICML 2023FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享