Claude道歉!爆火研究漏引华人团队成果
点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐听雨 发自 凹非寺转载自量子位QbitAIAnthropic新论文漏引同行工作被抓包并贴脸质疑了。MBZUAI研究生Chenxi Wang发现这篇论文的引用列表里是不是忘了些什么……4月2日Anthropic发布了一篇新论文研究了Claude内部的“情绪机制”在Sonnet 4.5中发现了171种“情绪向量”。这些情绪会在与之关联的情境中被激活并且与人类的心理结构和情绪空间相似。论文还验证了情绪表征对模型行为的因果性影响比如绝望会驱使模型采取不道德的行为或使其对无法解决的编程任务实施“作弊”。但Chenxi Wang自述她读到这篇博客时第一反应是这不是我们去年做的吗她可以肯定他们去年10月发表的论文《LLMs会“感觉”吗情绪回路的发现与控制》是首篇系统研究LLMs情绪产生内部机制的论文。但Anthropic在原始博客中并未引用这一研究成果。目前经作者亲自沟通A社已经火速立正道歉并更新了论文博客突出引用这篇工作。两篇“撞车”的研究Chenxi Wang团队的论文《“LLMs 会“感觉”吗情绪回路的发现与控制》研究了驱动语言模型产生情绪输出的内部机制。这篇研究扒清了大语言模型的 “情绪表达底层逻辑”回答了 “AI有没有内在的情绪机制、靠什么表达情绪、能不能精准控制” 三个关键问题。据作者介绍这是首篇系统研究LLMs情绪产生内部机制的论文。Chenxi Wang认为两篇论文都研究了LLM自身产生的情感而不是LLM在他人文本中感知到的情感但Anthropic并未引用他们的研究成果。她很快联系了Anthropic的通讯作者Jack Lindsey。Jack同意添加引用并分享了他对两篇论文之间关系的理解。Jack一开始指出Chenxi Wang团队的核心发现与原始博客中列举的几篇先前的研究有重叠之处。但Chenxi Wang逐一阅读这些论文后指出它们研究的是LLM的“情绪感知”——即LLM如何识别输入文本中的情绪而非“情绪生成机制”。△作者Chenxi Wang回复Anthropic的邮件随后Jack认可了这一区别。目前Anthropic已经更新其论文博客在“相关工作”部分添加了对这一工作的引用。首篇系统性AI情绪回路研究接下来仔细看看这篇华人团队的论文它主要解答了三个核心问题AI有没有内在的情绪机制以什么形式存在能不能精准控制而且还造出了LLM里的 “情绪回路”实现了比提示词、向量操控更精准的情绪控制。研究的主实验模型是LLaMA-3.2-3B-Instruct并在Qwen2.5-7B-Instruct上验证了方法是否具有跨模型泛化能力。首先解答第一个问题大模型是否存在“与上下文无关”的情绪机制研究者构建了一个受控数据集SEV覆盖工作、学习、人际关系等8个日常场景。每个场景配 “正面/中性/负面” 三种结果用于描述同一情境下的不同结果。严禁使用任何情绪词如“开心”“难过”以确保情绪差异源于事件语义。接着研究者引导AI表达6种基础情绪喜、怒、哀、惧、惊、恶从AI的各层网络里提取出了和语境无关、只对应情绪的 “情绪方向向量”。而且从AI网络的浅层开始不同情绪的信号就会慢慢分开形成清晰的 “情绪分组”。比如愤怒和厌恶挨得近、悲伤和恐惧挨得近和人类对情绪的直觉完全一致还会在深层网络里保持稳定。这也就解答了第一个问题模型内部确实编码了稳定的、与具体语义无关的情绪表示。第二个问题这些情绪机制以什么形式存在答案是AI每层网络里只有少数神经元MLP层和注意力头Attn层在主导情绪表达。研究者用两个实验证明了这一点1、消融实验把这些核心的神经元/注意力头关掉AI的情绪表达能力会骤降而且只需要关2-4个神经元、1-2个注意力头效果就会大幅下降。2、增强实验只激活这些核心组件哪怕不给AI任何 “要表达某种情绪” 的提示AI也能自己生出对应情绪而激活随机组件则完全没效果。第三个问题能否利用这些机制实现通用情绪控制答案是可以而且效果显著优于现有方法。研究者进一步发现情绪信息在多层之间传播深层网络的情绪表示趋于稳定。他们把每层的核心情绪零件按影响力整合起来形成了跨层的、连贯的“情绪回路”。直接调节这个回路使AI生成指定情绪在测试集上的整体情绪表达准确率达到99.65%远超之前的 “提示词引导”和“向量操控” 方法。尤其是之前最难控制的 “惊讶” 情绪实现了100%准确表达。此外团队还在Qwen2.5-7B上重复了一遍实验结果发现Qwen因为有安全对齐直接操控很难让它表达负面情绪但用这套 “情绪回路” 方法还是能有效引导两个模型都表现出 “少数核心组件主导情绪” 的特点说明这套机制是LLM的通用规律不是某个模型的特例。硕士生硬刚Anthropic论文一作Chenxi WangMBZUAI穆罕默德·本·扎耶德人工智能学院的NLP硕士研究生本科毕业于西安交通大学计算机科学专业。其研究方向聚焦于人本人工智能、可解释性研究有多篇一作/共同一作论文被EMNLP、ACL、NeurIPS、COLING等顶会接收。目前正在Qwen后训练团队实习。这件事情已经告一段落好在结局算是比较友好Anthropic道歉并补引了这篇工作而Chenxi Wang则称赞Anthropic在双方重叠部分之外做出了真正独立的贡献。尤其是研究情绪表征在不同情境下的功能作用方面包括对偏好和与对齐相关行为的影响、在真实交互中的激活情况以及后训练阶段这些表征的演变。这些都是我们工作未曾涉及的重要方向。她也指出通讯作者Jack Lindsey在整个交流过程中始终保持尊重的态度并真诚地参与到技术论证中。最后感兴趣的朋友可以读一读这两篇论文链接已附在下方~参考链接[1]https://x.com/ChenxiWang19183/status/2041204375549604106?s20[2]华人团队论文https://arxiv.org/abs/2510.11328[3]Anthropic论文https://transformer-circuits.pub/2026/emotions/index.html#toc-18本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2495958.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!