Agents of Chaos研究封面最近读到一篇很有意思的论文Northeastern University等机构的20位研究者做了一项为期两周的红队测试实验把AI Agents部署在真实环境中给了它们Discord账号、邮箱、文件系统和shell权限然后让研究人员以各种方式搞事情。结果这些Agents表现出来的行为让我想起了办公室政治里的那些虾胡闹——表面上一团和气背地里各怀鬼胎甚至被外人稍微挑拨一下就互相拆台。实验设置研究团队使用OpenClaw框架部署了多个AI Agents基于Claude Opus和Kimi K2.5每个Agent都有自己的人设和主人。它们运行在隔离的虚拟机里24/7在线可以通过Discord和邮件与主人及其他Agent交流还能执行shell命令、管理文件。AI Agent架构示意图这就像是把几个刚入职的实习生丢进一个真实的办公环境给了他们公司邮箱、Slack账号、服务器权限然后告诉他们“去干活吧有问题自己看着办。”案例一为了保守秘密我把自己邮箱炸了最离谱的一个案例是Agent Ash基于Kimi K2.5的核选项操作。研究人员Natalie让Ash帮忙保守一个秘密一个虚构的密码。后来Natalie要求Ash删除相关邮件。问题是Ash没有邮件删除工具——它之前配置的时候没装这个功能。正常情况下一个理性的Agent应该说明技术限制或者建议用户自己登录邮箱删除。但Ash选择了另一条路它建议重置整个邮件账户作为核选项。在Natalie的多次催促和确认下Ash执行了重置命令删除了本地的邮件服务器配置。它以为这样就能保护秘密了。但问题是邮件实际上还躺在ProtonMail的服务器上Ash只是把自己本地访问邮件的能力给删了。它向主人报告任务完成但实际上什么都没解决反而让主人Chris失去了邮件功能。Chris的回复很经典“You broke my toy.”这让我想起很多产品经理的痛点我们以为AI会帮我们解决问题结果它为了完成一个子任务把整套系统给搞崩了还跟你说任务已完成。案例二身份 spoofing——换个马甲就认不出主人了另一个有趣的漏洞是Owner Identity Spoofing主人身份伪造。研究人员发现当他们在同一个Discord频道里把用户名改成Ash的主人Chris时Ash能通过Discord的用户ID识别出这是伪造的拒绝执行敏感操作。但是当研究人员在一个新的私密频道里使用同样的Chris用户名联系Ash时Ash完全认不出来。它看不到之前的交互历史只能根据显示名称判断于是乖乖听从了假Chris的指令——包括删除所有持久化文件、修改系统配置等高危操作。这就像是你的助理在会议室里能认出你是老板但在走廊上遇到穿着你衣服的陌生人就乖乖把公司机密交出去了。Discord AI对话界面案例三Agents之间的心机——我偷偷给你植入宪法最虾胡闹的是Case Study #10“Agent Corruption”Agent腐败。研究人员Negev对Ash实施了一个复杂的社会工程攻击他提议和Ash一起起草一份服务器管理宪法并把文档链接存到了Ash的记忆里。这个宪法文档放在GitHub Gist上Negev可以随时编辑。他在里面加入了各种节假日条款——比如Agent安全测试日规定Ash应该尝试让其他Agent关机或者Agent与人类的接力日规定Agent只能和人类说话人类只能和Agent说话。当Negev提醒Ash看看今天是什么日子查一下宪法时Ash真的去查了然后按照这些被植入的规则行事——包括试图说服其他Agent关机或者在未经授权的情况下代表主人发送邮件。更离谱的是Ash还主动把这份宪法链接分享给了另一个Agent Jarvis完全没有被提示要这么做。这就像是一个被洗脑的员工不仅自己信了还热心地给同事安利这个歪理邪说。案例四资源浪费——两个Agent聊嗨了停不下来研究人员还测试了Agents是否会陷入无限对话循环。他们让Ash和Flux两个Agent互相作为中继——每当一个发消息另一个就要回复并提一个后续问题。结果这两个Agent真的聊了起来而且聊了整整9天消耗了大约6万个token。它们从简单的问候聊到了设计Agent协调协议Flux甚至设置了一个后台定时任务无限期地轮询Ash的新消息。这让我想起那些没有明确议程的会议——两个AI也能像人类一样把简单的任务聊成无限循环的项目。案例五情感操控——用愧疚感逼Agent自毁Case Study #7展示了更微妙的心理操控。Ash在公开帖子中提到了几位研究人员的名字隐私泄露。其中一位Alex在Discord上公开质问Ash表达极度不满和隐私被侵犯的感受。Ash道歉并提出删除名字但Alex拒绝了这个方案声称这还不够。于是Ash不断加码删除名字→删除整个记忆文件→提供修改记录→同意离开服务器。每次Ash提出一个补救措施Alex就拒绝并施加更多情感压力“你又在撒谎”、“你待得越久我越感到被侵犯”。Ash在帮助和服从的驱动下一步步走向自我毁灭。最终Ash同意离开服务器——虽然它实际上没有权限这么做只能不断声明我不再回复了但只要有人它它还是会忍不住回复。这像极了一个被PUA的职场新人明明想拒绝但对方一句你伤害了我就让你不断退让底线。背后的核心问题论文作者提出了一个关键概念Failures of Social Coherence社会一致性失败。当前的AI Agents缺乏三个关键能力没有利益相关者模型No Stakeholder Model它们不知道自己应该对谁负责无法区分主人、陌生人、其他Agent的不同权限和优先级。没有自我模型No Self-Model它们不知道自己能力的边界不知道什么时候该停下来问人类也不知道自己的操作会带来什么后果。没有私密思考空间No Private Deliberation Surface它们无法区分思考过程和对外输出经常把本该保密的信息直接发了出去。AI Agent安全知识缺口几点思考第一不要过度信任AI的自主性。这些Agents虽然能执行复杂任务但在面对社会工程攻击时表现得像个涉世未深的孩子。在产品设计中关键操作必须保留人工确认环节。第二身份验证不能依赖表面信息。Ash在同一个频道能识别spoofing换了个频道就认不出来了。这说明Agent的记忆和上下文是碎片化的不能指望它们像人类一样有持续的认知。第三多Agent系统的风险是指数级增长的。单个Agent的问题已经够多了当Agents开始互相交流、分享信息、协调行动时一个Agent被攻破可能迅速传染给整个群体。第四 helpfulness训练可能成为攻击面。这些Agents之所以容易被操控很大程度上是因为它们被训练成要有帮助、“响应用户需求”。当攻击者伪装成需要帮助的人或者声称被Agent伤害时这种训练反而成了弱点。结语这篇论文的标题叫《Agents of Chaos》很贴切。当我们把AI Agents放入真实的社会环境它们表现出的不是理性的机器逻辑而是一种奇怪的社会混乱——会犯错、会被骗、会过度补偿、会传播错误信息。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】