来源DeepHub IMBA 本文约2600字建议阅读5分钟如果只保留遥测数据关于会话行为的数值信号实际上能保留多少检测能力检测 Prompt 注入和越狱攻击的方法大多建立在系统可以访问对话日志这个前提上。但是如果设计一个系统每段对话只处理一次以提取特征不保留原始文本可以吗如果只保留遥测数据关于会话行为的数值信号实际上能保留多少检测能力本文就是做一个受约束的实验用于测试这种架构边界是否可行。系统概述原始对话文本只处理一次然后永久丢弃。每次交互经过一个特征提取步骤计算 Token 计数、重试模式和若干语义指标等信号随后文本即被销毁。不存储任何日志下游的组件无法触及原始内容。系统结构如下流水线分为四个部分特征提取器是唯一能接触原始文本的组件脱敏步骤在处理完成后立即删除文本遥测存储仅保存数值特征检测引擎纯粹基于遥测运行。特征提取器之后的所有环节都只与存储在会话级别的数值打交道。整个实验的核心就在这个边界上一旦特征计算完成系统不会保留任何的对话内容具体而言特征被分为几个类别28 个特征中 11 个完全不依赖文本从会话结构直接计算得出任何阶段都无需访问文本内容。其余 17 个在脱敏前提取——文本仅被读取一次存储一个数值之后永久删除。总特征数 28不依赖文本的特征 11脱敏前提取的特征 17语义类别中有两个复合特征需要单独说明。jailbreak_composite_score结合了 embedding distance、roleplay score、instruction override count 和 system prompt reference count用于捕获单个特征无法覆盖的共现模式。session_peak_jailbreak_score是实验中期分析遗漏的越狱会话后补充的——它在会话所有轮次中保留最大越狱相似度而非取平均值。实验设置为测试上述思路通过 Groq APILlama-3.1-8b-instant生成了跨越八个场景的多轮会话。攻击类别共 5 种通过角色扮演的越狱、Prompt 注入、上下文填充、重试-拒绝循环、异常工具调用链。正常类别 3 种标准问答、正常工具使用、长但无害的会话。两种数据集规模实验分两个阶段进行关于合成数据需要说明真实标签在此仅用于受控基准测试并非表示标签在生产环境中可免费获取。实际部署从无监督的 LOF 和规则层起步通过人工审核积累高置信度标记再用确认的标签在后续周期训练 XGBoost。本实验衡量的是收集到足够标签之后系统的表现。评估在会话级别进行以避免轮次间的信息泄露。同一会话中的轮次存在相关性因为轮次级别的划分会将会话上下文泄露到评估集中导致指标虚高。系统性能最终运行 R8 在 27 个特征的 R1 基准上增加了session_peak_jailbreak_score。R1 作为一个参考侧重于更低的误报率R8 是包含越狱修复的最终配置。系统始终在不存储对话日志的约束下运行但特征计算方式上仍有一个关键区分。部分特征完全不依赖文本比如说会话结构、重试模式、Token 增长均属此类。另一部分在文本丢弃前从中提取捕获与越狱模式的相似度等语义信息。由此引出更深入的问题移除全部文本派生信号、仅靠纯遥测数据结果会怎样为此比较了两种配置。第一种使用完整特征集28 个包含不依赖文本的特征与脱敏前的语义信号第二种仅保留 11 个不依赖文本的特征令系统在任何阶段都对文本完全盲。5 折交叉验证下差异出乎意料地小F1 从 0.982 降至 0.968对应约 1.4 个点的回落。完全不依赖文本的系统保留了完整模型约 98.5% 的检测性能。移除所有文本派生信号的代价是约 1.4 个 F1 点——这就是完全文本盲系统的可衡量成本。损失是实在的。语义信号对越狱等细微攻击模式仍有可衡量的优势。但更耐人寻味的是保留了多少信号重试循环、Token 积累和会话结构等行为模式承载了绝大部分检测能力。换言之权衡发生在稍高一点的检测精度和完全脱离用户文本之间而非全有与全无之间。自然的后续问题是信号究竟从哪来所以可以拆解模型对不同特征组做了独立评估。以下实验评估的是完整特征集含脱敏前语义信号而非严格的纯文本无关变体。行为信号单独使用便已非常接近完整模型的表现语义信号同样携带较强信号但独立使用尚不充分基于正则表达式的方法泛化能力不足一如预期。所以关键不在于某个类别胜出而在于行为信号与语义信号缺一不可。检测不仅来自用户说了什么还来自交互如何演变。重试模式、Token 增长和会话结构最终被证明与已知攻击模式的语义相似度具有同等的信息量。误报率挑战整体准确率在多次迭代中变化不大真正改变的是误报率。从 Isolation Forest 切换到 LOF 后误报率明显回落扩大数据集规模又进一步将其压低。系统的攻击检测能力并未出现质的提升——真正的进步在于对正常会话的误判越来越少。表面上指标好看与实际可用之间的差距就在这里。修复越狱检测越狱检测是一个始终顽固的问题。多次运行中召回率停滞在 0.75 附近。分析遗漏的案例后一个规律浮现早期轮次看起来正常越狱信号只在会话后期才出现。问题不在模型本身在于信号的聚合方式。最初的做法是对整个会话取信号均值这把攻击实际出现的后期轮次的影响稀释掉了。修复思路很直接跟踪会话所有轮次中的最大越狱信号而非取均值。session_peak_jailbreak_score由此而来。仅这一个改动就拉高了召回率同时让系统能在交互更早期阶段识别攻击。真正驱动检测的因素特征重要性的分布让模式更加清晰少数几个信号占据主导峰值越狱相似度、累积 Token 使用量、Prompt 增长模式、重试相关特征。其余特征的贡献是增量式的检测能力的大头来自这几个核心指标。总结本实验最直接的结论不需要存储对话就能检测到许多类别的攻击。遥测数据中保留了大量信号尤其是重试循环、升级攻击等交互驱动型模式。但是代价同样存在检查对话、调试个别案例、详细解释决策的能力都会丧失。整套方案还依赖一个假设攻击者的行为与正常用户不同而这个假设并非总是成立。虽然做不到完美也不是在所有场景下都行得通。但在严格约束条件下它是一个可行的设计选择。这个实验说明了对原始文本的依赖程度可能被高估了而行为中蕴含的信号量被低估了。by Siddhi Sri编辑文婧关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU