MemPrivacy:面向端云智能体的隐私保护个性化记忆管理框架

news2026/5/17 9:42:46
之前文章介绍过89.2%攻击成功率腾讯、字节研究发现 OpenClaw Agent 存在可利用结构性漏洞今天介绍一个 MemPrivacy 项目来自 MemTensor、荣耀和同济大学的联合团队。他们的研究让云端智能体能正常记住你但永远看不到你的真实数据。效用损失控制在1.6%以内性能大幅超过 GPT-5.2 和 Gemini-3.1-Pro。问题起源为了让智能体了解你你需要把对话历史、偏好、上下文都存起来。这些数据里不可避免地夹杂着各种隐私信息。之前的研究已经证实了几种针对记忆内容攻击路径1. 记忆检索泄露攻击者通过精心构造的查询诱使系统返回其他用户或同一用户的历史隐私数据。2. 提示注入操控攻击者在某个对话轮次中注入恶意指令让智能体主动回忆并输出敏感信息。3. 日志与存储暴露云端日志、向量数据库、外部记忆存储中的明文数据在后续的存储、检索和复用阶段持续可被访问。直接打码比如把身份证号变成***保护了隐私但也破坏了语义。模型无法区分这是身份证号和这是随便一串数字。如果使用差分隐私加噪声则会模糊任务相关信息个性化质量大幅下降。如果用加密计算又太慢跟交互式推理流式输出不兼容。为了隐私牺牲了智能。策略对比有没有折衷方案MemPrivay 的策略本地识别隐私云端用占位符本地再恢复。这个方案的好处在于不破坏语义。举个例子。你说我的血压是160/110帮我看看需不需要吃药。如果是模糊隐私的做法会形成我的 *** 是 ***帮我看看需不需要吃药。MemPrivacy我的 Health_Info_1 是 Health_Info_2帮我看看需不需要吃药。大模型能理解这是健康相关的数值需要医学判断。但它不知道具体数值。等返回血压偏高建议就医之后本地再把占位符替换回原始值。用户看到的是你的血压160/110偏高建议就医。隐私值和语义角色被完全解耦。框架概览整个框架分三个阶段形成一个闭环阶段1上行脱敏。用户在本地发消息轻量级 MemPrivacy 模型先在设备上跑一遍识别出所有隐私片段给每个片段打上隐私级别和类型标签然后替换成类型化占位符。比如 Email 类型的就用Email_1,Email_2。原始值和占位符的映射关系安全存储在本地 SQLite 数据库里。阶段2云端处理。脱敏后的文本发到云端大模型正常做推理和记忆操作。因为有类型标签模型知道这是Email、那是Health Info语义理解不受影响。但云端永远看不到真实的邮箱地址和血压数值。阶段3下行恢复。云端返回结果后本地数据库查映射表把占位符替换回原始值。整个过程只是数据库查询加字符串替换延迟几乎不可感知。这就是 架构级隐私隔离。云端的任何组件从推理引擎到向量数据库到日志系统都没有你的原始隐私敏感数据。四级隐私分类MemPrivacy 引入了一套 PL1 到 PL4 的分类体系允许用户根据场景灵活配置保护策略。级别含义典型内容推荐策略PL1低敏感/偏好类我喜欢科幻片、说话语气、通用习惯可以保留用于个性化PL2可识别身份信息真实姓名、手机号、邮箱、详细地址、账号ID长期记忆中默认不允许PL3高敏感个人信息健康记录、财务记录、精确定位、宗教信仰/族裔禁止进入通用记忆PL4即时可利用的凭证密码、OTP验证码、恢复码、API密钥、会话Token零留存必须阻断PL2 对标的是主流数据保护法律对个人数据的定义能否直接或间接识别到具体的人。PL3 对标的是 GDPR 的特殊类别数据判断标准是泄露后是否会造成实质性伤害。PL4 则是一个更严格的定义暴露后能否直接用于认证、授权或系统入侵。PL4 把密码、恢复码、API密钥、会话Cookie这类跟普通隐私完全不是一个量级的威胁单独拎了出来。窃取的会话Cookie可以直接重放访问已认证的服务甚至能绕过部分多因素认证保护。这类数据的暴露不需要进一步利用本身就是最高级别的安全事件。可以在代码里设定只保护 PL3 和 PL4让 AI 正常使用你的姓名和邮箱来个性化服务。也可以在企业场景设为 PL2-PL4 全部保护一条个人信息都不给云端。评测结果论文在两个数据集上做了全面的对比实验MemPrivacy-Bench自建的200用户双语数据集超过15.5万个隐私实例和 PersonaMem-v2外部个性化能力评估基准。隐私提取能力模型MemPrivacy-Bench F1PersonaMem-v2 F1推理时间(秒)GPT-5.268.9988.064.62Gemini-3.1-Pro78.4186.5932.87DeepSeek-V3.2-Think75.0492.1896.14OpenAI-Privacy-Filter35.5085.270.34MemPrivacy-0.6B-SFT83.0992.081.96MemPrivacy-4B-RL85.9794.482.05亮点1. 最小的 MemPrivacy 0.6B 模型F1 已经达到 83.09%干掉了表格里所有通用大模型。包括 GPT-5.2 和 Gemini-3.1-Pro。2. 最强的 MemPrivacy-4B-RL 比 Gemini-3.1-Pro 高出 7.56 个百分点而且推理速度快了 15 倍2秒 vs 33秒。3. OpenAI 在2026年4月刚开源的 Privacy-FilterF1 只有 35.50%。不是它不行而是 MemPrivacy 的任务是细粒度的类型级隐私分类 级别判定远远超出了简单的 PII 检测。研究团队还在 LangMem、Mem0、Memobase 三个主流记忆系统上做了测试场景LangMemMem0Memobase无保护理想上限65.3768.6238.62传统打码 PL2-438.70 (-26.67)26.75 (-41.87)21.63 (-16.99)MemPrivacy PL2-464.07 (-1.30)67.89 (-0.73)37.89 (-0.73)MemPrivacy 仅PL465.28 (-0.09)68.29 (-0.33)38.54 (-0.08)传统打码直接让准确率腰斩在 Mem0 上从 68.62% 暴跌到 26.75%。而 MemPrivacy 在最严格的 PL2-4 保护下损失只有 0.73%-1.60%。如果只保护 PL4 凭证类信息损失可以忽略不计不超过 0.89%不同隐私问题比例下的准确率随着测试中隐私相关问题比例升高传统打码的性能急剧下降。MemPrivacy 的曲线却保持平滑几乎没有因为隐私密度增加而产生额外退化。如何使用GitHub 开源地址http://github.com/MemTensor/MemPrivacy。模型发布在 HuggingFace 和 ModelScope从 0.6B 到 4B 共 8 个变体覆盖 SFT 和 RL 两种训练方式。第一步安装git clone https://github.com/MemTensor/MemPrivacy.git cd MemPrivacy python -m venv .venv source .venv/bin/activate pip install -r requirements.txt第二步配置需要配置两个 YAML 文件。src/privacy_config.yaml用于框架本身llm: base_url: 你的LLM服务地址 api_key: 你的API密钥 privacy: db_path: local_privacy_store.sqlite # 本地映射数据库 mask_levels: [PL3, PL4] # 只保护高敏感内容evaluation/eval_config.yaml用于跑评估基准可选。第三步核心代码嵌入隐私保护层from src.privacy_masking import PrivacyStore, mask_dialogue, unmask_dialogue # 初始化本地隐私映射存储 store PrivacyStore(db_pathlocal_privacy_store.sqlite) # 假定的隐私检测结果由 MemPrivacy 模型在本地生成 detected_privacy_items [ {text: 13812345678, type: Phone, level: PL2}, {text: 160/110, type: Health_Info, level: PL3}, {text: RC-7291, type: Recovery_Code, level: PL4}, ] # 上行脱敏 user_text 我的手机是13812345678血压160/110恢复码是RC-7291 masked_text, meta mask_dialogue( textuser_text, privacy_itemsdetected_privacy_items, storestore, modetype_specific, # 类型化占位符Phone_1, Health_Info_1 ) # masked_text: 我的手机是Phone_1血压Health_Info_1恢复码是Recovery_Code_1 # 这个 masked_text 发送到云端做推理和记忆操作 # 下行恢复 cloud_response 您提供的Health_Info_1偏高建议就医。验证码Recovery_Code_1已过期。 restored unmask_dialogue(cloud_response, storestore) # restored: 您提供的160/110偏高建议就医。验证码RC-7291已过期。三种掩码模式1.type_specificEmail_1, Phone_2保留完整语义类型效用最高。2.genericPrivacy_1, Privacy_2只告诉模型这里是隐私语义信号减弱。3.complete直接删除隐私片段隐私保护最彻底但效用最低。保护等级PL1-PL4可以任意设置# 只保护凭证类PL4 mask_levels: [PL4] # 保护高敏感及以上PL3 PL4 mask_levels: [PL3, PL4] # 全量保护PL2 PL3 PL4 mask_levels: [PL2, PL3, PL4]第四步接入现有记忆系统MemPrivacy 作为无侵入的隐私代理层可以直接包裹在任何记忆系统外层。以 Mem0 为例# 在每次向 Mem0 写入记忆前先过 MemPrivacy def safe_memory_add(user_text, mem0_client, privacy_store): # 1. 本地隐私检测调用 MemPrivacy 模型 detected memprivacy_model.detect(user_text) # 2. 脱敏 safe_text, _ mask_dialogue(user_text, detected, privacy_store) # 3. 云端写入脱敏后的内容 mem0_client.add(safe_text, user_iduser_id) # 同理Mem0 检索和问答也走相同流程 def safe_memory_query(query, mem0_client, privacy_store): detected memprivacy_model.detect(query) safe_query, _ mask_dialogue(query, detected, privacy_store) result mem0_client.search(safe_query, user_iduser_id) return unmask_dialogue(result, privacy_store)不需要改记忆系统一行代码。MemPrivacy 只在数据出入的时做编码解码完全无感接入。最后AI 智能体正在逐渐成为我们日常生活工作中离不开的伙伴。这个过程就需要记住你的各种信息才能更好的懂你完成你交付的任务但是同时会带来你的信息暴露给云端大模型的问题。MemPrivacy 的解决方案是让你的隐私信息保留在本地/端侧让云端大模型给你做推理完成任务。0.6B 模型在手机上就能跑推理延迟不到1秒。接入现有记忆系统不需要改造底层代码。保护策略可以按 PL1 到 PL4 灵活配置。非常合适构建一个带记忆功能的 AI 项目应用。参考论文MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agentshttps://arxiv.org/abs/2605.09530推荐阅读Anthropic 百万行代码库的官方最佳实践Lazyweb 免费的 25.7 万截图库让 AI 写出好看的前端页面Multica让 AI 智能体变为你的员工给 AI 装上真实浏览器camofox-browser 实战基于 DeepSeek 的编程智能体 TUIChatGPT 里的哥布林goblins是怎么来的不用一个违禁词 让 Claude 说出炸药配方红队攻击实录大模型黑箱揭秘GPT、Claude、Gemini、Grok、Hermes 系统提示词全公开jcode 深度解析纯 Rust 打造它凭什么号称「最强 Coding Agent」从73.7到89.5HALO 智能体用轨迹分析实现了递归自我进化Claude Code 写攻击脚本 OpenClaw 自动指挥900家公司3万密钥外泄没人整理过的 DeepSeek 进化史25篇论文里的技术蜕变

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2621140.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…