《流畅的Python》读书笔记07(补充03): 对象引用、可变性和垃圾回收 - 深复制循环引用内存安全机制解析

news2026/5/22 9:00:32
Python的copy.deepcopy()函数在处理循环引用时通过内部的备忘录memo字典机制来打破无限递归确保复制过程能够正确终止。这个memo字典本身的设计就考虑了内存管理的安全性在正常情况下不会导致内存泄漏。其核心机制是备忘录字典的生命周期与单次深复制调用绑定在复制完成后该字典会被自动回收。一、memo字典的生命周期与作用域管理deepcopy()函数将memo字典作为参数在其内部递归调用链中传递。该字典仅在单次深复制操作期间存在操作结束后由于没有外部引用指向它它会被Python的垃圾回收器正常回收。import copy import sys def track_memory(obj_name, obj): 追踪对象引用计数和内存地址 print(f{obj_name}: id{id(obj):#x}, refcount{sys.getrefcount(obj)-1}) # 示例观察单次深复制过程中的memo original_list [1, 2, 3] original_list.append(original_list) # 创建对自己的循环引用 print(开始深复制过程追踪...) # 模拟一次深复制调用 result copy.deepcopy(original_list) # 深复制完成后尝试访问内部的memo是不可能的因为它是一个局部变量 # 以下代码会引发AttributeError证明memo已不可访问 try: # 尝试访问不存在的属性说明memo已随函数调用结束而销毁 _ result.__memo__ except AttributeError: print(深复制完成后内部的memo字典已不可访问说明其生命周期已结束。) # 验证复制结果保持了循环引用结构 print(f原对象自我引用: {original_list[-1] is original_list}) # True print(f副本对象自我引用: {result[-1] is result}) # True二、memo字典的键值设计弱引用与ID映射备忘录字典使用对象的id()即内存地址作为键而非对象本身。这避免了因将对象本身作为键而意外增加其引用计数。值则是该对象对应的副本。这种id-副本的映射关系是临时的且键整数id和值新创建的副本在复制结束后只要没有外部引用都会被妥善清理。import copy import gc class DataNode: def __init__(self, value): self.value value self.ref None # 创建循环引用 node1 DataNode(Node1) node2 DataNode(Node2) node1.ref node2 node2.ref node1 # 形成双向循环引用 print(深复制前对象状态:) print(fnode1 id: {id(node1):#x}, refcount: {sys.getrefcount(node1)-1}) print(fnode2 id: {id(node2):#x}, refcount: {sys.getrefcount(node2)-1}) # 执行深复制 copied_node copy.deepcopy(node1) print( 深复制后对象状态:) print(f原node1 id: {id(node1):#x}, refcount: {sys.getrefcount(node1)-1}) print(f原node2 id: {id(node2):#x}, refcount: {sys.getrefcount(node2)-1}) print(f副本node id: {id(copied_node):#x}) # 强制垃圾回收观察对象是否被正确清理模拟memo字典释放后的场景 print( 执行垃圾回收...) collected gc.collect() print(f回收的垃圾对象数量: {collected}) # 验证原对象和副本的独立性 print(f 原对象循环引用保持: {node1.ref.ref is node1}) # True print(f副本对象循环引用保持: {copied_node.ref.ref is copied_node}) # True print(f原对象与副本不同: {copied_node is not node1}) # True三、递归复制流程与memo的更新机制在递归复制过程中算法遵循“先注册后填充”的策略这是避免无限递归和正确处理循环引用的关键。遇到新对象将其id和新创建的空壳副本存入memo。递归填充属性再逐步递归地复制该对象的内部数据到空壳副本中。遇到已记录对象直接从memo中返回已创建的副本。这个流程确保了即使在复制对象的属性时又引回了对象自身也能通过查表找到“半成品”副本并返回从而打破循环链。import copy class TreeNode: def __init__(self, name): self.name name self.children [] self.parent None # 指向父节点的引用容易形成循环 def add_child(self, child): self.children.append(child) child.parent self # 构建一个树形结构子节点通过parent指回根节点形成循环 root TreeNode(root) child1 TreeNode(child1) child2 TreeNode(child2) root.add_child(child1) root.add_child(child2) # 此时结构为root - child1, root - child2 (通过parent指针) print(开始深复制树结构...) copied_tree copy.deepcopy(root) print(f原根节点: {root.name}, 父节点: {root.parent}) # None print(f原子节点child1的父节点: {child1.parent.name if child1.parent else None}) # root print(f副本根节点: {copied_tree.name}, 父节点: {copied_tree.parent}) # None print(f副本子节点child1的父节点: {copied_tree.children[0].parent.name if copied_tree.children[0].parent else None}) # root (副本) # 验证循环引用被正确复制且无泄漏 print(f 验证独立性:) print(f原root is 副本root? {root is copied_tree}) # False print(f原child1 is 副本child1? {child1 is copied_tree.children[0]}) # False print(f副本中child1的父节点是副本root? {copied_tree.children[0].parent is copied_tree}) # True四、与Python垃圾回收机制的协同Python的垃圾回收主要基于引用计数并辅以分代回收来处理循环引用。deepcopy的memo机制与GC协同工作引用计数memo字典对键id和值副本的持有是短暂的。复制完成后如果用户没有保存对副本的引用副本的引用计数会降为0并被立即销毁。memo字典本身的引用计数在deepcopy函数返回后也降为0。分代回收对于更复杂的循环引用例如副本对象之间因复制逻辑又形成了新的循环即使引用计数不为0分代垃圾回收器也能识别并回收这些不可达的循环引用组。memo字典本身如果因为某些极端情况如自定义__deepcopy__错误地持有了它的引用而未能释放也会被分代回收器处理。import copy import gc import weakref def check_memo_leak_simulation(): 模拟并检查在一次深复制后相关对象是否被正确释放 class ComplexCyclic: def __init__(self, tag): self.tag tag self.link None # 创建一个小型循环引用对象图 obj_a ComplexCyclic(A) obj_b ComplexCyclic(B) obj_c ComplexCyclic(C) obj_a.link obj_b obj_b.link obj_c obj_c.link obj_a # A-B-C-A 循环 # 使用弱引用来追踪原对象确保不影响其引用计数 weak_ref_to_a weakref.ref(obj_a) weak_ref_to_b weakref.ref(obj_b) weak_ref_to_c weakref.ref(obj_c) print(深复制前原对象通过弱引用可访问:) print(f obj_a: {weak_ref_to_a() is not None}) print(f obj_b: {weak_ref_to_b() is not None}) print(f obj_c: {weak_ref_to_c() is not None}) # 执行深复制 copied copy.deepcopy(obj_a) # 删除对原对象的所有强引用 del obj_a, obj_b, obj_c # 强制垃圾回收 gc.collect() print( 删除强引用并GC后原对象状态:) print(f obj_a: {weak_ref_to_a() is not None}) # 应变为False print(f obj_b: {weak_ref_to_b() is not None}) # 应变为False print(f obj_c: {weak_ref_to_c() is not None}) # 应变为False # 检查副本的循环结构是否完整 print(f 副本循环结构完整性检查:) print(f copied.tag {copied.tag}) print(f copied.link.tag {copied.link.tag}) print(f copied.link.link.tag {copied.link.link.tag}) print(f copied.link.link.link is copied? {copied.link.link.link is copied}) # 应为True check_memo_leak_simulation()五、潜在风险与最佳实践尽管copy.deepcopy()内部的memo机制本身是安全的但在自定义__deepcopy__()方法时如果实现不当可能会引入内存泄漏风险。风险场景错误示例正确做法在__deepcopy__外保存memo引用将memo赋值给实例属性或全局变量memo只作为参数使用不长期保存未调用父类或默认复制逻辑自定义方法中遗漏了对部分属性的深复制使用copy.deepcopy(obj, memo)处理属性创建不必要的强引用在副本中错误地引用原对象或memo确保副本仅引用其他副本或新对象安全实现__deepcopy__的模板import copy class SafeCustomClass: def __init__(self, data, childrenNone): self.data data self.children children if children is not None else [] self._transient_cache {} # 临时缓存不应复制 def __deepcopy__(self, memo): # 1. 检查备忘录避免重复复制和无限递归 obj_id id(self) if obj_id in memo: return memo[obj_id] # 2. 创建新实例的“空壳”并立即注册到memo中 # 这是处理循环引用的关键步骤 new_obj self.__class__(self.data) memo[obj_id] new_obj # 3. 递归地深复制所有需要复制的属性 # 注意跳过不应复制的属性如_transient_cache new_obj.children [copy.deepcopy(child, memo) for child in self.children] # 4. 返回构建好的副本 return new_obj # 使用示例 obj SafeCustomClass(root, [SafeCustomClass(child)]) obj.children[0].children.append(obj) # 创建循环引用 copied copy.deepcopy(obj) print(f循环引用保持: {copied.children[0].children[0] is copied}) # True print(f临时缓存未被复制: {not hasattr(copied, _transient_cache) or copied._transient_cache {}}) # 应为True结论Python标准库中copy.deepcopy()函数使用的memo字典机制是内存安全的。其设计保证了字典本身仅在单次复制操作的生命周期内存在通过以对象ID为键、避免增加原对象引用计数并在操作结束后及时释放有效避免了内存泄漏。对于开发者而言主要风险来自于错误地实现自定义类的__deepcopy__方法。遵循“先注册空壳再递归填充”的模式并确保不长期持有对memo的引用即可安全地处理包含循环引用的复杂对象的深复制。参考来源《流畅的Python》读书笔记07: 第一部分 数据结构 - 对象引用、可变性和垃圾回收

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2634256.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…