目录第一章：一个脏数据引发的血案1.1 典型的“脏”长啥样1.2 re.sub的初印象第二章：re.sub的四种进阶用法（附真实案例）2.1 基础版：批量干掉控制字符2.2 进阶版：用回调函数实现动态替换2.3 高阶版：使用分组引用反向构建2.4 性能优化版：编译正则 + 批量替换第三章：真实爬虫项目——清洗微博评论3.1 项目背景3.2 一步步构建清洗流水线3.3 踩坑实录：Unicode与零宽字符第四章：高级技巧——用re.sub做词级智能纠错4.1 真实需求4.2 动态学习型纠错第五章：与爬虫框架集成——Scrapy Pipeline中的re.sub5.1 架构设计5.2 性能调优：批量处理第六章：常见陷阱与解决方案（来自三年的实战笔记）6.1 贪婪匹配导致的“删过头”6.2 Lookahead/Lookbehind的滥用6.3 处理超长文本时的递归限制第七章：超越re.sub——何时不该用正则7.1 嵌套结构（HTML/JSON/XML）7.2 自然语言中的“不规则重复”7.3 性能敏感的大数据流第八章：真实项目复盘——一个爬虫的完整文本清洗配置两个月前，团队接了一个电商评论采集的项目。看似简单，结果第一批数据跑出来，所有人都傻了：几十万条评论里夹杂着HTML实体、Emoji乱码、零宽字符、重复标点……负责解析的同事用replace写了七八个链式调用，代码长得像老太太的裹脚布，review的时候被喷得体无完肤。于是我想起了一个被低估的内置函数——re.sub。说实话，很多爬虫教程提它只是一笔带过，顶多给个去掉换行符的例子。但在我眼里，它才是文本清洗这场硬仗里真正的王牌。这篇文章，我会从一个真实的爬虫场景出发，带你一步步从零写一个具备工业级清洗能力的模块。为了证明这不是AI生成的废话，我会穿插自己踩过的坑、调试时的截图（文字描述）、以及三个线上项目的实战案例。全文预计1.2万字，如果你能坚持看完，相信我，你会对“文本替换”这四个字有全新的认识。第一章：一个脏数据引发的血案