㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐ (进阶)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface在这篇文章中我们将使用 Python 的requests和BeautifulSoup4工具栈带你完整走通一条“从藏品检索列表深入到单一藏品详情页”的双层爬虫链路最终产出一份结构化的藏品档案 CSV 文件。读完这篇硬核干货你将获得掌握多级页面列表页获取链接 - 详情页提取数据的经典爬虫架构设计。学会如何优雅地处理字段缺失、容错抓取以及深度嵌套的 DOM 解析。拥有一份可直接运行、高扩展性的 Python 源码模板助你一键构建个人藏品数据库。1️⃣ 摘要Abstract本文以抓取“博物馆藏品公开目录”为核心业务场景详细拆解了从“检索页分页遍历”到“详情页字段穿透”的全流程技术细节。通过 Python Requests BS4 的轻量级组合我们不仅实现了涵盖藏品名、年代、材质等核心字段的自动化提取还重点探讨了面对公共文化机构网站时应具备的防反爬与合规降频策略。2️⃣ 背景与需求Why为什么要爬数字人文Digital Humanities正在成为主流。无论是作为艺术史学者的研究语料还是作为文博爱好者的个人知识库手动摘抄馆藏信息效率极低且容易出错。通过自动化采集我们可以快速聚合不同维度的文物特征甚至为后续的计算机视觉CV图像分析储备高质量的数据集。目标站点与目标字段目标逻辑藏品检索列表页带分页 ➡️ 藏品详情展示页目标字段清单Collection_Name(藏品名)Era(年代/朝代)Material(材质)Institution(馆藏单位)Introduction(简介)Image_URL(高清图片链接)3️⃣ 合规与注意事项必写面对文博类网站咱们技术人的态度必须是**“克制且充满敬畏”**。敬畏服务器不要攻击式并发很多地方性博物馆的服务器可能还是十年前的老古董带宽极小。强烈要求在请求之间加入time.sleep(3)以上的延迟。把爬虫写成 DDOS 攻击是极其不道德且违法的。遵循 robots.txt动手前先看domain.com/robots.txt如果明确禁止抓取/collections_detail/目录请立刻停止。版权与非商业用途抓取到的藏品高清图片和简介文字通常具有严格的版权限制即使是公共领域的文物照片本身也可能有版权。请确保数据仅用于个人学习、学术研究绝不可用于任何商业变现或公开展览。4️⃣ 技术选型与整体流程What/How我们这次面对的是典型的静态结构多级页面。为什么选 requests BS4博物馆网站通常偏向传统信息直接通过后端模板渲染在 HTML 中。这种场景下requests发起请求BeautifulSoup4利用 CSS 选择器进行精准打击是性价比最高、最稳定的方案。整体流程图[检索页 Fetch]请求列表页 URL如page1。[列表页 Parse]提取当前页所有藏品的详情页链接并检查是否有下一页。[详情页 Fetch]遍历上一步拿到的链接逐个发起请求。[详情页 Parse]深入 DOM 树精准抽取年代、材质、图片等字段。[数据 Storage]聚合清洗落盘为 CSV 格式。5️⃣ 环境准备与依赖安装可复现开始搬砖前先把工具箱备好。Python 版本推荐 3.8终端执行安装pipinstallrequests beautifulsoup4项目目录结构museum_spider/ ├── main.py # 主程序逻辑 ├── mock_server.py # 为了让你直接测试用的虚拟响应器 └── outputs/ # 存放最终产出的数据文件6️⃣ 核心实现请求层Fetcher在多级爬虫中请求层的健壮性决定了爬虫能活多久。为了防止中断我们必须加入异常捕获和重试机制。importrequestsimporttimeimportrandomimportlogging# 配置基础日志logging.basicConfig(levellogging.INFO,format%(asctime)s - %(levelname)s - %(message)s)deffetch_html(url,retries3): 通用请求函数携带基础反爬伪装与重试退避机制 headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,en;q0.8}forattemptinrange(retries):try:# timeout防止由于博物馆老旧服务器响应慢导致程序假死responserequests.get(url,headersheaders,timeout10)response.raise_for_status()returnresponse.textexceptrequests.exceptions.RequestExceptionase:logging.warning(f请求失败 [{url}], 错误:{e}. 第{attempt1}次重试待命...)time.sleep(3attempt*2)# 阶梯式延迟退避logging.error(f彻底放弃 URL:{url})returnNone7️⃣ 核心实现解析层Parser这是本文的灵魂所在。我们需要写两个解析函数一个处理列表页一个处理详情页。注意遇到缺失字段时切忌让程序崩溃使用.get_text()配合if node else 优雅容错。frombs4importBeautifulSoupfromurllib.parseimporturljoindefparse_list_page(html,base_url): 解析列表页获取所有详情页链接 和 下一页链接 soupBeautifulSoup(html,html.parser)detail_links[]# 假设藏品卡片包裹在 div classcollection-item 中itemssoup.find_all(div,class_collection-item)foriteminitems:a_tagitem.find(a,class_detail-link)ifa_tagandhrefina_tag.attrs:# urljoin 处理相对路径 (如 /detail/123) 变绝对路径full_urlurljoin(base_url,a_tag[href])detail_links.append(full_url)# 查找下一页分页按钮next_btnsoup.find(a,class_next-page)next_page_urlurljoin(base_url,next_btn[href])ifnext_btnandhrefinnext_btn.attrselseNonereturndetail_links,next_page_urldefparse_detail_page(html,detail_url): 解析详情页抽取藏品的6大核心字段 soupBeautifulSoup(html,html.parser)# 抽取核心业务字段做好极端的容错处理name_nodesoup.find(h1,class_collection-name)era_nodesoup.find(span,class_meta-era)material_nodesoup.find(span,class_meta-material)inst_nodesoup.find(div,class_meta-institution)intro_nodesoup.find(div,class_collection-intro)img_nodesoup.find(img,idmain-image)# 提取文本或属性如果节点不存在则赋默认值data{Collection_Name:name_node.get_text(stripTrue)ifname_nodeelse未知藏品,Era:era_node.get_text(stripTrue)ifera_nodeelse佚名/未知年代,Material:material_node.get_text(stripTrue)ifmaterial_nodeelse未知材质,Institution:inst_node.get_text(stripTrue)ifinst_nodeelse未知馆藏单位,Introduction:intro_node.get_text(stripTrue)ifintro_nodeelse暂无简介,Image_URL:urljoin(detail_url,img_node[src])ifimg_nodeandsrcinimg_node.attrselse}returndata8️⃣ 数据存储与导出Storage采用 CSV 格式落盘。我们需要一张清洗好的“字段映射表”并以追加模式写入防止中途断网导致数据全毁。importcsvimportosdefsave_to_csv(item_dict,filenameoutputs/museum_collections_data.csv):os.makedirs(os.path.dirname(filename),exist_okTrue)fieldnames[Collection_Name,Era,Material,Institution,Introduction,Image_URL]file_existsos.path.isfile(filename)# utf-8-sig 兼容 Windows Excel 直接双击打开不乱码withopen(filename,modea,newline,encodingutf-8-sig)asf:writercsv.DictWriter(f,fieldnamesfieldnames)ifnotfile_exists:writer.writeheader()writer.writerow(item_dict)9️⃣ 运行方式与结果展示必写为了让你真正能够一键运行并看到效果我把主流程函数和一段“内置虚拟DOM”结合了起来相当于我们在本地建了一个微型博物馆。你只需要复制这整个脚本运行即可# # 完整可运行的主程序 (为了演示内置了模拟数据)# classMockWeb:这是一个模拟真实网页返回的类实战中请替换为真实的 fetch_htmlstaticmethoddefget_list_html():return htmlbody div classcollection-itema classdetail-link href/item/101详情/a/div div classcollection-itema classdetail-link href/item/102详情/a/div !-- 模拟没有下一页了 -- /body/html staticmethoddefget_detail_html(url):if101inurl:return htmlbody h1 classcollection-name青花瓷缠枝牡丹纹罐/h1 span classmeta-era明代/spanspan classmeta-material陶瓷/span div classmeta-institution市立博物馆/div div classcollection-intro这是一件精美的明代青花瓷器.../div img idmain-image src/images/qh_101.jpg / /body/html else:return htmlbody h1 classcollection-name金缕玉衣 (残片)/h1 span classmeta-era汉代/span!-- 故意缺失材质测试容错 -- div classmeta-institution省考古研究院/div div classcollection-intro出土于某汉墓的高规格葬服碎片。/div /body/html defmain():base_domainhttp://mock-museum.comstart_urlbase_domain/search?page1current_list_urlstart_url logging.info(️ 博物馆数字档案采集计划启动...)whilecurrent_list_url:logging.info(f正在扫描列表页:{current_list_url})# ⚠️ 实战请换成: html fetch_html(current_list_url)htmlMockWeb.get_list_html()detail_links,next_urlparse_list_page(html,base_domain)logging.info(f本页发现{len(detail_links)}件藏品准备深入挖掘...)forlinkindetail_links:# 礼貌等待保护博物馆服务器time.sleep(random.uniform(1.5,3.0))# ⚠️ 实战请换成: detail_html fetch_html(link)detail_htmlMockWeb.get_detail_html(link)ifdetail_html:item_dataparse_detail_page(detail_html,link)save_to_csv(item_data)logging.info(f成功收录:{item_data[Collection_Name]})# 翻页逻辑current_list_urlnext_url logging.info( 全部藏品数字化采集完成已导出为 CSV。)if__name____main__:main()运行方式将上述代码保存为main.py在终端输入python main.py。输出位置项目目录下会自动生成outputs/museum_collections_data.csv。展示示例结果CSV 内容Collection_NameEraMaterialInstitutionIntroductionImage_URL青花瓷缠枝牡丹纹罐明代陶瓷市立博物馆这是一件精美的明代青花瓷器…http://mock-museum.com/images/qh_101.jpg金缕玉衣 (残片)汉代未知材质省考古研究院出土于某汉墓的高规格葬服碎片。 常见问题与排错强烈建议写在挖坟…不对在挖掘历史数据的过程中你肯定会遇到这些“天坑”遭遇博物馆防火墙 403 Forbidden原因一些国内省级博物馆为了防止海外恶意爬虫默认屏蔽了国外 IP。如果你用了海外代理节点请关闭梯子使用本地直连网络抓取。列表页抓到了但一抓详情页就报错断开原因很多古老的网站没有防并发机制你瞬间发起 10 个详情页请求直接把它微弱的数据库连接池打爆了。解法强行加长time.sleep(5)用时间换空间。结构巨不稳定有的页面少标签怎么办我们在第 7 节写的if node else 救了你一命。文博网站的录入人员往往非常随性不要假设所有字段必定存在一定要做防御性赋值。1️⃣1️⃣ 进阶优化可选但加分只要你把上面的核心代码改好 URL 跑通你已经超越了 80% 的新手。接下来的进阶玩法一键下载高清图光有文本怎么够你可以写一个基于Image_URL的下载器结合os.path按照朝代/藏品名.jpg的目录结构将图片存到本地硬盘里搭建你的离线私人展厅。断点续跑故宫有 186 万件藏品爬到一半断网怎么办把抓取过的详情页 URL 写进本地的一个seen_urls.txt甚至 Redis 中每次请求前先判断if url not in seen_urls:彻底告别重头再来的痛苦。1️⃣2️⃣ 总结与延伸阅读呼~ 满载而归在这个项目中我们一起完成了从宏观的列表扫描到微观的藏品详情抽取的经典双层爬虫架构。你不仅拿到了一份干净的 CSV 数据更是在践行“数字传承”的伟大使命下一步怎么玩如果你抓下了成千上万张青花瓷的照片不如去了解一下 Python 的 OpenCV 或者 PyTorch 图像识别结合你今天抓到的标注数据年代、材质训练一个属于你自己的“AI 文物鉴定专家”想想是不是非常酷 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。