㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐ (中级)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错排雷指南1️⃣1️⃣ 进阶优化图片本地化1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface 大家好今天我们要当一回“数字策展人”。我们将利用 Python 编写一个爬虫深入邮票/纪念币资讯网站的“发行目录”归档区按年份索引把每一枚邮票、每一枚纪念币的详细参数面值、材质、发行量抓取下来建立一个可检索的本地数据库。 读完这篇你能获得掌握**“年份索引 ➡️ 列表 ➡️ 详情”**的三级跳抓取逻辑。学会处理**表格型数据Table Layout**的提取技巧很多老网站爱用 Table 排版。获得一份包含精美图片链接的结构化藏品目录可用于个人收藏管理或比价。1️⃣ 摘要Abstract本文将开发一个针对集邮/钱币资讯网的归档爬虫。利用requests遍历年份索引页获取每年的发行列表随后进入详情页利用BeautifulSoup提取藏品名称、发行日期、面值及高清大图链接。最终通过 Pandas 进行数据清洗统一面值单位并导出为collection_catalog.csv。2️⃣ 背景与需求Why 为什么要爬这个收藏管理纸质目录书太厚重电子化后可以随时在手机上查阅“这枚票现在的市场参考价”。投资分析分析“生肖系列”或“航天系列”近十年的发行量变化趋势。图鉴制作批量下载高清大图制作精美的电子图鉴。 目标字段清单Item_Name(名称)如 “2024-1 甲辰年龙票”。Issue_Date(发行日期)标准化为YYYY-MM-DD。Face_Value(面值)需要清洗如 “1.20元” 或 “80分”。Category(类别)如 “特种邮票”, “流通纪念币”, “金银币”。Theme(主题)如 “生肖”, “历史人物”。Image_Link(图片链接)详情页展示的高清图。3️⃣ 合规与注意事项必写文化爬虫要优雅图片版权抓取下来的图片仅限个人欣赏或学术研究严禁用于商业出版或搭建盗版图库网站。低频访问这类网站通常是公益性质或爱好者维护服务器配置不高。必须设置time.sleep(1)以上不要把人家网站爬挂了这是圈子里的规矩。仅爬公开数据不涉及用户交易数据或隐私信息。4️⃣ 技术选型与整体流程What/How️ 选型Requests BeautifulSoup 正则表达式老旧网站常使用table classdetail-table布局结构相对工整但字段混杂在文本中需要正则Regex来提取“面值”和“规格”。 整体执行流程[入口] 访问“历年发行目录”主页 ⬇️ [年份遍历] 提取 2000~2023 所有年份的链接 ⬇️ [列表解析] 在年份页中提取该年所有藏品的 详情页URL ⬇️ [详情提取] 进入详情页 - 找表格 - 提取字段 - 找图片 ⬇️ [清洗] 统一日期格式清洗面值字符串 ⬇️ [入库] 存入 CSV5️⃣ 环境准备与依赖安装可复现Python 3.8。 依赖安装pipinstallrequests beautifulsoup4 pandas 项目结构collection_spider/ ├── archiver.py # 主程序 ├── data/ # 数据存储 │ └── stamp_catalog.csv └── utils.py # 面值换算工具6️⃣ 核心实现请求层Fetcher针对老旧网站**字符编码Encoding**是最大的坑。很多中文收藏网还在用GBK或GB2312。importrequestsfromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetrydefget_session():srequests.Session()s.headers.update({User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Referer:https://www.google.com/# 这里的 Referer 最好填目标站主页})retriesRetry(total3,backoff_factor1,status_forcelist[500,502,503,504])s.mount(http://,HTTPAdapter(max_retriesretries))returns clientget_session()deffetch_page(url):try:respclient.get(url,timeout15)resp.raise_for_status()# 自动检测编码或者手动指定 gbk视目标站而定resp.encodingresp.apparent_encodingreturnresp.textexceptExceptionase:print(f❌ 页面损坏 [{url}]:{e})returnNone7️⃣ 核心实现解析层Parser这里我们模拟一个经典的“表格布局Table Layout”解析场景。很多藏品详情页都是左边图片右边一个参数表格。frombs4importBeautifulSoupfromurllib.parseimporturljoinimportre BASE_URLhttp://mock-stamp-collection.comdefparse_detail_page(html,url):解析藏品详情页ifnothtml:returnNonesoupBeautifulSoup(html,html.parser)try:# 1. 基础信息titlesoup.select_one(h1.title).text.strip()# 2. 图片链接 (通常在左侧)img_tagsoup.select_one(.main-image img)img_linkurljoin(url,img_tag[src])ifimg_tagelseNo Image# 3. 参数表格解析 (最核心部分)# 假设参数在一个 table 中我们需要根据“表头”找“内容”params{}# 查找所有的 tr 行rowssoup.select(.spec-table tr)forrowinrows:colsrow.find_all(td)iflen(cols)2:keycols[0].text.strip().replace(,)# 去掉中文冒号valcols[1].text.strip()params[key]val# 4. 从字典中安全提取字段并做简单清洗issue_dateparams.get(发行日期,Unknown)face_valueparams.get(面值,Unknown)categoryparams.get(志号,params.get(类别,特种邮票))# 可能是志号(如 2023-1)themeparams.get(选题,Unknown)return{Name:title,Issue_Date:issue_date,Face_Value:face_value,Category:category,Theme:theme,Image_Link:img_link,Source_Url:url}exceptExceptionase:print(f⚠️ 解析异常 [{url}]:{e})returnNonedefparse_year_list(html,year):解析某年份的列表页提取详情链接ifnothtml:return[]soupBeautifulSoup(html,html.parser)links[]# 假设列表项是 li aitemssoup.select(f.year-{year}-list li a)foriteminitems:hrefitem.get(href)ifhref:links.append(urljoin(BASE_URL,href))returnlinks8️⃣ 数据存储与导出Storage对于藏品目录我们可能需要对“面值”做特殊处理因为有的写 “1.20元”有的写 “80分”有的写 “50元 x 2”。importpandasaspdimportosdefsave_catalog(data_list,filenamestamp_catalog.csv):ifnotdata_list:returndfpd.DataFrame(data_list)# --- 简单清洗逻辑 ---# 去除名称中的多余空格df[Name]df[Name].str.strip()# (可选) 尝试提取纯数字面值这里仅作示例# 真实情况面值极其复杂建议保留原始字符串另开一列 Value_Parsedoutput_pathos.path.join(data,filename)os.makedirs(data,exist_okTrue)# 写入 CSVdf.to_csv(output_path,indexFalse,encodingutf-8-sig)print(f 目录已归档至:{output_path})9️⃣ 运行方式与结果展示必写主程序采用Year - Item的层级遍历。importtimedefmain():print( 数字博物馆采集车启动...)all_collections[]# 设定要抓取的年份范围target_yearsrange(2023,2025)# 2023, 2024foryearintarget_years:year_index_urlf{BASE_URL}/catalog/{year}/index.htmlprint(f\n 正在翻阅 [{year}] 年档案:{year_index_url})index_htmlfetch_page(year_index_url)detail_linksparse_year_list(index_html,year)ifnotdetail_links:print( ⚠️ 该年份暂无数据。)continueprint(f └── 发现{len(detail_links)}套藏品开始收录...)forlinkindetail_links:detail_htmlfetch_page(link)item_dataparse_detail_page(detail_html,link)ifitem_data:all_collections.append(item_data)# print(f ✅ 已收录: {item_data[Name]})time.sleep(1)# 慢慢爬致敬文化save_catalog(all_collections)print( 全库归档完成)if__name____main__:# main()pass 输出结果示例 (stamp_catalog.csv)NameIssue_DateFace_ValueCategoryThemeImage_Link2024-1 甲辰年2024-01-051.20元 1.20元特种邮票生肖, 龙http://.../dragon.jpg中国空间站建成2023-12-251.20元 x 4纪念邮票航天http://.../space.jpg京剧纪念币2023-11-185元流通纪念币文化遗产http://.../opera.jpg 常见问题与排错排雷指南老旧页面的不规则 HTML问题有些 90 年代的页面table标签甚至没有闭合lxml解析器会报错。解法BeautifulSoup(html, html.parser)比lxml容错性更好虽然慢一点但对烂 HTML 兼容性极强。面值字段的复杂性问题套票的面值经常写成80分, 1.20元, 3元或者1.20元(4-1)。解法不要试图在爬虫阶段完美拆分。先把原始字符串 (Raw String)完整抓下来后续用 Pandas 或 Excel 专门进行人工或脚本拆分。图片链接是相对路径问题src是../../images/stamp01.jpg。解法必须使用urllib.parse.urljoin(current_url, src)它能自动处理../这种相对层级拼接出正确的绝对 URL。1️⃣1️⃣ 进阶优化图片本地化光有链接不够万一网站倒闭了图片就没了你可以添加一个下载器把图片存到本地importosdefdownload_image(img_url,file_name):简单的图片下载器try:respclient.get(img_url,streamTrue,timeout10)ifresp.status_code200:save_pathfimages/{file_name}.jpgwithopen(save_path,wb)asf:forchunkinresp.iter_content(1024):f.write(chunk)exceptException:passTip: 文件名建议使用年份_藏品名(如2024_甲辰年.jpg)方便本地查看。1️⃣2️⃣ 总结与延伸阅读 恭喜你现在拥有了一座**“私有数字博物馆”**的雏形。通过这个项目我们练习了如何处理结构化程度较低的“表格型”网页并掌握了年份索引的遍历逻辑。下一步玩法OCR 识别有些老邮票的面值印在图片上文本里没有。试着接入 OCR 识别图片上的数字价格监控结合电商爬虫如某宝、某鱼定期抓取这些藏品名称的市场挂牌价生成你的“个人资产估值表” 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。