前言我见过太多学爬虫的新手花了一周时间背完了Requests和BeautifulSoup的所有API但是真的要爬一个实际的网站的时候还是两眼一抹黑。要么是请求返回403要么是解析出来的数据全是乱码要么是存到数据库的时候报错最后只能放弃说一句爬虫太难了。其实爬虫一点都不难难的是没有人告诉你完整的流程。绝大多数教程都只教你怎么发一个get请求怎么用find_all找标签但是从来不会告诉你怎么处理反爬怎么清洗脏数据怎么把数据存到数据库怎么写一个能稳定运行的爬虫。本文就是为了解决这个问题而生的。我会从最基础的环境搭建开始一步步带你完成一个完整的爬虫项目从网页分析、数据抓取、数据清洗到CSV/JSON/MySQL三种方式的数据存储再到异常处理和稳定性优化。所有代码都经过实测所有坑都给你踩过了看完你就能写出第一个能真正用的爬虫。一、整体流程与技术选型1.1 完整爬虫工作流程一个工业级的爬虫绝对不是简单的发请求解析而是一个完整的闭环系统包含以下7个核心步骤失败成功是否网页分析发送请求请求是否成功?重试机制解析HTML数据清洗数据存储是否还有下一页?爬虫结束1.2 技术栈选型对于绝大多数静态网站来说RequestsBeautifulSoup是最好的入门组合没有之一。工具用途优势适用场景Requests发送HTTP请求API简单易用文档完善支持会话保持和代理所有静态网站和简单的动态网站BeautifulSoup4解析HTML语法简单容错性强能处理不规范的HTML绝大多数网页解析场景lxmlHTML解析器解析速度快支持XPath大数据量的网页解析Pandas数据处理与存储方便的数据清洗和CSV/Excel导出结构化数据处理PyMySQLMySQL数据库操作纯Python实现兼容性好大数据量的持久化存储避坑提醒不要一上来就学Selenium和Playwright。对于90%的静态网站来说RequestsBeautifulSoup足够了而且速度比Selenium快10倍以上。只有当网站是纯前端渲染无法通过接口获取数据的时候才需要用浏览器自动化工具。二、第一步环境搭建首先安装我们需要的所有库建议使用虚拟环境避免版本冲突# 安装核心库pipinstallrequests2.32.3beautifulsoup44.12.3lxml5.2.2# 安装数据处理和存储库pipinstallpandas2.2.2pymysql1.1.1# 安装可选工具pipinstallfake-useragent1.5.1# 生成随机User-Agent版本说明一定要用上面指定的版本不同版本的API可能会有细微差别导致代码运行失败。尤其是BeautifulSoup4.0和3.0的API完全不兼容。三、第二步网页分析最关键的一步很多新手写爬虫的习惯是打开网站然后直接开始写代码发请求。这是完全错误的。写代码之前一定要先花10分钟分析网页结构这能帮你节省后面几个小时的调试时间。3.1 用Chrome开发者工具分析网页打开你要爬的网站按F12打开Chrome开发者工具切换到Elements标签点击左上角的箭头图标然后点击网页上你要提取的数据右侧会自动定位到对应的HTML标签观察数据所在的标签结构切换到Network标签刷新页面找到对应的请求查看请求头和响应内容关键技巧不要看页面上显示的内容要看HTML源码里的内容。有时候页面上显示的内容和源码里的不一样是因为JS动态渲染的如果在Elements里能看到数据但是在Response里看不到说明数据是JS动态加载的需要找对应的API接口一定要看请求头里的User-Agent、Referer、Cookie等字段这些是最常见的反爬检测点3.2 实战案例爬取博客文章列表我们以一个典型的博客网站为例分析它的文章列表页面。假设我们要提取每篇文章的标题、作者、发布时间和摘要。通过分析我们发现每篇文章都在一个div classpost-item标签里结构如下divclasspost-itemh2classpost-titleahref/post/1文章标题/a/h2divclasspost-metaspanclassauthor作者/spanspanclassdate2026-04-20/span/divpclasspost-excerpt文章摘要.../p/div这个结构非常清晰我们可以很容易地用BeautifulSoup提取出所有需要的数据。四、第三步发送请求与反爬绕过4.1 基础请求发送用Requests发送一个GET请求非常简单importrequests urlhttps://example.com/blogresponserequests.get(url)print(f状态码{response.status_code})print(f响应内容{response.text[:500]})但是绝大多数网站都会检测User-Agent如果发现是Python的默认User-Agent会直接返回403。所以我们需要设置一个真实的User-Agentheaders{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,Referer:https://example.com/}responserequests.get(url,headersheaders,timeout10)4.2 常见反爬绕过随机User-Agent使用fake-useragent库生成随机的User-Agent避免被检测fromfake_useragentimportUserAgent uaUserAgent()headers{User-Agent:ua.random}设置随机延迟不要请求太快否则很容易被封IP。建议每次请求之间随机延迟1-3秒importtimeimportrandom time.sleep(1random.random()*2)会话保持如果网站需要登录使用Session对象保持Cookiesessionrequests.Session()session.headers.update(headers)# 登录session.post(https://example.com/login,data{username:xxx,password:xxx})# 登录后访问需要权限的页面responsesession.get(https://example.com/user)4.3 处理编码问题这是90%的新手都会遇到的问题爬下来的中文全是乱码。解决方案非常简单# 方法1手动指定编码response.encodingutf-8# 方法2自动检测编码最可靠response.encodingresponse.apparent_encodingprint(response.text)五、第四步用BeautifulSoup解析HTML5.1 基础解析方法BeautifulSoup的核心是两个方法find()和find_all()。find()返回第一个匹配的标签find_all()返回所有匹配的标签的列表frombs4importBeautifulSoup# 解析HTMLsoupBeautifulSoup(response.text,lxml)# 找到所有的文章项post_itemssoup.find_all(div,class_post-item)# 遍历每个文章项提取数据posts[]foriteminpost_items:# 提取标题titleitem.find(h2,class_post-title).text.strip()# 提取链接linkitem.find(h2,class_post-title).find(a)[href]full_linkfhttps://example.com{link}# 提取作者authoritem.find(span,class_author).text.strip()# 提取发布时间dateitem.find(span,class_date).text.strip()# 提取摘要excerptitem.find(p,class_post-excerpt).text.strip()posts.append({title:title,link:full_link,author:author,date:date,excerpt:excerpt})print(f共提取到{len(posts)}篇文章)5.2 处理缺失数据很多时候有些文章可能没有摘要或者作者如果直接调用.text会报错。所以我们需要做异常处理# 安全提取文本的工具函数defsafe_get_text(element):returnelement.text.strip()ifelementelse# 安全提取属性的工具函数defsafe_get_attr(element,attr):returnelement[attr].strip()ifelementelse# 使用示例excerptsafe_get_text(item.find(p,class_post-excerpt))六、第五步数据清洗爬下来的原始数据通常有很多脏数据比如多余的空格、换行符、特殊字符等。我们需要对数据进行清洗让它变得干净可用。importredefclean_text(text):清洗文本数据ifnottext:return# 去除多余的空格和换行符textre.sub(r\s, ,text)# 去除特殊字符textre.sub(r[^\w\s\u4e00-\u9fa5。()],,text)# 去除首尾空格texttext.strip()returntext# 应用数据清洗forpostinposts:post[title]clean_text(post[title])post[author]clean_text(post[author])post[excerpt]clean_text(post[excerpt])七、第六步数据存储我会介绍三种最常用的数据存储方式分别适用于不同的场景。7.1 存储为CSV文件CSV文件是最简单的存储方式适合小数据量方便用Excel打开查看。importpandasaspd# 将数据转换为DataFramedfpd.DataFrame(posts)# 保存为CSV文件df.to_csv(blog_posts.csv,indexFalse,encodingutf-8-sig)print(数据已保存到blog_posts.csv)注意一定要用utf-8-sig编码否则用Excel打开会乱码。7.2 存储为JSON文件JSON文件适合存储结构化数据方便后续用Python读取和处理。importjsonwithopen(blog_posts.json,w,encodingutf-8)asf:json.dump(posts,f,ensure_asciiFalse,indent2)print(数据已保存到blog_posts.json)7.3 存储到MySQL数据库对于大数据量或者需要后续查询和分析的数据建议存储到MySQL数据库。首先创建数据库和表CREATEDATABASEIFNOTEXISTSblogDEFAULTCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;USEblog;CREATETABLEIFNOTEXISTSposts(idINTAUTO_INCREMENTPRIMARYKEY,titleVARCHAR(255)NOTNULL,linkVARCHAR(255)NOTNULLUNIQUE,authorVARCHAR(50),dateDATE,excerptTEXT,create_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP)ENGINEInnoDBDEFAULTCHARSETutf8mb4;然后用Python将数据插入数据库importpymysql# 连接数据库dbpymysql.connect(hostlocalhost,userroot,passwordyour_password,databaseblog,charsetutf8mb4)cursordb.cursor()# 插入数据forpostinposts:sql INSERT IGNORE INTO posts (title, link, author, date, excerpt) VALUES (%s, %s, %s, %s, %s) values(post[title],post[link],post[author],post[date],post[excerpt])try:cursor.execute(sql,values)db.commit()exceptExceptionase:db.rollback()print(f插入失败{e})db.close()print(数据已保存到MySQL数据库)注意使用INSERT IGNORE可以避免重复插入相同链接的文章。八、第七步异常处理与稳定性优化一个玩具爬虫和一个工业级爬虫的区别就在于异常处理。没有异常处理的爬虫只要遇到一点网络波动或者网页变化就会直接崩溃。8.1 通用重试机制deffetch_url(url,headersNone,retries3):带重试机制的请求函数foriinrange(retries):try:responserequests.get(url,headersheaders,timeout10)response.raise_for_status()# 如果状态码不是200抛出异常response.encodingresponse.apparent_encodingreturnresponseexceptExceptionase:print(f请求失败第{i1}次重试{e})time.sleep(2**i)# 指数退避print(f请求失败已重试{retries}次)returnNone8.2 完整的爬虫函数defcrawl_blog(base_url,max_pages10):爬取博客文章列表all_posts[]headers{User-Agent:UserAgent().random}forpageinrange(1,max_pages1):print(f正在爬取第{page}页...)urlf{base_url}?page{page}responsefetch_url(url,headers)ifnotresponse:continuesoupBeautifulSoup(response.text,lxml)post_itemssoup.find_all(div,class_post-item)ifnotpost_items:print(没有更多文章了)breakforiteminpost_items:post{title:safe_get_text(item.find(h2,class_post-title)),link:safe_get_attr(item.find(h2,class_post-title).find(a),href),author:safe_get_text(item.find(span,class_author)),date:safe_get_text(item.find(span,class_date)),excerpt:safe_get_text(item.find(p,class_post-excerpt))}# 数据清洗fork,vinpost.items():post[k]clean_text(v)all_posts.append(post)time.sleep(1random.random()*2)print(f爬取完成共获取{len(all_posts)}篇文章)returnall_posts九、踩坑实录90%的新手都会遇到的问题中文乱码永远不要用默认编码一定要手动指定response.encoding response.apparent_encoding标签找不到先检查类名是否正确注意区分class和class_然后检查数据是否是JS动态加载的被封IP不要请求太快设置随机延迟使用代理IP池数据库插入失败检查字段类型和长度是否正确使用异常处理捕获错误爬虫运行一段时间就崩溃添加完善的异常处理和重试机制不要让一个错误导致整个爬虫崩溃十、总结RequestsBeautifulSoup是爬虫入门的最佳组合它们简单、易用、功能强大能解决90%以上的静态网站爬取需求。写爬虫的核心不是代码而是分析能力和解决问题的能力。每个网站的结构都不一样反爬措施也不一样没有万能的代码。你需要学会分析网页结构学会调试代码学会解决遇到的各种问题。最后再次强调请遵守法律法规不要爬取敏感信息不要用于商业用途不要给网站服务器造成过大的压力。爬虫技术是一把双刃剑用好了可以提高工作效率用不好会给自己带来麻烦。 点击我的头像进入主页关注专栏第一时间收到更新提醒有问题评论区交流看到都会回。