爬虫核心概念与工作原理详解

news2025/6/9 17:54:52

在这里插入图片描述

网络爬虫（Web Crawler）是一种按照特定规则自动抓取互联网信息的程序或脚本，本质是模拟人类浏览器行为，通过HTTP请求获取网页数据并解析处理。

场景类型	具体案例
数据研究	学术研究中抓取论文摘要、开源代码分析、社交媒体舆情分析
商业智能	电商平台价格监控（如京东/淘宝商品比价）、竞品动态跟踪（如美团店铺信息）
内容聚合	新闻资讯聚合平台（如即刻、知乎专栏汇总）、垂直领域资源整合（如电子书网站）
搜索引擎	百度/谷歌的网页收录与索引构建，为搜索结果提供数据基础
自动化监控	网站变更监测（如政府公告更新提醒）、股价波动实时推送

第一步：发送请求
爬虫通过HTTP/HTTPS协议向目标网站服务器发送请求，携带URL（网页地址）和请求头（Headers），例如：
```
import requests
response = requests.get('https://example.com', headers={'User-Agent': 'Mozilla/5.0'})
```
第二步：获取响应
服务器返回网页数据（通常是HTML、JSON或二进制文件），包含状态码（如200表示成功，404表示页面不存在）。

第三步：解析数据
从响应内容中提取目标信息，例如用BeautifulSoup解析HTML标签：

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')
title = soup.find('h1').text  # 提取标题

类型	特点	典型案例
通用爬虫	无特定目标，广泛抓取网页以构建索引（如百度蜘蛛），数据量大但精度低	搜索引擎数据采集
聚焦爬虫	针对特定主题/领域精准抓取（如只抓财经新闻），需设定筛选规则	行业报告数据收集
增量爬虫	仅抓取更新内容（如网页新增文章），避免重复采集，依赖时间戳或版本号	新闻网站实时更新监控

robots协议（爬虫自律规范）
网站根目录下的robots.txt文件声明禁止抓取的页面（如Disallow: /private/），虽无法律效力但需遵守，例如：
```
# 豆瓣robots.txt示例
User-Agent: *
Disallow: /login/       # 禁止抓取登录页
Disallow: /member/      # 禁止抓取会员中心
```
法律风险红线
- 禁止抓取个人隐私数据（如身份证、手机号）、商业机密（如未公开财报）；
- 避免高频请求导致服务器崩溃（可能触犯《网络安全法》）；
- 数据使用需符合《著作权法》（如爬取文章用于商业盈利可能侵权）。
合规建议
1. 抓取前先查看robots.txt；
2. 控制请求频率（如每10秒1次），模拟人类浏览行为；
3. 数据仅用于个人学习或非商业研究，如需商用需获得网站授权。

HTML（骨架）：定义网页结构（如标题、段落、表格），例如：

<div class="article">
  <h2>爬虫原理</h2>
  <p>网页由标签组成层级结构...</p>
</div>

CSS（样式）：控制网页外观（颜色、布局、动画），与爬虫数据提取无关，但解析时需忽略样式干扰。
JavaScript（动态行为）：实现交互功能（如按钮点击加载更多内容），现代网站常通过JS生成动态数据（如微博热搜），这也是爬虫需要突破的难点（后续会讲解如何处理）。

请求方法（常用2种）
- GET：获取网页数据（如打开百度首页），参数附在URL中（如?keyword=爬虫）；
- POST：提交数据（如登录表单），参数藏在请求体中，更安全且支持大数据量。
关键状态码
- 200 OK：请求成功，返回网页内容；
- 403 Forbidden：访问被拒绝（常见反爬手段）；
- 503 Service Unavailable：服务器繁忙，需稍后重试。
请求头（Headers）核心字段
- User-Agent：标识浏览器类型（如Mozilla/5.0 Chrome/114），爬虫需伪装成正常浏览器；
- Cookie：存储登录状态（如session_id），用于访问需要登录的页面；
- Referer：标识来源页面（如从百度点击进入某网站），部分网站会验证该字段防爬。