目录
一、Web 请求与响应基础
(一)Web 请求与响应的定义与组成
(二)HTTP 协议概述
(三)常见的 HTTP 状态码
二、Python 的 requests 库
(一)安装 requests 库
(二)发送 GET 请求
(三)发送 POST 请求
(四)处理响应头和状态码
(五)发送带查询参数的 GET 请求
(六)发送带表单数据的 POST 请求
三、处理 JSON 响应
四、文件操作
(一)打开文件的模式
(二)读取文件
(三)写入文件
(四)下载文件示例
(五)文件操作中的注意事项
(六)其他常用文件操作
五、错误处理与异常捕获
(一)try 语句的使用
(二)示例:捕获常见异常
(三)异常处理总结
六、try语句
(一) 基本语法与结构
(二)捕获多种异常
( 三)捕获所有异常
(四)主动抛出异常(raise)
(五)自定义异常
(六)异常链(raise ... from)
( 七)上下文管理器(with 语句)
(八) 常见异常类型
(九)最佳实践
(十)异常处理流程
(十一) 高级用法:try-except-else-finally 组合
(十二)异常与性能
一、Web 请求与响应基础
(一)Web 请求与响应的定义与组成
Web 请求与响应是 Web 通信的基础,其中 Web 请求由客户端发起,服务器处理后返回响应。
-
Web 请求的组成
- 请求行:包含请求方法(如 GET、POST、PUT、DELETE 等)、URL 以及 HTTP 协议版本(如 HTTP/1.1)。例如,一个 GET 请求的请求行可能是 “GET /index.html HTTP/1.1”。
- 请求头:包含关于客户端信息、请求体类型、浏览器类型等元数据。常见的请求头有 User - Agent(用于标识客户端类型)、Content - Type(表示请求体的数据类型)等。
- 请求体:在 POST 请求中通常包含用户提交的数据,如表单数据或文件等,而 GET 请求一般没有请求体。
-
Web 响应的组成
- 响应行:包括 HTTP 协议版本、状态码和状态消息。例如 “HTTP/1.1 200 OK”,其中 200 是状态码,OK 是状态消息。
- 响应头:包含关于响应的信息,如内容类型(Content - Type)、服务器信息(Server)等。
- 响应体:包含实际返回的数据,可能是 HTML 页面、JSON 数据等。
(二)HTTP 协议概述
HTTP(Hypertext Transfer Protocol)是 Web 上传输数据的协议,负责浏览器与服务器之间的通信。以下是常见的 HTTP 方法:
- GET:请求服务器获取资源,通常用于读取数据,其特点是请求参数会附加在 URL 后面,以 “?” 分隔,多个参数用 “&” 连接。例如 “https://example.com/search?keyword=python”。
- POST:提交数据到服务器,通常用于表单提交、文件上传等,数据通过请求体传输,不会显示在 URL 中,相对更安全。
- PUT:用于更新服务器上的资源。
- DELETE:用于删除服务器上的资源。
(三)常见的 HTTP 状态码
- 200 OK:表示请求成功,服务器返回所请求的数据。
- 301 Moved Permanently:表示资源已永久移动,客户端会自动重定向到新的 URL。
- 404 Not Found:表示请求的资源不存在。
- 500 Internal Server Error:表示服务器内部错误。
二、Python 的 requests 库
(一)安装 requests 库
在使用 requests 库之前,需要先进行安装。如果你的系统中已经安装了 Python 的包管理工具 pip,可以通过以下命令在命令行中安装:
pip install requests
(二)发送 GET 请求
GET 请求通常用于获取数据,我们可以通过 requests.get () 方法来发送 GET 请求,并处理返回的响应。以下是一个简单的示例代码:
import requests
# 发送GET请求
response = requests.get("https://www.example.com")
# 输出响应的状态码
print("Status Code:", response.status_code)
# 输出响应的内容
print("Response Body:", response.text)
# 输出响应头
print("Response Headers:", response.headers)
# 获取响应内容的长度
print("Content Length:", len(response.text))
代码解释:
requests.get()
用于发送 GET 请求,括号内传入要请求的 URL,该方法会返回一个 Response 对象,包含了服务器返回的所有信息。response.status_code
用于获取 HTTP 响应状态码,通过该状态码可以判断请求是否成功。response.text
用于获取响应的正文内容,通常是 HTML 或 JSON 数据,返回的是字符串类型。response.headers
用于获取响应头,它是一个类似字典的对象,可以通过键来访问相应的值。len(response.text)
用于返回响应正文的长度,通过该值可以帮助我们了解返回内容的大小。
(三)发送 POST 请求
POST 请求用于将数据提交到服务器,通常用于表单提交或上传文件等场景,我们使用 requests.post () 方法来发送 POST 请求。以下是示例代码:
import requests
# 发送POST请求
url = "https://httpbin.org/post"
data = {"name": "Alice", "age": 25}
response = requests.post(url, data=data)
# 输出响应状态码
print("Status Code:", response.status_code)
# 输出响应内容(JSON格式)
print("Response Body:", response.json())
代码解释:
requests.post()
用于发送 POST 请求,第一个参数是 URL,第二个参数 data 是一个字典,包含了要提交的数据。requests 库会自动将其编码为application/x-www-form-urlencoded
格式。response.json()
用于解析返回的 JSON 数据,它会将 JSON 格式的响应内容转换为 Python 的字典或列表等数据结构,方便我们进行处理。
(四)处理响应头和状态码
响应头提供了关于服务器的信息,状态码则告诉我们请求是否成功。我们可以通过以下代码来获取响应头和状态码:
import requests
# 发送GET请求
response = requests.get("https://www.example.com")
# 获取响应头
print("Response Headers:", response.headers)
# 获取响应状态码
print("Status Code:", response.status_code)
# 获取内容类型
print("Content - Type:", response.headers.get("Content - Type"))
代码解释:
response.headers
返回响应头,其中包含了如 Content - Type、Date、Server 等信息,我们可以通过字典的 get () 方法来获取指定键的值,如获取内容类型。response.status_code
返回 HTTP 状态码,通过判断该状态码是否为 200 等成功状态码,可以确定请求是否成功执行。
(五)发送带查询参数的 GET 请求
在 GET 请求中,我们可以通过 URL 传递查询参数。例如,访问一个包含参数的 URL,我们可以通过 requests.get () 方法的 params 参数来传递查询参数。以下是示例代码:
import requests
# 发送带查询参数的GET请求
url = "https://httpbin.org/get"
params = {"name": "Alice", "age": 25}
response = requests.get(url, params=params)
# 输出响应内容
print("Response Body:", response.json())
代码解释:
params
是一个字典,包含了要传递的查询参数。requests.get () 方法会自动将这些参数编码到 URL 中,生成的 URL 类似于 “https://httpbin.org/get?name=Alice&age=25”。
(六)发送带表单数据的 POST 请求
POST 请求可以用来提交表单数据,以下是使用 requests 发送带表单数据的 POST 请求的示例代码:
import requests
# 发送带表单数据的POST请求
url = "https://httpbin.org/post"
data = {"username": "testuser", "password": "mypassword"}
response = requests.post(url, data=data)
# 输出响应的内容
print("Response Body:", response.json())
代码解释:
data
参数是一个字典,包含了表单提交的数据,requests 库会自动将数据编码为application/x-www-form-urlencoded
格式,该格式是表单数据提交的常见格式。
三、处理 JSON 响应
许多 Web API 返回的数据格式是 JSON,Python 的 requests 库提供了方便的 JSON 处理方法。以下是示例代码:
import requests
# 发送GET请求并获取JSON响应
url = "https://api.github.com/users/octocat"
response = requests.get(url)
# 解析JSON数据
data = response.json()
# 输出用户的GitHub信息
print("User Login:", data["login"])
print("User Name:", data["name"])
代码解释:
response.json()
方法会将响应的内容解析为 Python 字典,这样我们就可以像操作普通字典一样方便地处理 JSON 数据,通过键来获取相应的值。
四、文件操作
(一)打开文件的模式
Python 使用内置的 open () 函数来打开文件,打开文件时需要指定文件模式(即操作文件的方式)。以下是常见的文件打开模式:
- 只读模式(r):默认模式,文件必须存在。如果文件不存在,会抛出 FileNotFoundError 异常。
- 写入模式(w):如果文件存在,会覆盖文件内容;如果文件不存在,会创建新文件。
- 追加模式(a):如果文件存在,写入的数据会追加到文件末尾;如果文件不存在,会创建新文件。
- 独占创建模式(x):若文件已存在,操作会失败并抛出 FileExistsError 异常,此模式通常用于创建文件时防止覆盖现有文件。
- 二进制读取模式(rb):用于读取非文本文件(如图片、音频文件)。
- 二进制写入模式(wb):用于写入非文本文件。
- 读写模式(+):文件必须存在,既可以读取文件内容,也可以写入数据。
- w + 模式:读写模式,如果文件存在,会覆盖文件内容;如果文件不存在,会创建新文件。
- a + 模式:读写模式,文件存在时,数据会追加到文件末尾;如果文件不存在,会创建新文件。
- rb + 模式:二进制读写模式。
以下是使用不同模式打开文件的示例代码:
# 以只读模式打开文件
with open('example.txt', 'r') as file:
content = file.read()
print(content)
# 以写入模式打开文件,文件内容会被覆盖
with open('example.txt', 'w') as file:
file.write("这是新的文件内容。\n")
# 以追加模式打开文件,新的内容会追加到文件末尾
with open('example.txt', 'a') as file:
file.write("追加的内容。\n")
# 以二进制模式打开文件(例如读取图片)
with open('image.jpg', 'rb') as file:
binary_data = file.read()
print("读取到的二进制数据:", binary_data[:20])
(二)读取文件
Python 中的文件读取功能非常强大,以下是几种常见的读取方式:
- read () 方法:用于读取文件中的所有内容,读取后的内容会作为字符串返回。示例代码如下:
with open('example.txt', 'r') as file:
content = file.read()
print(content)
- readline () 方法:每次读取一行文件内容,适用于需要逐行处理文件的情况。示例代码如下:
with open('example.txt', 'r') as file:
line = file.readline()
while line:
print(line.strip()) # strip()用来去除行末的换行符
line = file.readline()
- readlines () 方法:会一次性读取文件中的所有行,并将每行数据存储为一个列表的元素,适用于需要读取整个文件并进行行处理的情况。示例代码如下:
with open('example.txt', 'r') as file:
lines = file.readlines()
for line in lines:
print(line.strip())
(三)写入文件
Python 提供了几种方法将数据写入文件,写入操作常用于日志记录、数据导出等场景。
- 使用 write () 方法写入文件:该方法将指定的字符串写入文件。若文件以 “w” 模式打开,原文件内容会被覆盖;若以 “a” 模式打开,内容会被追加到文件末尾。示例代码如下:
with open('output.txt', 'w') as file:
file.write("这是第一行数据。\n")
file.write("这是第二行数据。\n")
- 使用 writelines () 方法写入多行数据:该方法接受一个可迭代对象(如列表、元组等),将其元素写入文件中,每个元素将作为一行写入文件。示例代码如下:
lines = ["第一行数据。\n", "第二行数据。\n", "第三行数据。\n"]
with open('output.txt', 'w') as file:
file.writelines(lines)
(四)下载文件示例
我们可以通过 requests 库来下载文件,并将其保存到本地。以下是下载一个图片文件的示例代码:
import requests
url = "https://www.example.com/image.jpg" # 图片URL
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用二进制模式写入文件
with open('downloaded_image.jpg', 'wb') as file:
file.write(response.content)
print("图片下载成功!")
else:
print(f"下载失败,状态码:{response.status_code}")
代码解释:
- 首先使用 requests.get () 方法发送 GET 请求获取图片文件的内容,设置 URL 为图片的地址。
- 通过判断响应的状态码是否为 200,来确定请求是否成功。
- 如果请求成功,使用 with open () 语句以二进制写入模式('wb')打开文件,然后通过 file.write (response.content) 将响应的内容(二进制数据)写入文件中。response.content 返回的是字节流数据,适合用于处理二进制文件。
(五)文件操作中的注意事项
- 文件是否存在:在打开文件时,必须确保文件路径正确。如果文件不存在,可以使用 os.path.exists () 函数检查文件是否存在,或者使用 try - except 语句捕获 FileNotFoundError 异常。示例代码如下:
import os
if os.path.exists('example.txt'):
with open('example.txt', 'r') as file:
content = file.read()
else:
print("文件不存在!")
- 文件权限:在操作文件时,可能会遇到权限不足的问题。例如,尝试写入只读文件,或访问没有读取权限的文件。在这种情况下,可以使用 try - except 语句来捕获 PermissionError 异常。示例代码如下:
try:
with open('readonly_file.txt', 'w') as file:
file.write("尝试写入只读文件")
except PermissionError:
print("权限不足,无法写入文件。")
- 文件自动关闭:使用 with open () 语句时,Python 会自动管理文件的打开和关闭,无需显式调用 file.close () 方法,这有助于避免文件未关闭的问题,减少资源泄漏的风险。
(六)其他常用文件操作
- 获取文件信息:Python 提供了 os 和 os.path 模块,可以获取文件的大小、修改时间等信息。示例代码如下:
import os
file_path = 'example.txt'
print("文件大小:", os.path.getsize(file_path), "字节")
print("文件修改时间:", os.path.getmtime(file_path))
- 删除文件:使用 os.remove () 函数可以删除文件。示例代码如下:
import os
file_path = 'example.txt'
if os.path.exists(file_path):
os.remove(file_path)
print(f"{file_path}已删除!")
else:
print("文件不存在!")
五、错误处理与异常捕获
在进行 Web 请求时,可能会发生各种错误,例如网络超时、服务器错误等。requests 库通过异常处理机制帮助我们捕获这些错误,Python 的 try 语句能够捕获和处理代码块中的异常,从而避免程序崩溃,并且提供了处理错误的机会。
(一)try 语句的使用
try 语句用于捕获和处理异常,它由以下三部分组成(其中 else 块和 finally 块可选):
- try 块:包含可能会引发异常的代码。当代码运行过程中发生错误时,程序会跳到相应的 except 块进行处理。
- except 块:当 try 块中的代码出现异常时,程序会跳转到 except 块执行。在 except 中可以指定要捕获的异常类型,如 Timeout、HTTPError 等。
- else 块(可选):如果 try 块中的代码没有抛出异常,则会执行 else 块中的代码。
- finally 块(可选):无论是否发生异常,finally 块中的代码都会执行,通常用于清理资源(如关闭文件、数据库连接等)。
(二)示例:捕获常见异常
以下是捕获常见异常的示例代码:
import requests
from requests.exceptions import RequestException, Timeout, HTTPError
try:
# 发送GET请求,并设置超时时间为5秒
response = requests.get("https://www.example.com", timeout=5)
# 如果状态码不是200,抛出HTTPError异常
response.raise_for_status() # 如果状态码是4xx或5xx,抛出异常
# 如果请求成功,则输出响应内容
print("Response Body:", response.text)
# 捕获请求超时异常
except Timeout:
print('Request timed out')
# 捕获HTTP错误(如状态码404、500等)
except HTTPError as http_err:
print(f'HTTP error occurred: {http_err}')
# 捕获其他网络相关的错误
except RequestException as req_err:
print(f'Request error occurred: {req_err}')
# 可以在finally块中清理资源(如关闭文件或连接)
finally:
print("Request attempt completed.")
代码解释:
- try 块:首先发起 HTTP 请求,通过 timeout=5 参数设置超时时间为 5 秒。然后使用 response.raise_for_status () 方法来检查响应的状态码,如果服务器返回了错误的状态码(如 404、500 等,即 4xx 或 5xx 的状态码),该方法会抛出 HTTPError 异常。如果如果状态码为 200 等成功状态码,则执行后续的打印响应内容的操作。
-
except 块:
- Timeout:当请求超时(超过设置的 5 秒)时,程序会捕获到 Timeout 异常,并打印 “Request timed out”,提示用户请求超时。
- HTTPError:若响应的状态码表明出现 HTTP 错误(例如 404 表示未找到页面,500 表示服务器内部错误等),程序会捕获到 HTTPError 异常,并打印相关错误信息,如 “HTTP error occurred: 404 Client Error: Not Found for url: https://www.example.com”,其中包含具体的错误状态码和错误描述,方便用户了解出错原因。
- RequestException:该异常是所有 requests 库异常的基类,可以捕获任何 requests 库抛出的异常,例如连接问题、DNS 解析失败等。当发生其他网络相关错误时,程序会捕获到 RequestException 异常,并打印 “Request error occurred: [具体错误信息]”,让用户知晓发生了网络请求相关的错误。
-
finally 块:其中的代码无论是否发生异常都会被执行,这里仅打印 “Request attempt completed.”,用于表示请求的结束,通常在此处可以进行一些资源清理工作,如关闭文件、数据库连接等,确保程序的资源得到合理释放。
(三)异常处理总结
- 避免程序崩溃:异常处理机制让我们在程序运行中能够捕获到错误并做出相应处理,避免程序因为遇到异常而突然崩溃,提高了程序的稳定性和可靠性。
- 精确处理异常:通过 try...except 结构,可以根据不同的异常类型进行精确的捕获和处理,针对不同的错误情况执行不同的处理逻辑,使程序能够更灵活地应对各种异常情况。例如,对于超时异常可以重新发起请求,对于 HTTP 错误可以提示用户检查请求的 URL 是否正确等。
- 资源清理:finally 块用于执行清理工作,无论是否发生异常,都会在请求处理完成后执行其中的代码,确保资源(如文件句柄、网络连接等)能够被正确释放,避免资源泄漏问题的发生,这对于长时间运行的程序尤为重要。
六、try语句
(一) 基本语法与结构
try:
# 可能引发异常的代码块
result = 10 / 0 # 除零错误
except ZeroDivisionError as e:
# 捕获特定异常并获取错误对象
print(f"错误: {e}") # 输出: division by zero
else:
# 仅在 try 块无异常时执行
print("计算成功:", result)
finally:
# 无论是否异常都执行(常用于资源清理)
print("执行完毕")
(二)捕获多种异常
1 .分别处理不同异常
try:
num = int("abc") # ValueError
result = 10 / num # ZeroDivisionError
except ValueError:
print("输入不是有效整数")
except ZeroDivisionError:
print("除数不能为零")
2 .合并处理同类异常
try:
file = open("nonexistent.txt") # FileNotFoundError
data = json.load(file) # JSONDecodeError
except (FileNotFoundError, json.JSONDecodeError) as e:
print(f"文件错误: {e}")
( 三)捕获所有异常
⚠️ 不推荐滥用,可能掩盖严重问题:
try:
# 任意代码
except Exception as e:
print(f"未知错误: {e}")
# 推荐记录堆栈信息用于调试
import traceback
print(traceback.format_exc())
(四)主动抛出异常(raise
)
def validate_age(age):
if age < 0:
raise ValueError("年龄不能为负数")
return age
try:
validate_age(-5)
except ValueError as e:
print(e) # 输出: 年龄不能为负数
(五)自定义异常
class AuthError(Exception):
"""自定义认证错误"""
def __init__(self, message="认证失败"):
self.message = message
super().__init__(self.message)
# 使用示例
try:
if not user_authenticated():
raise AuthError("无效令牌")
except AuthError as e:
print(f"认证异常: {e}")
(六)异常链(raise ... from
)
保留原始异常信息,便于定位问题:
try:
data = json.loads("invalid json")
except json.JSONDecodeError as e:
raise RuntimeError("配置解析失败") from e
输出:
Traceback (most recent call last):
File "<stdin>", line 2, in <module>
json.JSONDecodeError: Expecting value...
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 4, in <module>
RuntimeError: 配置解析失败
( 七)上下文管理器(with
语句)
替代 try-finally
进行自动资源管理:
try:
with open("data.txt", "r") as file:
content = file.read()
except FileNotFoundError:
print("文件不存在")
# 文件会自动关闭,无需手动调用 file.close()
(八) 常见异常类型
异常类型 | 触发场景 |
---|---|
ZeroDivisionError | 除零错误 |
TypeError | 类型不匹配(如字符串 + 整数) |
ValueError | 值不符合预期(如 int("abc") ) |
FileNotFoundError | 文件不存在 |
KeyError | 字典键不存在 |
IndexError | 索引越界 |
PermissionError | 权限不足 |
TimeoutError | 操作超时 |
(九)最佳实践
1 .精确捕获异常
try:
result = 10 / num
except (ZeroDivisionError, TypeError) as e:
print(f"计算错误: {e}")
2 .使用 logging
记录异常
import logging
try:
# 危险操作
except Exception as e:
logging.error(f"系统异常: {e}", exc_info=True)
3 .自定义异常分层
class AppError(Exception):
"""应用基础异常"""
class DatabaseError(AppError):
"""数据库操作异常"""
class ConnectionError(DatabaseError):
"""连接异常"""
4 .资源清理优先用 with
# 不推荐
file = open("data.txt")
try:
data = file.read()
finally:
file.close()
# 推荐
with open("data.txt") as file:
data = file.read()
(十)异常处理流程
- 执行
try
块:若有异常,跳转到第一个匹配的except
- 匹配
except
:按顺序检查,找到则执行对应代码块 - 执行
else
:若try
无异常 - 执行
finally
:无论是否异常,最终执行
(十一) 高级用法:try-except-else-finally
组合
try:
# 尝试操作
file = open("config.json", "r")
except FileNotFoundError:
# 处理缺失配置
print("使用默认配置")
config = DEFAULT_CONFIG
else:
# 无异常时读取配置
try:
config = json.load(file)
except json.JSONDecodeError:
print("配置格式错误,使用默认值")
config = DEFAULT_CONFIG
finally:
file.close() # 确保文件关闭
finally:
# 应用配置
apply_config(config)
(十二)异常与性能
- 异常处理本身不慢,但频繁抛出 / 捕获会影响性能
- 避免用异常控制常规流程(如循环读取文件)
- 优先使用条件判断(如
if os.path.exists(file)
)