设置代理（Proxy）
作用：
当网站检测到某个IP的访问频率过高时，可能会封禁该IP。通过使用代理服务器，可以定期更换IP地址，避免被识别和封锁。
优势：
让网站无法追踪真实请求来源，提升爬虫的隐蔽性和稳定性。
分类：
透明代理
-
特点：目标网站能检测到你在使用代理，并知道你的真实IP地址。
-
适用性：不符合隐藏真实IP的需求。
匿名代理
-
特点：目标网站知道你使用了代理，但无法获取你的真实IP。
-
适用性：提供基础匿名性，但仍有被识别的风险。
高匿代理（推荐）
-
特点：目标网站既无法检测代理使用，也无法获取真实IP。
-
适用性：最适合爬虫场景，隐蔽性最高。
IP可以自己在网上搜免费的或者购买IP代理池
# 导入必要的库
from urllib.request import Request, build_opener # 用于创建请求和打开器
from fake_useragent import UserAgent # 用于生成随机User-Agent
from urllib.request import ProxyHandler # 用于设置代理
# 定义目标URL
url = 'http://httpbin.org/get'
# 设置请求头，使用随机生成的Chrome浏览器User-Agent
headers = {
'User-Agent': UserAgent().chrome
}
# 创建请求对象，传入URL和请求头
request = Request(url, headers=headers)
# 设置代理（注释展示了不同格式的代理配置）
# 格式1: 带用户名密码的代理
# handler = ProxyHandler({"http": "username:password@ip:port"})
# 格式2: 实际用户名密码和代理IP端口的示例（已注释，避免暴露敏感信息）
# handler = ProxyHandler({"http": "dtxqwxkb:scocqa4e@180.103.123.171:16818"})
# 格式3: 仅IP和端口的代理（无认证）
# handler = ProxyHandler({"http": "ip:port"})
# 实际使用的代理配置（当前启用的是无认证代理）
handler = ProxyHandler({"http": "180.103.123.171:16818"})
# 创建带有代理配置的打开器
opener = build_opener(handler)
# 发送请求并获取响应
response = opener.open(request)
# 打印响应内容（解码为UTF-8字符串）
print(response.read().decode('utf-8')) 实现自动更换代理IP：
方法1：从代理池随机选择（需提前准备IP列表）
import random
from urllib.request import Request, build_opener, ProxyHandler
from fake_useragent import UserAgent
# 代理池（示例IP，需替换为实际可用的代理）
proxy_pool = [
"180.103.123.171:16818",
"203.156.124.82:8080",
"45.167.124.10:9999"
]
# 随机选择一个代理
proxy = random.choice(proxy_pool)
handler = ProxyHandler({"http": proxy})
# 创建请求
url = 'http://httpbin.org/get'
headers = {'User-Agent': UserAgent().chrome}
request = Request(url, headers=headers)
# 发送请求
opener = build_opener(handler)
response = opener.open(request)
print(f"当前代理IP: {proxy}")
print(response.read().decode('utf-8'))方法2：通过API动态获取新IP（需代理服务商支持）
import requests
from urllib.request import Request, build_opener, ProxyHandler
from fake_useragent import UserAgent
# 从代理服务商API获取新IP（示例API，需替换为实际接口）
def get_new_proxy():
api_url = "https://your-proxy-service.com/api/get-ip"
response = requests.get(api_url).json()
return f"{response['ip']}:{response['port']}"
# 动态获取代理
proxy = get_new_proxy()
handler = ProxyHandler({"http": proxy})
# 创建请求
url = 'http://httpbin.org/get'
headers = {'User-Agent': UserAgent().chrome}
request = Request(url, headers=headers)
# 发送请求
opener = build_opener(handler)
response = opener.open(request)
print(f"当前代理IP: {proxy}")
print(response.read().decode('utf-8'))
