Python爬虫中如何正确配置住宅IP代理?新手避坑指南
很多人买完住宅IP配置半天还是报错、被封。本文手把手教你用Python正确接入住宅代理附代码和常见问题解决。一、为什么你的代理配置总失败常见的几种错误协议用错服务商给的SOCKS5你却按HTTP方式配认证方式不对账密认证和API白名单混用请求头太简陋只用UA缺少Accept-Language等下面直接上正确代码。二、HTTP/HTTPS代理配置账密认证大多数住宅IP服务商支持账密认证代码最通用import requests proxy http://用户名:密码服务器地址:端口 proxies { http: proxy, https: proxy } headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept-Language: en-US,en;q0.9 } try: resp requests.get(https://httpbin.org/ip, proxiesproxies, headersheaders, timeout10) print(resp.json()) except Exception as e: print(f代理失败: {e})注意用户名密码中如有特殊字符需URL编码。三、SOCKS5代理配置需要安装requests[socks]pip install requests[socks]代码import requests proxy socks5://用户名:密码服务器地址:端口 proxies { http: proxy, https: proxy } # 其余同上如果不需要认证去掉用户名:密码部分。四、API白名单模式无需账密部分服务商支持将你的服务器IP加入白名单之后直接通过API链接提取IP。import requests # 直接请求API链接获取IP列表 api_url http://api.xxx.com/extract?num1countryUS resp requests.get(api_url) ip_list resp.text.split() proxy ip_list[0] # 格式 ip:port # 然后使用这个proxy发起采集请求 proxies {http: fhttp://{proxy}, https: fhttp://{proxy}}这种方式适合自动化脚本无需每次都传账密。五、常见问题排查1. 返回403或超时检查代理地址和端口是否正确确认服务商是否限制来源IP白名单模式需要加白目标网站是否屏蔽该代理IP段2. HTTPS请求报SSL错误尝试verifyFalse不推荐长期用或升级certifi包3. 代理慢或频繁掉线换一个节点试试降低请求频率加随机延时选择连通率高的服务商如承诺99.9%的六、实用小工具测试代理是否生效访问http://httpbin.org/ip\或https://ipinfo.io/ip\批量验证可用性写个循环连续请求20次统计成功率。七、最后建议先试用再付费大多数服务商提供免费流量测稳定性和速度。按场景选类型店铺管理用静态IP数据采集用动态IP。注意请求头完整性补全UA、Accept-Language等降低被识别概率。如果用的是辣椒HTTP其动态住宅5元/GB起静态9.9元/7天新用户有最高50G试用配置方式和上面代码完全一致。代理地址、端口、账密在后台可查。希望这篇文章能帮你少踩坑。有问题欢迎评论区交流。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2635886.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!