python3 爬虫（初试牛刀）

news2025/8/7 13:10:57

此文章仅供学习交流使用
在学习爬虫之前，把最近对于 VMware 的网络学习做个总结
VMware
接下来，步入正题！

分析 Robots 协议

  • 禁止所有爬虫访问任何目录的代码：
User-agent: *
Disallow:/
  • 允许所有爬虫访问任何目录的代码：
User-agent: *
Disallow:
  • 禁止所有爬虫访问网站某些目录的代码：
User-agent: *
Disallow: /private/
Disallow: /tmp/
  • 只允许某一个爬虫访问的代码：
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /

from urllib.robotparser import RobotFileParser

rp = RobotFileParser('http://www.jianshu.com/robots.txt')
rp.read()
// 利用 can_fetch() 方法判断了网页是否可以被抓取
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', 'https://www.jianshu.com/p/c678ce575f4c'))

result

抓取bilibili首页

import requests

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
    }
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None

def main():
        url = 'https://www.bilibili.com'
        html = get_one_page(url)
        print(html)

main()

json

抓取猫眼电影排行

数据存储

  1. TXT 文本存储
    用 requests 将网页源代码获取下来，再使用 pyquery 解析库解析。
import requests
from pyquery import PyQuery as pq

url = 'https://www.zhihu.com/explore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc('.explore-tab .feed-item').items()
for item in items:
    question = item.find('h2').text()
    author = item.find('.author-link-line').text()
    answer = pq(item.find('.content').html()).text()
    file = open('explore.txt', 'a', encoding='utf-8')
    file.write('\n'.join([question, author, answer]))  # type: ignore
    file.write('\n' + '=' * 50 + '\n')
    file.close()
  1. JSON 文件存储
    想保存 JSON 的格式，可以将 JSON 对象转为字符串，然后再调用文件的 write() 方法写入文本。
import json 

data = [{
    'name': '张三',
    'gender': '女',
    'birthday': '1992-10-18'
}]

with open('data.json','w', encoding='utf-8') as file:
    file.write(json.dumps(data, indent=2, ensure_ascii=False))

可
3. CSV 文件存储

import csv

with open('data.csv', 'w') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, delimiter=' ', fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

data

  • 读取数据
import pandas

df = pandas.read_csv('data.csv')
print(df)

datas

  1. 数据库的存储
  • MySQL 的存储
import pymysql

db = pymysql.connect(host="localhost", user="root", password="[数据库密码]", port=3306, db="spiders")
cursor = db.cursor()
// 创建表
sql='CREATE TABLE IF NOT EXISTS students (id VARCHAR(255) NOT NULL, name VARCHAR(255) NOT NULL, age INT NOT NULL, PRIMARY KEY (id))'
cursor.execute(sql)
db.close()
  • rollback() 执行数据回滚
try:
    id = '20120001'
    user = 'Bob'
    age = 20
    sql = 'INSERT INTO students(id, name, age) values(%s, %s, %s)'
    cursor.execute(sql, (id, user, age))
    db.commit()
except:
    db.rollback()
  • MongoDB 存储（略）
  • Redis 存储（略）

Ajax 数据爬取

  • 将前10页的微博全部爬取下来
from pyquery import PyQuery as pq
from urllib.parse import urlencode
import requests
base_url = "https://m.weibo.cn/api/container/getIndex?"

headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}
def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'page': page
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)

def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            weibo = {}
            weibo['id'] = item.get('id')
            weibo['text'] = pq(item.get('text')).text()
            weibo['attitudes'] = item.get('attitudes_count')
            weibo['comments'] = item.get('comments_count')
            weibo['reposts'] = item.get('reposts_count')
            yield weibo

if __name__ == '__main__':
    for page in range(1, 11):
        json = get_page(page)
        results = parse_page(json)
        for result in results:
            print(result)

results

  • 分析 Ajax 爬取今日头条街拍美图
from hashlib import md5
from multiprocessing.pool import Pool
from urllib.parse import urlencode
import os
import requests

def get_page(offset):
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
    }
    url = 'https://www.toutiao.com/search_content/?' + urlencode(params)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError:
        return None

def get_images(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_detail')
            for image in images:
                yield {
                    'image': image.get('url'),
                    'title': title
                }

def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(response.content)
            else:
                print('Already Downloaded', file_path)
    except requests.ConnectionError:
        print('Failed to Save Image')

def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)

GROUP_START = 1
GROUP_END = 20

if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()
    pool.join()

但未运行成功

OCR

tesserocr download

图形验证码的识别

import tesserocr
from PIL import Image

image = Image.open('Code.jpg')
result = tesserocr.image_to_text(image)
print(result)
  • 更简单的方法：
import tesserocr
print(tesserocr.file_to_text('Code.jpg'))

另外，还有转灰度，二值化等操作！

极验滑动验证码的识别

使用 Selenium 配置 ChromeDriver
示例代码

点触验证码的识别

示例代码

微博宫格验证码的识别

示例代码

代理的使用：

urllib 与 urllib3 对比

# from urllib.error import URLError
# from urllib.request import ProxyHandler, build_opener

# proxy = '127.0.0.1:9743'
# proxy_handler = ProxyHandler({
#     'http': 'http://' + proxy,
#     'https': 'https://' + proxy
# })
# opener = build_opener(proxy_handler)
# try:
#     response = opener.open('http://httpbin.org/get')
#     print(response.read().decode('utf-8'))
# except URLError as e:
#     print(e.reason)

import urllib3
proxy = urllib3.ProxyManager('http://127.0.0.1:11088', headers={'connection': 'keep-alive'})
resp = proxy.request('get', 'http://httpbin.org/ip')
print(resp.status)
print(resp.data)

代理的获取：

  • 代理池的维护
    实现一个比较高效的代理池，来获取随机可用的代理。
  • ADSL 拨号代理
    设置代理服务器：
    安装 TinyProxy

App 的爬取

  • Charles 的使用
  • mitmproxy 的使用
  • mitmdump 爬取“得到” App电子书信息
  • Appium 的基本使用
  • Appium 爬取微信朋友圈
  • Appium+mitmdump 爬取京东商品

pyspider 框架的使用

详情见官网

Scrapy 框架的使用

scrapy.Request的更多参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
  • 参数解释
  1. 中括号里的参数为可选参数
  2. callback:表示当前的url的响应交给哪个函数去处理
  3. meta:实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等
  4. dont_filter:默认为False，会过滤请求的uri地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动
  5. method:指定POST或GET请求
  6. headers:接收一个字典，其中不包括cookies
  7. cookies:接收一个字典，专门放置cookies
  8. body: 接收ison字符串，为POST的数据，发送payload_post请求时使用

meta参数的使用
meta的作用: meta可以实现数据在不同的解析函数中的传递在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数:

def parse(self,response):
   ...
   yield scrapy.Request(detail_url, callback=self.parse detail,meta=("item":item))
...

def parse detail(self,response):
#获取之前传入的item
   item = resposne.meta["item"]

特别注意

  1. meta参数是一个字典
  2. meta字典中有一个固定的键 proxy ，表示代理ip

文章持续更新中…

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/15572.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2022年新版Pycharm通过project interpreter国内镜像源设置

2022年新版Pycharm通过project interpreter国内镜像源设置

2022年新版Pycharm通过project interpreter国内镜像源设置解决方案速览一、国内镜像源列表二、pycharm访问project interpreter解决方案速览 File->Settings->project interpreter-> -> Available Packages将options打勾，并输入-i https://pypi.tuna.…
阅读更多...
Gvim显示行号、最大化、字号、主题等常用配置修改

Gvim显示行号、最大化、字号、主题等常用配置修改

Gvim的设置分两种：1. 临时设置，2. 永久设置，本文只关注永久设置的情况。 配置Gvim只需修改Gvim配置文件即可，Linux中，配置文件的地址是~/.vimrc，若没有该文件则创建即可，我们可以直接输入gvim …
阅读更多...
平面设计师怎么找素材？

平面设计师怎么找素材？

平面设计素材网站，免费下载，建议收藏！ 1、菜鸟图库 https://www.sucai999.com/?vNTYwNDUx菜鸟图库是一个素材量非常丰富的网站，网站聚合了平面、UI、淘宝电商、高清背景图、图片、插画等高质量素材，平面模板非常多&am…
阅读更多...
数据结构绪论、顺序表课后练习题

数据结构绪论、顺序表课后练习题

文章目录第1章 绪论一 填空题二 选择题三 判断题✅❎第2章 线性表一 判断正误二 单项选择题三 简答题第1章 绪论 一 填空题 数据结构被形式地定义为（D, R），其中D是数据元素的有限集合，R是D上的关系有限集合。数据结构按逻辑结构…
阅读更多...
idea如何排查jar冲突

idea如何排查jar冲突

工具系列文章目录 idea如何排查jar冲突提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结前言 当遇到jar包冲突的时候常常会出现…
阅读更多...
自动驾驶入门：控制

自动驾驶入门：控制

目录 概念 控制流程 PID控制 PID 的优劣势 LQR 线性二次调节器 模型控制预测 总结 概念 控制是驱使车辆前行的策略。对于汽车而言，最基本的控制输入为转向、加速和制动。通常，控制器使用一系列路径点来接收轨迹。 控制器的任务是使用控制输入让…
阅读更多...
Flask微服务注册到Nacos

Flask微服务注册到Nacos

目录一、前言二、手写实现Flask注册到Nacos1. 服务注册2. 心跳检测三、使用nacos-sdk-python完成注册四、SpringBoot远程调用1. 添加 Python 端业务逻辑2. SpringBoot 的远程调用五、SpringGateway网关转发一、前言 最近有一个使用 SpringCloud 的微服务项目，需要使…
阅读更多...
[附源码]java毕业设计面向服装集群企业的个性化定制服务系统

[附源码]java毕业设计面向服装集群企业的个性化定制服务系统

项目运行 环境配置： Jdk1.8 Tomcat7.0 Mysql HBuilderX（Webstorm也行） Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。 项目技术： SSM mybatis Maven Vue 等等组成，B/S模式 M…
阅读更多...
C++ 异常处理 重新throw变量时的事件

C++ 异常处理 重新throw变量时的事件

直接说结论：throw的表达式创建出来的变量会被拷贝下来【通过拷贝构造函数，后面会证实这一点，且是放在堆里的】，然后沿着调用路径去搜索最近匹配异常的catch语句，在沿途，传递给catch语句的是堆中的异常变量的…
阅读更多...
2022年数维杯国际大学生数学建模挑战赛D题三重拉尼娜事件下极端气候灾害损失评估与应对策略研究解题过程

2022年数维杯国际大学生数学建模挑战赛D题三重拉尼娜事件下极端气候灾害损失评估与应对策略研究解题过程

2022年数维杯国际大学生数学建模挑战赛 D题 三重拉尼娜事件下极端气候灾害损失评估与应对策略研究 原题再现： 2022年7月至8月，中国南方许多城市经历了多天的炎热天气，而北方部分地区也出现了大面积强降水。此外，许多欧洲国家也经…
阅读更多...
GEE开发之Modis_NDVI数据分析获取大总结

GEE开发之Modis_NDVI数据分析获取大总结

GEE开发之Modis_NDVI数据分析获取大总结0. 之前的博客链接1. MYD13Q1(250米/16天)2. MOD09GA_006_NDVI(500米/1天)3. MOD13Q1(250米/16天)4. MOD13A1(500米/16天)5. MOD13A2(1000米/16天)6. 日数据下载(以MYD13Q1为例子)7. 月数据下载(以MYD13Q1为例子)7.1 代码一7.2 代码二&am…
阅读更多...
博途1200PLC轴控功能块(脉冲轴)

博途1200PLC轴控功能块(脉冲轴)

1200选择晶体管输出的型号，本体支持脉冲发送，利用工艺对象可以组态脉冲轴。利用1200和1500PN总线可以进行总线伺服的控制，具体请参看下面的博客： 博途1200/1500PLC V90 PN通信控制 (FB284功能块)_RXXW_Dor的博客-CSDN博客_fb284功能块先简单说下如何获取FB284，一般有2种方…
阅读更多...
redirs非关系型数据库使用

redirs非关系型数据库使用

非关系型数据库是将不经常使用的数据保存到redis缓存中，当前端访问redis缓存数据，如果没有查到该数据，则从数据库中查询，并将数据缓存到redis里。 数据结构介绍： redis的存储主要是key,value的数据格式，其…
阅读更多...
Node.js 是如何做 GC （垃圾回收）的？

Node.js 是如何做 GC （垃圾回收）的？

大家好，我是前端西瓜哥。今天我们来研究一下 Node.js 是如何做 GC 的。 GC，Garbage Collection，垃圾回收。在编程中，一般指的是内存自动回收机制，会定时将不需要用到的数据进行清除。 Node.js 底层使用了 V8 引擎。V…
阅读更多...
Android入门第31天-Android里的ViewFlipper翻转视图的使用

Android入门第31天-Android里的ViewFlipper翻转视图的使用

介绍 本篇给大家带了的是ViewFlipper，它是Android自带的一个多页面管理控件，且可以自动播放！ 和ViewPager不同，ViewPager是一页页的，而ViewFlipper则是一层层的，和ViewPager一样，很多时候&…
阅读更多...
Vivado在Linux下的安装与运行

Vivado在Linux下的安装与运行

一. Vivado安装步骤 下载解压安装包后，并进入安装包路径运行终端 cd Downloads/Xilinx_Vivado_SDK_2017.4运行 sudo apt install libncurses5 安装ncurses库 sudo apt install libncurses5 运行 sudo chmod x setup 添加可执行权限 sudo chmod x setup运行 sudo .…
阅读更多...
PHP反序列化漏洞解析

PHP反序列化漏洞解析

序列化 所谓序列化就是将原数据对象转换为具有一定格式的数据 举一个最简单的例子，在C中，若要开发一个数据库，那么一定涉及到数据的存储，要将内存中的数据持久化的保存在磁盘中，这就要对数据的存储格式进行优化&…
阅读更多...
[附源码]java毕业设计企业信息网站

[附源码]java毕业设计企业信息网站

项目运行 环境配置： Jdk1.8 Tomcat7.0 Mysql HBuilderX（Webstorm也行） Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。 项目技术： SSM mybatis Maven Vue 等等组成，B/S模式 M…
阅读更多...
网关及其分类

网关及其分类

1. 介绍 大家都知道，从一个房间走到另一个房间，必然要经过一扇门。同样，从一个网络向另一个网络发送信息，也必须经过一道“关口”，这道关口就是网关。顾名思义，网关(Gateway)就是一个网络连接到另一个网络的…
阅读更多...
深度探究多线程的效率以及多线程的使用建议

深度探究多线程的效率以及多线程的使用建议

随着时代发展，电脑的核心数慢慢增多，在开发程序的过程中，是否选择使用多线程这是个比较大的问题，下面我通过一个程序去深入理解多线程对程序速度的影响到底有多大 计算亿级别个数的累加和： 单线程模型运行程序&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023