- 爬虫深入
- 使用场景分类
- 通用爬虫：抓取系统的重要组成部分，抓取的是一整张页面数据
- 聚焦爬虫：建立在通用爬虫的基础之上，抓取的是页面中特定的局部内容
- 增量式爬虫：检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据
- 矛与盾
- 反爬机制
- 门户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
- 反反爬策略
- 爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站网络数据
- 反爬机制
- robots.txt协议
- 君子协议，规定了网站中哪些数据可以被爬虫爬取，那些数据不可以被爬取
- http&https协议
- 概念：服务器和客户端进行数据交互的一种形式
- 常用请求头信息
- User-Agent：请求载体的身份标识
- Connection：请求完毕后，是断开连接还是保持连接
- 常用响应头信息
- Content-Type：服务器响应回客户端的数据类型
- https协议
- 安全的超文本传输协议，对数据有加密
- 加密方式
- 对称密钥加密
- 客户端会将发送给服务端的信息进行加密，加秘密钥和加密信息同时发送给服务端
- 客户端会将发送给服务端的信息进行加密，加秘密钥和加密信息同时发送给服务端
- 非对称密钥加密
- 服务端先将将要发送的信息加密方式发送给客户端（给公钥，保留私钥），客户端接收到后，再用该方式（公钥）对信息进行加密，再把密文给服务端，服务端可利用保留的私钥进行解密
- 服务端先将将要发送的信息加密方式发送给客户端（给公钥，保留私钥），客户端接收到后，再用该方式（公钥）对信息进行加密，再把密文给服务端，服务端可利用保留的私钥进行解密
- 证书密钥加密
- 服务端携带公开密钥向数字证书认证机构提出公开密钥的申请，数字证书认证机构再认清申请者的身份，审核通过后会对申请的公开密钥做数字签名，然后分配这个已签名的公开密钥，并将密钥放在证书里面绑定一起
- 服务端现将数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公钥的真伪，确保服务器传过来的公钥是真实的。
- 一般来说证书的数字签名，很难被伪造，取决于认证机构的公信力，一但确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务端接收到之后用自己的私钥进行解密
- 对称密钥加密
- 使用场景分类
爬虫学习-深入了解爬虫
news2025/10/31 19:40:14
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/101103.html
如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！相关文章
一起学习用Verilog在FPGA上实现CNN----(三)激活层设计
1 激活层设计
LeNet-5网络的激活函数是双曲正切函数(TanH)，项目中tanh函数模块由完整的层UsingTheTanh构成，该层由较小的处理单元HyperBolicTangent组成
1.1 HyperBolicTangent
处理单元HyperBolicTangent，对每个输入执行Tanh操作…
jsp+ssm计算机毕业设计动物救助平台【附源码】
项目运行
环境配置：
Jdk1.8 Tomcat7.0 Mysql HBuilderX（Webstorm也行） Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。 项目技术：
JSPSSM mybatis Maven等等组成，B/S模式 Mave…
实训任务4：Hadoop综合操作
文章目录1. 启动Hadoop服务2. 创建文本文件3. 上传文本文件4. 显示文件内容5. 完成排序任务6. 计算最大利润和平均利润1. 启动Hadoop服务 在master虚拟机上执行命令：start-all.sh 2. 创建文本文件 在master虚拟机上创建本地文件students.txt 李晓文 女 20
张晓航 男…
【Redis集群专题】「集群技术三部曲」分析一下相关的Redis集群模式下的脑裂问题（问题篇）
技术格言 世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 什么是脑裂
字面含义
首先，脑裂从字面上理解就是脑袋裂开了，就是思想分家了，就是有了两个山头，就是有…
电脑调用 iPhone 摄像头全过程（iVCam）
最近不是停课不停学吗，令人“深恶痛绝”的钉钉又进入了我们学生的生活。但是初中的网课相比小学的又增加了一个要求：全程摄像头拍摄。但是，我这笔记本没有摄像头啊！突然想起来好像手机的摄像头可以给电脑调用。话不多说࿰…
3D数学基础 学习笔记
左手坐标系：DX、3DMax
右手坐标系：OpenGL
世界坐标系、物体坐标系、摄像机坐标系 向量和点在数学上是等价的，向量是有大小和方向的有向线段，向量没有位置，只有大小和方向 向量运算：
零向量：…
【看源码】@Cacheable和@CacheEvict的原理, 批量key过期失效的原因分析
Cacheable和CacheEvict的坑, 批量key过期失效的原因分析前言测试代码源码put缓存时最终key的产生看不同情况下, 是否能匹配Evict过期缓存1. 没有入参没有指定key的情况2. 有入参的情况3. 配置了allEntries的情况总结补充前言
最近发现自己搭的一个项目返回的数据不太准确, 第一…
网工Python之路——Netmiko模块实验（思科）
小白网工的python之路 「Python 网络自动化」Netmiko 实验环境
我的实验环境是GNS3搭建拓扑图，用云桥接到在VMware Workstation 16运行的CentOS 7,
CentOS 7上搭建好了python3.8，
所有交换机已经预配好了SSH服务，ssh登录账号为python&…
DBCO-PEG-Ferrocene,Ferrocene-PEG-DBCO,DBCO偶联修饰二茂铁
DBCO-PEG-Ferrocene ，Ferrocene-PEG-DBCO，二苯并环辛炔-聚乙二醇-二茂铁，DBCO偶联修饰二茂铁产品规格： 1.CAS号：N/A 2.分子量MV：1000、2000、3400、5000、10000、20000等可按需进行定制 3.包装规格…
数据结构与算法_空间复杂度
同时间复杂度一样，空间复杂度也是数学的函数表达式。
空间复杂度不是程序占用了多少 bytes的空间，因为这个也没太大意义，所以空间复杂度算的是运行的过程中临时的、额外的变量的个数。
空间复杂度计算规则基本跟实践 复杂度类似，…
Flutter For App——一个简单的豆瓣APP
一个简单的豆瓣APP效果视频功能简述功能第三方库接口简述底部导航栏效果图实现初始化BottomNavigationBarItembottomNavigationBar切换页面导致bottomNavigationBar子页面重绘Top250榜单效果图实现Widget树FutureBuilder异常ListView上拉加载电影详情效果图实现高斯模糊网络数据…
设计模式原则 - 单一职责原则（一）
单一职责原则一 官方定义基本介绍二 案例演示普通方式实现解决方案解决方案一解决方案案例分析解决方案二解决方案案例分析案例总结三 注意事项&细节四 如何遵守单一职责原则？一 官方定义 单一职责原则（Single Responsibility Principle, SRP&#x…
用Spark写入Mysql的特别注意事项
相信有部分刚入门的小伙伴对于spark写入Mysql的过程不太熟悉。特意写一篇文章讲一下这个注意事项，以免“上大当”
我们先看一个小伙伴写的一段spark写入mysql的代码 public static void trans(SparkSession spark,String pro_table, String pro_url, String pro_dr…
微服务框架 SpringCloud微服务架构 服务异步通讯 52 惰性队列 52.1 消息堆积问题
微服务框架
【SpringCloudRabbitMQDockerRedis搜索分布式，系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】
服务异步通讯 文章目录微服务框架服务异步通讯52 惰性队列52.1 消息堆积问题52.1.1 消息堆积问题52 惰性队列
52.1 消息堆积问题
52.1.1 消…
11基于主从博弈理论的共享储能与综合能源微网优化运行研究(MATLAB程序）
参考文献：
基于主从博弈理论的共享储能与综合能源微网优化运行研究——帅轩越（2022电网技术）
主要内容;
代码主要做的是基于主从博弈理论的共享储能与综合能源微网优化运行研究，首先介绍了系统运行框架，分析了系统内…
一文了解各种高精度室内定位技术
在消费需求和创新技术驱动下，可穿戴设备和物联网产品的发展驶入了快车道，GNSS定位功能在无人驾驶、智能设备、资产追踪等日趋智能化中广泛应用，而随着万物互联时代的到临，物联网技术围绕人员、资产的室内位置服务需求也愈加强烈。…
【Redis集群专题】「集群技术三部曲」介绍一下常用的Redis集群机制方案的原理和指南（入门篇）
集群化的方案
Redis的Sentinel解决了主从复制故障不能自动迁移的问题，但是主节点的写性能和存储能力依然是受到了Redis单机容量有限的限制，所以使用Redis集群去解决这个问题，将Redis的数据根据一定的规则分配到多台机器。
Redis集群方案
R…
