selenium基本操作

news2025/7/29 20:32:10

爬虫与反爬虫之间的斗争

爬虫 ：对某个网站数据或图片感兴趣，开始抓取网站信息；
网站 ：请求次数频繁，并且访问ip固定，user_agent也是python，开始限制访问；
爬虫 ：通过设置user_agent，并添加代理ip请求；
网站 ：压力过大，不符合常规现象，开始设置登陆访问；
爬虫 ：注册账号，携带cookie获取数据；
网站 ：发现网站单账号访问异常，限制账号权限；
爬虫 ：构建cookie池，多个账号联合爬取数据；
网站 ：压力还是很大，加大对访问频繁ip的封锁频率
爬虫 ：开始模仿手动请求，限制爬取速度
网站 ：设置验证码策略
爬虫 ：打码平台介入，或者机器学习识别验证码
网站 ：发现对HTML数据请求频繁，不请求js和css，开发人员将重要数据通过Ajax方式加载
爬虫 ：通过selenium+phantomjs完全模拟浏览器操作
网站 ：。。。。。。

认识selenium

--- Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

-----支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google，Chrome，Opera，Edge等

浏览器驱动

Selenium需要驱动程序与所选浏览器进行交互,下面是几种常见的驱动下载链接：

  • Chrome： http://chromedriver.storage.googleapis.com/index.html

  • Edge： https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

  • Firefox： https://github.com/mozilla/geckodriver/releases

  • Safari： https://webkit.org/blog/6900/webdriver-support-in-safari-10/

selenium入门

# 导入模块
fromseleniumimportwebdriver
​
# 使用谷歌浏览器
driver = webdriver.Chrome()
​
# 使用谷歌打开百度页面
driver.get("https://www.baidu.com")
​
# 窗口最大化
driver.maximize_window()
​
# 获取页面源代码
driver.page_source
​
# 获取所有cookie
driver.get_cookies()

页面元素定位

fromseleniumimportwebdriver
fromselenium.webdriver.common.byimportBy
​
driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
# 1、通过id值定位
driver.find_element(By.ID,"kw")
​
# 2、通过class值定位
driver.find_element(By.CLASS_NAME,"s_ipt")
​
# 3、通过name定位
driver.find_element(By.NAME,"wd")
​
# 4、通过tag_name定位
driver.find_element(By.TAG_NAME,"div")
# 说明：HTML本质就是由不同的tag(标签)组成，而每个tag都是指同一类，所以tag定位效率低，一般不建议使用；
​
# 5、通过XPATH语法定位
driver.find_element(By.XPATH,"//*[@id="kw"]")
​
# 6、通过css语法定位
driver.find_element(By.CSS,"#kw")
​
# 7、通过文本定位--精确定位
driver.find_element(By.LINK_TEXT,"在希望的田野上")
​
# 8、通过部分文本定位--模糊定位
driver.find_element(By.PARTIAL_LINK_TEXT,"田野上")

操作表单元素

# 输入内容
send_keys("python")
​
# 清除输入框内容
clear()
# 鼠标单击
click()

行为链

在用selenium操作页面时，有时要分为很多步骤，那么这个时候可以用鼠标行为链类ActionChains来完成。 
from selenium import webdriver
from selenium.webdriver.common.by importBy
#引入行为链ActionChains类
from selenium.webdriver.common.action_chains import ActionChains
​
driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
#定位搜索框
inputtag = driver.find_element(By.ID,"kw")
​
#百度一下按钮
submittag = driver.find_element(By.ID,"su")
​
#建立行为链
actions =ActionChains(driver)
​
#给搜索框发送数据
actions.move_to_element(inputtag)
actions.send_keys_to_element(inputtag,'python')
#选中提交按钮并提交
actions.move_to_element(submittag)
actions.click(submittag)
#统一执行
actions.perform()

动作链

  • ActionChains方法列表

click(on_element=None) ——单击鼠标左键

click_and_hold(on_element=None) ——点击鼠标左键，不松开

context_click(on_element=None) ——点击鼠标右键

double_click(on_element=None) ——双击鼠标左键

drag_and_drop(source, target) ——拖拽到某个元素然后松开

key_down(value, element=None) ——按下某个键盘上的键

key_up(value, element=None) ——松开某个键

move_to_element(to_element) ——鼠标移动到某个元素

perform() ——执行链中的所有动作

release(on_element=None) ——在某个元素位置松开鼠标左键

send_keys(*keys_to_send) ——发送某个键到当前焦点的元素

send_keys_to_element(element, *keys_to_send) ——发送某个键到指定元素

  • 鼠标移动

示例网站：http://sahitest.com/demo/mouseover.htm

# -*- coding:utf-8 -*-
fromseleniumimportwebdriver
fromselenium.webdriver.common.action_chainsimportActionChains
fromselenium.webdriver.common.byimportBy
importtime
​
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/mouseover.htm')
​
# 鼠标移动到此元素，在下面的input框中会显示“Mouse moved”
write = driver.find_element(By.XPATH,'//input[@value="Write on hover"]')
# 鼠标移动到此元素，会清空下面input框中的内容
blank = driver.find_element(By.XPATH,'//input[@value="Blank on hover"]')
​
result = driver.find_element(By.NAME,'t1')
​
action = ActionChains(driver)
# 移动到write，显示“Mouse moved”
time.sleep(3)
# 移动到write上
action.move_to_element(write).perform()
​
# 移动到blank上，清空
time.sleep(3)
action.move_to_element(blank).perform()
# 移动到write上
time.sleep(3)
action.move_to_element(write).perform()
​

driver.quit()

  • 鼠标拖拽

示例网站：http://sahitest.com/demo/dragDropMooTools.htm

fromseleniumimportwebdriver
fromselenium.webdriver.common.action_chainsimportActionChains
fromselenium.webdriver.common.byimportBy
fromtimeimportsleep
​
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/dragDropMooTools.htm')
​
target = driver.find_element(By.ID,'dragger')  # 被拖拽元素
item1 = driver.find_element(By.XPATH,'//div[text()="Item 1"]')  # 目标1
item2 = driver.find_element(By.XPATH,'//div[text()="Item 2"]')  # 目标2
item3 = driver.find_element(By.XPATH,'//div[text()="Item 3"]')  # 目标3
item4 = driver.find_element(By.XPATH,'//div[text()="Item 4"]')  # 目标4
​
action = ActionChains(driver)
# 1.移动dragger到目标1
action.drag_and_drop(target, item1).perform()
sleep(2)
# 2.效果与上句相同，也能起到移动效果
action.click_and_hold(target).release(item2).perform() 
sleep(2)
# 3.效果与上两句相同，也能起到移动的效果
action.click_and_hold(target).move_to_element(item3).release().perform()
sleep(2)
action.click_and_hold(target).move_to_element(item4).release().perform()
sleep(2)
driver.quit()

  • 点击操作

示例网站：http://sahitest.com/demo/clicks.htm

fromseleniumimportwebdriver
fromselenium.webdriver.common.action_chainsimportActionChains
fromselenium.webdriver.common.byimportBy
fromtimeimportsleep
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/clicks.htm')
# 单击按钮
click_left = driver.find_element(By.XPATH,'//input[@value="click me"]')
# 双击按钮
doubleclick_btn = driver.find_element(By.XPATH,'//input[@value="dbl click me"]')
# 右键单击按钮
click_right = driver.find_element(By.XPATH,'//input[@value="right click me"]')
# 链式用法
ActionChains(driver).click(click_left).double_click(doubleclick_btn).context_click(click_right).perform()
​
sleep(2)
driver.quit()

页面等待

--- 当selenium打开一个页面要进行操作，但是浏览器还处于加载状态，所以需要等待加载完毕之后再操作

显式等待
显式等待是您定义的代码，用于等待特定条件发生，然后再继续执行代码。这种情况的极端情况是 time.sleep()，它将条件设置为要等待的确切时间段。提供了一些方便的方法来帮助您编写只等待所需时间的代码。WebDriverWait 与 ExpectedCondition 结合使用是实现此目的的一种方式。 
fromseleniumimportwebdriver
fromselenium.webdriver.common.byimportBy
fromselenium.commonimportTimeoutException
fromselenium.webdriver.support.uiimportWebDriverWait
fromselenium.webdriver.supportimportexpected_conditionsasEC
​
driver = webdriver.Chrome()
driver.get("http://somedomain/url_that_delays_loading")
defsearch():
    try:
        element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.ID, "myDynamicElement"))
        )
    exceptTimeoutException:
        returnsearch()
在上面的代码中，Selenium 将等待最多 10 秒以找到匹配给定条件的元素。如果在那段时间内没有找到任何元素，则抛出 TimeoutException。捕获到异常后写一个递归操作，这样10秒之后就会继续等待10秒，知道元素加载完毕

隐式等待
隐式等待告诉 WebDriver 在尝试查找任何不立即可用的元素（或多个元素）时轮询 DOM 一段时间。默认设置为 0（零）。设置后，将为 WebDriver 对象的生命周期设置隐式等待。 
fromseleniumimportwebdriver
​
driver = webdriver.Firefox()
driver.implicitly_wait(10) # seconds
driver.get("http://somedomain/url_that_delays_loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/367876.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

数据库浅谈之 DuckDB AGG 底层实现

数据库浅谈之 DuckDB AGG 底层实现

数据库浅谈之 DuckDB AGG 底层实现 HELLO，各位博友好，我是阿呆 🙈🙈🙈 这里是数据库浅谈系列，收录在专栏 DATABASE 中 😜😜😜 本系列阿呆将记录一些数据库领域相关的知…
阅读更多...
离线维基百科阅读器Kiwix Serve

离线维基百科阅读器Kiwix Serve

本文软件是网友 刘源 推荐的，因为他已经安装成功了，所以老苏拖拖拉拉的就从去年拖到了现在； 😂 什么是 Kiwix ? Kiwix 是一个用于浏览离线内容的自由开源浏览器，最初用于离线浏览维基百科。Kiwix 可以读取以压缩形式存…
阅读更多...
[神经网络]基干网络之VGG、ShuffleNet

[神经网络]基干网络之VGG、ShuffleNet

一、VGG VGG是传统神经网络堆叠能达到的极限深度。 VGG分为VGG16和VGG19，其均有以下特点： ①按2x2的Pooling层，网络可以分成若干段 ②每段之内由若干same卷积操作构成，段内Feature Map数量固定不变； ③Feature Map按2的…
阅读更多...
对个人博客系统进行web自动化测试（包含测试代码和测试的详细过程）

对个人博客系统进行web自动化测试（包含测试代码和测试的详细过程）

目录 一、总述 二、登录页面测试 一些准备工作 验证页面显示是否正确 验证正常登录的情况 该过程中出现的问题 验证登录失败的情况 关于登录界面的总代码 测试视频 三、注册界面的自动化测试 测试代码 过程中出现的bug 测试视频 四、博客列表页测试（…
阅读更多...
【Leedcode】数据结构中链表必备的面试题（第四期）

【Leedcode】数据结构中链表必备的面试题（第四期）

【Leedcode】数据结构中链表必备的面试题（第四期） 文章目录【Leedcode】数据结构中链表必备的面试题（第四期）1.题目2.思路图解(1)思路一(2)思路二3.源代码总结1.题目 相交链表： 如下（示例）&…
阅读更多...
小白福利!我开发了一个快速部署库

小白福利!我开发了一个快速部署库

1、开发背景 很多入门的同学，在跟着视频敲完代码之后，在打包出来的产物犯了难 如果是 hash 路由，要么使用后端部署，要么使用 github 或者 gitee 提供的静态部署服务如果是 history 路由，那只能使用后端框架进行部署&a…
阅读更多...
内网渗透(五十三)之域控安全和跨域攻击-利用域信任密钥获取目标域控

内网渗透(五十三)之域控安全和跨域攻击-利用域信任密钥获取目标域控

系列文章第一章节之基础知识篇 内网渗透(一)之基础知识-内网渗透介绍和概述 内网渗透(二)之基础知识-工作组介绍 内网渗透(三)之基础知识-域环境的介绍和优点 内网渗透(四)之基础知识-搭建域环境 内网渗透(五)之基础知识-Active Directory活动目录介绍和使用 内网渗透(六)之基…
阅读更多...
前端学习日记——Vue之Vuex初识（一）

前端学习日记——Vue之Vuex初识（一）

前言 学习前端一段时间了，因为一直是做Python开发，所以凭借着语言的通性学习Javascript、Vue轻快很多，但一些碎片化的知识及插件的使用方法还是需要记录一下，时而复习，形成系统化的知识体系（PS：…
阅读更多...
【Linux线程池】

【Linux线程池】

Linux线程池Linux线程池线程池的概念线程池的优点线程池的应用场景线程池的实现Linux线程池 线程池的概念 线程池是一种线程使用模式。 线程过多会带来调度开销，进而影响缓存局部和整体性能，而线程池维护着多个线程，等待着监督管理者分配可并…
阅读更多...
JavaScript if…else 语句

JavaScript if…else 语句

条件语句用于基于不同的条件来执行不同的动作。条件语句通常在写代码时，您总是需要为不同的决定来执行不同的动作。您可以在代码中使用条件语句来完成该任务。在 JavaScript 中，我们可使用以下条件语句：if 语句 - 只有当指定条件为 true 时&a…
阅读更多...
【企业云端全栈开发实践-3】Spring Boot文件上传服务+拦截器

【企业云端全栈开发实践-3】Spring Boot文件上传服务+拦截器

本节目录一、静态资源访问二、文件上传原理三、拦截器3.1 拦截器定义代码3.2 拦截器注册一、静态资源访问 使用IDEA创建Spring Boot项目时，会默认创建classpath://static/目录，静态资源一般放在这个目录下即可。 如果默认的静态资源过滤策略不能满足开…
阅读更多...
做独立开发者，能在AppStore赚到多少钱？

做独立开发者，能在AppStore赚到多少钱？

成为一名独立开发者，不用朝九晚五的上班，开发自己感兴趣的产品，在AppStore里赚美金，这可能是很多程序员的梦想，今天就来盘一盘，这个梦想实现的概率有多少。 先来了解一些数据： 2022年5月26日&am…
阅读更多...
目标跟踪系列总结

目标跟踪系列总结

目标跟踪算法： sort算法: sort算法流程图 关联成功的检测box与追踪box处理：使用检测的box对追踪结果进行KalmanFilter权重以及参数更新，同时记录关联追踪box的计数次数； 未关联成功的box处理：对检测的box进行KalmanF…
阅读更多...
C++【内存管理】

C++【内存管理】

文章目录C内存管理一、C/C内存分布1.1.C/C内存区域划分图解：1.2.根据代码进行内存区域分析二、C内存管理方式2.1.new/delete操作内置类型2.2.new和delete操作自定义类型三、operator new与operator delete函数四、new和delete的实现原理4.1.内置类型4.2.自定义类型4…
阅读更多...
如何利用有限的数据发表更多的SCI论文？——利用ArcGIS探究环境和生态因子对水体、土壤和大气污染物的影响

如何利用有限的数据发表更多的SCI论文？——利用ArcGIS探究环境和生态因子对水体、土壤和大气污染物的影响

SCI的写作和发表是科研人提升自身实力和实现自己价值的必要途径。“如何利用有限的数据发表更多的SCI论文？”是我们需要解决的关键问题。软件应用只是过程和手段，理解事件之间的内在逻辑和寻找事物之间的内在规律才是目的。如何利用有限的数据发表更多的…
阅读更多...
互联网企业如何进行数字化转型？业务需求迭代频繁的应对之策！

互联网企业如何进行数字化转型？业务需求迭代频繁的应对之策！

互联网行业作为我国数字经济发展“四化”框架中生产力主要组成部分，是国家数字化转型的主要推动者之一。为此，相对于其他传统行业来说，互联网行业企业数字化转型的紧迫程度更高，如果不数字化转型或者转型不成功，会有更…
阅读更多...
ArcGIS制作地形分析

ArcGIS制作地形分析

ArcGIS制作地形分析的方法解析 树谷资料库资源大全（2月9日更新） 在地形变化较大的建筑、景观、城市设计项目中，高程、坡度、坡向分析是非常重要的，而在这几类分析中，ArcGIS软件可以比较方便的完成相关分析的制作。今…
阅读更多...
OAuth2.0入门

OAuth2.0入门

什么是OAuth2.0 OAuth（Open Authorization）是一个关于授权（authorization）的开放网络标准，允许用户授权第三方应用访问他们存储在另外的服务提供者上的信息，而不需要将用户名和密码提供给第三方移动应用或…
阅读更多...
HTML基础（3）

HTML基础（3）

HTML基础单选框、复选框、下拉框文本框< script >标签属性< script >基本使用单选框、复选框、下拉框 文本框 < script >标签属性 type属性定义script元素包含或src引用的脚本语言。属性值是MIME类型&#xff0c;包括text/javascript,text/ecmascript, appl…
阅读更多...
SpringBoot2零基础到项目实战-基础篇

SpringBoot2零基础到项目实战-基础篇

SSM内容01-SpringBoot工程入门案例开发步骤SpringBoot 是 Pivotal 团队提供的全新框架&#xff0c;设计目的是简化 Spring 应用的初始搭建以及开发过程。使用了 Spring 框架后已经简化了我们的开发。而 SpringBoot 又是对 Spring 开发进行简化的&#xff0c;可想而知 SpringBoo…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023