Selenium是一款开源的自动化测试工具核心优势在于能模拟真实用户操作浏览器如点击、输入、滚动并渲染动态加载的网页内容解决Requests库无法爬取JS动态数据的问题。一、Selenium入门准备环境搭建与核心原理1. 核心原理Selenium通过“浏览器驱动Driver”与浏览器通信Python代码发送操作指令→Driver解析指令→浏览器执行操作并返回渲染后的页面数据完美适配JS动态渲染的网页如Ajax加载、Vue/React前端页面。2. 环境安装1安装Selenium库12# 安装最新版Seleniumpipinstallselenium关键步骤查看浏览器版本如Chrome设置→关于Chrome查看版本号下载对应版本的驱动版本号需完全匹配如Chrome 120.x对应ChromeDriver 120.x配置驱动路径方法1将驱动文件放入Python安装目录如Python39/Scripts无需手动指定路径方法2手动指定驱动路径推荐避免版本冲突。3. 验证环境1234567891011121314# 导入Selenium核心模块fromseleniumimportwebdriverfromselenium.webdriver.chrome.serviceimportService# 手动指定ChromeDriver路径driver_pathC:/chromedriver.exe# Windows路径示例# 初始化浏览器对象driverwebdriver.Chrome(serviceService(driver_path))# 打开测试网页driver.get(https://www.baidu.com)# 打印网页标题输出“百度一下你就知道”则环境正常print(driver.title)# 关闭浏览器driver.quit()二、Selenium基础操作浏览器与页面控制1. 浏览器核心操作操作代码示例说明打开网页driver.get(https://www.xxx.com)加载目标URL刷新页面driver.refresh()模拟浏览器刷新前进/后退driver.forward() / driver.back()模拟浏览器前进/后退按钮窗口最大化driver.maximize_window()避免元素因窗口过小无法定位设置窗口大小driver.set_window_size(1920, 1080)自定义窗口分辨率获取当前URLdriver.current_url查看当前页面URL验证跳转是否成功获取页面源码driver.page_source获取渲染后的完整HTML源码含JS动态内容2. 等待机制解决元素加载延迟问题网页动态加载时直接定位元素会因“元素未加载完成”报错Selenium提供3种等待方式1强制等待不推荐123importtime# 强制等待3秒无论元素是否加载完成time.sleep(3)2隐式等待全局生效12# 设置隐式等待最长等待10秒元素加载完成则立即执行driver.implicitly_wait(10)3显式等待推荐精准控制针对指定元素设置等待条件如元素可点击、可见超时则抛出异常123456789fromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditions as ECfromselenium.webdriver.common.byimportBy# 等待“百度搜索框”可见最长等待10秒waitWebDriverWait(driver,10)search_boxwait.until(EC.visibility_of_element_located((By.ID,kw)))常用等待条件EC.visibility_of_element_located元素可见EC.element_to_be_clickable元素可点击EC.presence_of_element_located元素存在于DOM中EC.text_to_be_present_in_element元素包含指定文本。三、核心技能元素定位爬取/操作的关键元素定位是Selenium的核心需根据网页结构选择最优定位方式优先选择唯一标识ID、Name其次选择XPath/CSS选择器。1. 8种定位方式按优先级排序定位方式代码示例适用场景ID定位driver.find_element(By.ID, kw)元素有唯一ID如百度搜索框id“kw”Name定位driver.find_element(By.NAME, wd)元素有唯一Name属性Class定位driver.find_element(By.CLASS_NAME, s_ipt)元素Class属性唯一Tag定位driver.find_element(By.TAG_NAME, input)标签唯一如页面唯一的input框Link文本定位driver.find_element(By.LINK_TEXT, 新闻)精准匹配超链接文本部分Link文本driver.find_element(By.PARTIAL_LINK_TEXT, 新)模糊匹配超链接文本XPath定位driver.find_element(By.XPATH, //*[idkw])无唯一属性时万能定位方式CSS选择器driver.find_element(By.CSS_SELECTOR, #kw)定位效率高于XPath推荐使用2. 实战XPath/CSS选择器高级用法1XPath定位万能且灵活12345678# 绝对路径不推荐页面结构变化易失效driver.find_element(By.XPATH,/html/body/div[1]/div[2]/input)# 相对路径属性推荐driver.find_element(By.XPATH,//input[idkw])# 包含文本的元素driver.find_element(By.XPATH,//a[contains(text(), 百度首页)])# 父节点定位子节点driver.find_element(By.XPATH,//div[classs_form]/input)2CSS选择器效率更高12345678# ID选择器driver.find_element(By.CSS_SELECTOR,#kw)# Class选择器driver.find_element(By.CSS_SELECTOR,.s_ipt)# 属性选择器driver.find_element(By.CSS_SELECTOR,input[namewd])# 层级选择器driver.find_element(By.CSS_SELECTOR,div.s_form input)3. 批量定位元素使用find_elements()复数形式获取多个元素返回列表1234# 获取页面所有超链接linksdriver.find_elements(By.TAG_NAME,a)forlinkinlinks:print(link.get_attribute(href))# 打印链接地址四、模拟用户操作输入、点击、滚动等1. 输入与清空12345# 定位搜索框并输入内容search_boxdriver.find_element(By.ID,kw)search_box.send_keys(Selenium教程)# 输入文本search_box.clear()# 清空输入框search_box.send_keys(Python爬虫)# 重新输入2. 点击操作123456# 点击搜索按钮search_btndriver.find_element(By.ID,su)search_btn.click()# 模拟回车键替代点击按钮search_box.send_keys(Keys.ENTER)3. 滚动页面1234567891011fromselenium.webdriver.common.keysimportKeys# 方式1模拟键盘向下滚动PageDowndriver.find_element(By.TAG_NAME,body).send_keys(Keys.PAGE_DOWN)# 方式2JS脚本滚动精准控制# 滚动到页面底部driver.execute_script(window.scrollTo(0, document.body.scrollHeight);)# 滚动到指定元素位置targetdriver.find_element(By.ID,target_id)driver.execute_script(arguments[0].scrollIntoView();, target)4. 处理弹窗1alert弹窗系统弹窗12345678# 等待弹窗出现alertWebDriverWait(driver,10).until(EC.alert_is_present())# 获取弹窗文本print(alert.text)# 确认弹窗alert.accept()# 取消弹窗仅confirm弹窗可用# alert.dismiss()2iframe框架嵌套页面需先切换到iframe才能定位内部元素1234567891011# 方式1通过ID切换driver.switch_to.frame(iframe_id)# 方式2通过元素定位切换iframedriver.find_element(By.XPATH,//iframe[nameiframe_name])driver.switch_to.frame(iframe)# 操作iframe内元素driver.find_element(By.ID,inner_btn).click()# 切回主页面driver.switch_to.default_content()5. 处理下拉框123456789101112131415fromselenium.webdriver.support.uiimportSelect# 定位下拉框selectSelect(driver.find_element(By.ID,select_id))# 方式1按索引选择从0开始select.select_by_index(1)# 方式2按值选择option的value属性select.select_by_value(option_value)# 方式3按文本选择select.select_by_visible_text(选项文本)# 获取所有选项optionsselect.optionsforoptioninoptions:print(option.text)五、进阶技巧反爬规避与效率优化1. 配置无界面模式后台运行1234567891011121314fromselenium.webdriver.chrome.optionsimportOptions# 创建Chrome配置对象chrome_optionsOptions()# 开启无界面模式chrome_options.add_argument(--headlessnew)# 禁用GPU避免无界面模式报错chrome_options.add_argument(--disable-gpu)# 初始化浏览器带配置driverwebdriver.Chrome(serviceService(driver_path),optionschrome_options)2. 规避浏览器指纹检测123456789# 禁用自动化提示去除“Chrome正受到自动测试软件控制”chrome_options.add_experimental_option(excludeSwitches, [enable-automation])chrome_options.add_experimental_option(useAutomationExtension,False)# 禁用Blink运行时功能chrome_options.add_argument(--disable-blink-featuresAutomationControlled)# 设置用户代理UAchrome_options.add_argument(user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36)# 移除webdriver属性关键反爬driver.execute_script(Object.defineProperty(navigator, webdriver, {get: () undefined}))3. 多标签页/窗口操作12345678910# 打开新标签页driver.execute_script(window.open(https://www.taobao.com))# 获取所有标签页句柄windowsdriver.window_handles# 切换到第二个标签页driver.switch_to.window(windows[1])# 关闭当前标签页driver.close()# 切回第一个标签页driver.switch_to.window(windows[0])4. 截图与日志12345678910# 页面全屏截图driver.save_screenshot(page.png)# 元素截图elementdriver.find_element(By.ID,kw)element.screenshot(element.png)# 查看浏览器日志排查错误logsdriver.get_log(browser)forloginlogs:print(log)六、实战案例爬取JS动态加载的商品数据以某电商平台商品列表为例JS动态加载爬取商品名称、价格、销量12345678910111213141516171819202122232425262728293031323334353637383940414243fromseleniumimportwebdriverfromselenium.webdriver.chrome.serviceimportServicefromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditions as ECimporttime# 配置驱动路径driver_pathC:/chromedriver.exe# 初始化浏览器driverwebdriver.Chrome(serviceService(driver_path))driver.maximize_window()driver.implicitly_wait(10)try:# 打开商品列表页driver.get(https://xxx.com/goods-list)# 滚动页面加载更多商品模拟翻页foriinrange(3):# 滚动3次# 滚动到页面底部driver.execute_script(window.scrollTo(0, document.body.scrollHeight);)time.sleep(2)# 等待数据加载# 定位所有商品元素goods_listWebDriverWait(driver,10).until(EC.presence_of_all_elements_located((By.CLASS_NAME,goods-item)))# 解析商品信息forgoodsingoods_list:# 商品名称namegoods.find_element(By.CLASS_NAME,goods-name).text# 商品价格pricegoods.find_element(By.CLASS_NAME,goods-price).text# 商品销量salesgoods.find_element(By.CLASS_NAME,goods-sales).textprint(f名称{name}价格{price}销量{sales})finally:# 关闭浏览器driver.quit()七、常见问题与避坑指南驱动版本不匹配报错“SessionNotCreatedException”需下载与浏览器版本完全一致的驱动元素定位失败检查元素是否在iframe内需先切换iframe检查元素是否动态加载用显式等待替代强制等待避免使用绝对XPath页面结构变化易失效反爬检测被网站识别为爬虫时添加UA、禁用自动化提示、随机滚动/点击间隔内存泄漏务必用driver.quit()关闭浏览器而非driver.close()避免进程残留中文乱码爬取的文本乱码时添加编码设置driver.execute_script(document.charsetutf-8)。