写论文的时候最烦什么不是写内容是找文献和整理文献。相信每个研究生都有过这样的经历打开十几个浏览器标签页一篇一篇复制论文标题、作者、期刊、发表时间、摘要然后粘贴到Excel里一不小心还会复制错格式或者漏掉重要信息。等整理完几十篇文献半天时间就没了眼睛也花了手也酸了。我上周就遇到了这个问题导师让我写一篇关于工业视觉在制造业应用的综述需要至少100篇中英文文献。一开始我老老实实地手动整理整理了20篇就崩溃了。这哪是搞科研这是纯体力劳动啊。作为一个写了十年代码的老程序员我怎么能忍受这种低效的工作方式于是我花了一个晚上写了一个Python爬虫自动爬取论文信息并生成标准化的文献管理表。现在我把这个过程分享出来希望能帮到同样被文献整理折磨的同学们。整体流程设计先给大家看一下整个爬虫的工作流程这样大家心里有个底。是否是否输入关键词/期刊名构造搜索URL发送HTTP请求获取页面是否需要处理反爬?添加请求头/使用代理/延迟请求解析HTML提取论文信息是否有下一页?获取下一页URL数据清洗与格式化生成Excel文献管理表可选:自动下载PDF这个流程很清晰从输入关键词到最终生成Excel表全程自动化。我会一步步拆解每个环节重点讲我遇到的坑和解决方案。技术选型我没有用什么复杂的框架就用了最基础也最实用的几个库requests发送HTTP请求获取网页内容BeautifulSoup4解析HTML提取论文信息pandas数据处理和生成Excel文件selenium处理动态加载的页面有些网站用JavaScript渲染fake_useragent生成随机User-Agent绕过简单的反爬time添加请求延迟避免被封IP这些库都是Python爬虫的标配安装也很简单一条pip命令就能搞定。目标网站分析我主要爬取了三个网站中国知网CNKI、IEEE Xplore和ScienceDirect。这三个网站基本覆盖了大部分中英文文献。每个网站的结构都不一样需要分别分析。我先从最简单的IEEE Xplore开始讲因为它的反爬措施相对宽松HTML结构也比较清晰。IEEE Xplore分析IEEE Xplore的搜索URL格式很规范https://ieeexplore.ieee.org/search/searchresult.jsp?newsearchtruequeryText关键词pageNumber页码比如搜索industrial vision第一页的URL就是https://ieeexplore.ieee.org/search/searchresult.jsp?newsearchtruequeryTextindustrial%20visionpageNumber1每篇论文的信息都在一个class为List-results-items的div标签里。我们需要提取的信息包括论文标题作者列表期刊/会议名称发表年份摘要论文链接DOI号我写了一个简单的函数来提取这些信息defextract_ieee_paper_info(paper_div):paper_info{}# 提取标题title_tagpaper_div.find(h3,class_text-md-md-lh)iftitle_tag:paper_info[title]title_tag.get_text(stripTrue)link_tagtitle_tag.find(a)iflink_tag:paper_info[link]https://ieeexplore.ieee.orglink_tag[href]# 从链接中提取DOIdoi_partlink_tag[href].split(/)[-2:]paper_info[doi]/.join(doi_part)# 提取作者authors_tagpaper_div.find(div,class_authors)ifauthors_tag:authors[author.get_text(stripTrue)forauthorinauthors_tag.find_all(span)]paper_info[authors], .join(authors)# 提取期刊和年份pub_info_tagpaper_div.find(div,class_publisher-info-container)ifpub_info_tag:pub_textpub_info_tag.get_text(stripTrue)# 提取年份importre year_matchre.search(r\b(20\d{2}|19\d{2})\b,pub_text)ifyear_match:paper_info[year]year_match.group(1)# 提取期刊名journal_matchre.search(r\| (.*?) \|,pub_text)ifjournal_match:paper_info[journal]journal_match.group(1)# 提取摘要abstract_tagpaper_div.find(div,class_abstract-text)ifabstract_tag:paper_info[abstract]abstract_tag.get_text(stripTrue)returnpaper_info这个函数看起来简单但我调试了半个多小时。因为IEEE的HTML结构经常会有一些小变化比如class名称可能会多一个空格或者某些标签的嵌套方式会改变。我一开始用了太具体的选择器结果一运行就报错。后来我改成了更通用的选择器并且加了很多if判断确保即使某个字段提取失败整个程序也不会崩溃。中国知网CNKI分析知网就麻烦多了。首先它的反爬措施非常严格直接用requests请求会返回403错误。其次它的页面是动态加载的很多内容都是通过JavaScript渲染的。最后它的HTML结构非常混乱到处都是嵌套的div和table提取信息非常困难。我一开始尝试用requests直接请求结果不管怎么改请求头都返回403。后来我查了一下发现知网会检查请求的Cookie和Referer而且还会验证User-Agent。更坑的是知网的Cookie是动态生成的每次访问都会变化。没办法我只能用selenium来模拟浏览器访问。这样虽然速度慢一点但至少能绕过大部分反爬措施。fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptionsfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasEC# 配置Chrome选项chrome_optionsOptions()chrome_options.add_argument(--headless)# 无头模式不显示浏览器窗口chrome_options.add_argument(--disable-gpu)chrome_options.add_argument(--no-sandbox)chrome_options.add_argument(fuser-agent{UserAgent().random})# 启动浏览器driverwebdriver.Chrome(optionschrome_options)# 访问知网搜索页面driver.get(https://kns.cnki.net/kns8s/defaultresult/index)# 等待搜索框加载完成search_boxWebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,txt_search)))# 输入关键词并搜索search_box.send_keys(工业视觉)search_buttondriver.find_element(By.ID,btn_search)search_button.click()# 等待搜索结果加载完成WebDriverWait(driver,10).until(EC.presence_of_element_located((By.CLASS_NAME,result-table-list)))用selenium打开页面后提取信息就相对简单了。知网的搜索结果是一个table每一行对应一篇论文。我们可以通过XPath来提取每一行的信息。这里有个坑知网的表格里有很多空列和隐藏列而且有些字段的位置会变化。比如有些论文有基金字段有些没有这就导致作者、期刊、年份等字段的列索引不固定。我一开始用了固定的列索引结果提取出来的信息全乱了。后来我改成了先获取表头然后根据表头的文字来确定每个字段的列索引这样就稳定多了。# 获取表头headers[]header_cellsdriver.find_elements(By.XPATH,//table[classresult-table-list]/thead/tr/th)forcellinheader_cells:headers.append(cell.text.strip())# 获取所有论文行paper_rowsdriver.find_elements(By.XPATH,//table[classresult-table-list]/tbody/tr)# 提取每篇论文的信息papers[]forrowinpaper_rows:paper_info{}cellsrow.find_elements(By.TAG_NAME,td)fori,headerinenumerate(headers):ifilen(cells):continuecell_textcells[i].text.strip()ifheader题名:paper_info[title]cell_text# 提取链接link_tagcells[i].find_element(By.TAG_NAME,a)paper_info[link]link_tag.get_attribute(href)elifheader作者:paper_info[authors]cell_textelifheader来源:paper_info[journal]cell_textelifheader发表时间:paper_info[year]cell_text.split(-)[0]elifheader摘要:paper_info[abstract]cell_textelifheaderDOI:paper_info[doi]cell_text papers.append(paper_info)反爬处理爬取学术网站最头疼的就是反爬。这些网站都不希望被爬虫大量访问因为会占用他们的服务器资源。我在爬取过程中遇到了各种反爬措施也总结了一些应对方法。请求头伪装这是最基本的反爬措施。网站会检查请求的User-Agent如果发现是爬虫的User-Agent就会拒绝访问。我们可以用fake_useragent库来生成随机的User-Agent模拟不同的浏览器。fromfake_useragentimportUserAgent headers{User-Agent:UserAgent().random,Accept:text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8,Accept-Language:zh-CN,zh;q0.8,zh-TW;q0.7,zh-HK;q0.5,en-US;q0.3,en;q0.2,Accept-Encoding:gzip, deflate,Connection:keep-alive,Upgrade-Insecure-Requests:1,}请求延迟如果我们的爬虫请求速度太快网站很容易检测到异常。我们可以在每次请求之间添加一个随机的延迟模拟人类的浏览行为。importtimeimportrandom# 每次请求延迟1-3秒time.sleep(random.uniform(1,3))我一开始用了0.5秒的延迟结果爬了不到10页就被知网封了IP两个小时后才解封。后来我改成了1-3秒的随机延迟就再也没被封过。使用代理IP如果你的爬虫需要爬取大量数据或者需要频繁访问某个网站最好使用代理IP。这样即使某个IP被封了你还可以切换到其他IP继续爬取。我用的是免费的代理IP池虽然稳定性差一点但对于个人使用来说足够了。你也可以购买付费的代理IP服务稳定性会好很多。importrequests# 获取代理IPdefget_proxy():try:responserequests.get(http://localhost:5010/get/)ifresponse.status_code200:proxyresponse.json()return{http:fhttp://{proxy[proxy]},https:fhttp://{proxy[proxy]}}except:returnNone# 使用代理发送请求proxyget_proxy()ifproxy:responserequests.get(url,headersheaders,proxiesproxy,timeout10)else:responserequests.get(url,headersheaders,timeout10)处理验证码有些网站在检测到异常访问时会弹出验证码。这时候我们就需要处理验证码了。对于简单的数字字母验证码我们可以用pytesseract库来识别。对于复杂的验证码比如滑动验证码、点选验证码就需要用更复杂的方法比如机器学习或者打码平台。我在爬取知网的时候遇到过一次验证码后来我增加了请求延迟就再也没遇到过了。所以最好的处理验证码的方法就是避免触发验证码。数据清洗与格式化爬取到的原始数据往往有很多问题比如标题前后有多余的空格和换行作者列表格式不统一摘要里有多余的空白字符有些字段缺失我们需要对这些数据进行清洗和格式化确保生成的Excel表整洁规范。importpandasaspd# 将数据转换为DataFramedfpd.DataFrame(papers)# 去除所有字段前后的空格和换行dfdf.applymap(lambdax:x.strip()ifisinstance(x,str)elsex)# 处理缺失值df[authors]df[authors].fillna(未知作者)df[journal]df[journal].fillna(未知期刊)df[year]df[year].fillna(未知年份)df[abstract]df[abstract].fillna(无摘要)df[doi]df[doi].fillna(无DOI)# 统一作者列表格式df[authors]df[authors].str.replace(;,, )# 按发表年份降序排序df[year]pd.to_numeric(df[year],errorscoerce)dfdf.sort_values(byyear,ascendingFalse)# 重置索引dfdf.reset_index(dropTrue)生成文献管理表数据清洗完成后我们就可以生成Excel文献管理表了。我用pandas的to_excel方法来生成Excel文件并且设置了一些格式让表格看起来更美观。# 创建ExcelWriter对象writerpd.ExcelWriter(文献管理表.xlsx,engineopenpyxl)# 将DataFrame写入Exceldf.to_excel(writer,sheet_name文献列表,indexFalse)# 获取工作表workbookwriter.book worksheetwriter.sheets[文献列表]# 设置列宽column_widths{A:50,# 标题B:40,# 作者C:30,# 期刊D:10,# 年份E:100,# 摘要F:50,# 链接G:30# DOI}forcolumn,widthincolumn_widths.items():worksheet.column_dimensions[column].widthwidth# 设置自动换行fromopenpyxl.stylesimportAlignmentforrowinworksheet.iter_rows():forcellinrow:cell.alignmentAlignment(wrap_textTrue,verticaltop)# 保存文件writer.close()生成的Excel表包含了我们需要的所有字段而且格式整齐直接就可以用来写论文了。我还在表格里加了一个阅读状态列和一个笔记列方便我后续管理文献。进阶功能自动下载PDF既然都写了爬虫不如再进一步自动下载论文的PDF文件。这样就不用一篇一篇手动下载了。IEEE Xplore的PDF下载链接很有规律就是在论文链接后面加上/pdf。比如论文链接https://ieeexplore.ieee.org/document/12345678 PDF链接https://ieeexplore.ieee.org/document/12345678/pdf知网的PDF下载链接就复杂多了需要从论文详情页提取。而且知网的PDF下载需要登录账号所以我们需要先在selenium里登录知网然后再下载。我写了一个简单的函数来下载PDFdefdownload_pdf(pdf_url,save_path,headersNone):try:responserequests.get(pdf_url,headersheaders,streamTrue)ifresponse.status_code200:withopen(save_path,wb)asf:forchunkinresponse.iter_content(chunk_size1024):ifchunk:f.write(chunk)print(f下载成功{save_path})returnTrueelse:print(f下载失败状态码{response.status_code})returnFalseexceptExceptionase:print(f下载出错{e})returnFalse这里有个注意事项下载PDF的时候一定要用streamTrue这样可以边下载边写入文件避免占用太多内存。踩坑记录整个开发过程中我踩了无数的坑这里挑几个印象最深的讲一下。第一个坑是知网的反爬。我一开始用requests直接请求结果怎么都返回403。我改了请求头加了Cookie甚至用了代理都没用。后来才发现知网会检查请求的TLS指纹requests的TLS指纹和真实浏览器的不一样所以会被识别出来。没办法我只能改用selenium。第二个坑是动态加载的内容。有些网站的搜索结果不是一次性加载完的而是当你滚动到页面底部时才会加载下一页的内容。这时候用requests就只能获取到第一页的内容。我一开始不知道爬了半天只爬了20篇论文还以为是我的代码有问题。后来我用浏览器的开发者工具看了一下网络请求才发现是动态加载的。解决方法是用selenium模拟滚动页面或者找到AJAX请求的URL直接请求。第三个坑是编码问题。有些网站的页面编码不是UTF-8而是GBK或者GB2312。如果我们直接用response.text来获取页面内容就会出现乱码。解决方法是先检查response.encoding如果不是UTF-8就手动设置正确的编码。responserequests.get(url,headersheaders)ifresponse.encodingISO-8859-1:response.encodingresponse.apparent_encoding htmlresponse.text第四个坑是网站结构变化。我写好爬虫的第二天IEEE Xplore就更新了他们的网站class名称全变了我的爬虫直接就不能用了。我只能重新分析HTML结构修改代码。这也是为什么我在代码里加了很多if判断就是为了应对网站结构的小变化。写在最后这个爬虫虽然功能简单但确实帮了我大忙。原来需要半天时间的工作现在几分钟就搞定了。我用它爬了150多篇中英文文献生成了一个完整的文献管理表大大提高了我的工作效率。当然这个爬虫还有很多可以改进的地方。比如可以增加多线程爬取提高爬取速度可以增加更多的网站支持比如万方、SpringerLink等可以增加自动生成参考文献格式的功能支持GB/T 7714、APA、MLA等多种格式。不过对于我目前的需求来说这个爬虫已经足够用了。如果你有类似的需求可以参考我的代码根据自己的需要进行修改。需要提醒大家的是爬虫只是一个工具我们要合理使用它。不要爬取敏感信息不要对网站造成过大的压力。爬取学术文献的时候最好控制好请求速度避免被封IP。最后祝大家都能顺利完成自己的论文