大连指令数据集的创建--数据收集与预处理_02

news2025/5/12 23:42:30

1.去哪儿爬虫

  • 编程语言：Python
  • 爬虫框架：Selenium（用于浏览器自动化）
  • 解析库：BeautifulSoup（用于解析HTML）

2.爬虫策略

  • 目标网站：去哪儿（https://travel.qunar.com/travelbook/list.htm?order=hot_heat）
  • 目标数据：大连的旅游攻略
  • 流程概述：
    1. 打开去哪儿旅游攻略并进行搜索。
    2. 提取搜索结果页面中旅游攻略的链接。
    3. 分别访问每个旅游攻略页面，提取内容并按照json格式保存到本地文件。

3.获取旅游攻略链接

3.1导入库

import re
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup

3.2配置文件路径和ChromeDriver路径，根据自己的Chrome的chromedriver.exe的路径配置ChromeDriver路径，根据自己存放链接的位置配置文件路径

# 配置文件路径和ChromeDriver路径
file_path = 'D:\\Pycharm\\space\\Qunaer\\去哪儿大连链接.txt'//根据实际位置设置路径
chrome_driver_path = "D:\\chromedriver\\chromedriver.exe"//根据实际位置设置路径

3.3初始化Selenium WebDriver

s = Service(chrome_driver_path)
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(service=s, options=options)

3.4获取去哪儿大连的攻略链接，并存储在txt文档中。

# 打开去哪儿攻略页面
driver.get("https://travel.qunar.com/travelbook/list.htm?order=hot_heat")

wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.XPATH, '/html/body/div[3]/div/div[2]/div[1]/div[1]/input[1]')))

start_input = driver.find_element(By.XPATH, '/html/body/div[3]/div/div[2]/div[1]/div[1]/input[1]')
start_input.send_keys('大连')
time.sleep(1)
start_input = driver.find_element(By.CLASS_NAME, 'sub_btn')
start_input.click()
time.sleep(3)
soup = BeautifulSoup(driver.page_source, 'html.parser')
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'b_paging')))
paging_div = soup.find('div', class_='b_paging')
max_page = 0
if paging_div.text or paging_div.find_elements(By.TAG_NAME, 'a'):
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    max_page = 0
    for a_tag in paging_div.find_all('a'):
        if 'data-beacon' in a_tag.attrs and a_tag['data-beacon'] == 'click_result_page':
            href = a_tag['href']
            page_number = int(href.split('/')[-1].split('.')[0])
            max_page = max(max_page, page_number)
    print(f"Maximum page number: {max_page} {href}")
    pattern = re.compile(r'(\d+)\.htm$')
    href = pattern.sub('', href)

    for i in range(max_page):
        link = "https:" + href + str(i+1) + ".htm"
        time.sleep(1)
        driver.get(link)
        soup = BeautifulSoup(driver.page_source, 'html.parser')
        wait = WebDriverWait(driver, 10)
        wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'list_item')))
        list_items = soup.find_all('li', {'class': 'list_item'})

        for item in list_items:
            data_url = item.get('data-url')
            if data_url:
                with open(file_path, 'a', encoding='utf-8') as file:
                    file.write(data_url + '\n')
            else:
                print(f"No data-url found for this <li> element.")
        else:
            print("No <ul> element with class b_strategy_list found.")
else:
    print("The b_paging div is empty or doesn't contain any anchor tags.")

3.5运行结果：

4.获取并处理旅游攻略内容

4.1导入库

import json
import time
from datetime import datetime
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common import TimeoutException
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

4.2一个字典和三个函数的定义

先上代码，再分析定义函数的功能和作用。

chinese_months = {
    1: '一月',
    2: '二月',
    3: '三月',
    4: '四月',
    5: '五月',
    6: '六月',
    7: '七月',
    8: '八月',
    9: '九月',
    10: '十月',
    11: '十一月',
    12: '十二月'
}


def remove_after_comment(text):
    index = text.find("【备注】")
    if index != -1:
        return text[:index]
    else:
        return text

def get_season(month):
    if 3 <= month <= 5:
        return '春天'
    elif 6 <= month <= 8:
        return '夏天'
    elif 9 <= month <= 11:
        return '秋天'
    else:
        return '冬天'

def change(text):
    if '/' in text:
        try:
            date_obj = datetime.strptime(text, '%Y/%m/%d')
            month_name = chinese_months[date_obj.month]
            season = get_season(date_obj.month)
            result_list.append(f'{month_name}')
            result_list.append(f'{season}')
        except ValueError:
            pass
    elif text.isdigit():
        if int(text) < 99:
            result_list.append(f'{text}天')
        else:
            result_list.append(f'{text}元')
    else:
        if text not in result_list:
            result_list.append(text)

以下是对这四个函数的详细解释和分析

 1. `chinese_months` 字典
功能：将公历月份（数字1-12）映射为中文月份名称。
作用：提供标准化的月份翻译，符合中文习惯。

2. `remove_after_comment` 函数
功能：删除文本中“【备注】”及其后的内容。
作用：清理数据中的注释信息，保留主文本。

3. `get_season` 函数
功能：根据月份返回对应季节。
作用：将月份映射为中文季节名称，符合中国常见的气象季节划分（3-5月为春，6-8月为夏等）。但需注意，中国幅员辽阔，实际季节可能因地而异，此处为通用逻辑。

 4. `change` 函数
功能：多条件文本转换器，处理日期、数字和其他文本。
作用：
（1）日期处理：识别形如 `YYYY/MM/DD` 的日期，提取中文月份和季节（依赖 `chinese_months` 和 `get_season`）。例如，输入 `"2025/02/25"` → 输出 `["二月", "冬天"]`。
（2）数字处理：
     - 小于99的数字添加“天”（如 `30` → `"30天"`，表示天数）。
     - 大于等于99的数字添加“元”（如 `100` → `"100元"`，表示金额）。
（3）其他文本：直接保留唯一值（去重）。

4.3配置文件路径和ChromeDriver路径，根据自己的Chrome的chromedriver.exe的路径配置ChromeDriver路径，根据自己存放链接的位置配置文件路径。

# 配置文件路径和ChromeDriver路径
file_path = 'D:\\Pycharm\\space\\Qunaer\\去哪儿大连链接.txt'  # 保存内容的文件路径
chrome_driver_path = "D:\\chromedriver\\chromedriver.exe"  # ChromeDriver路径

4.4初始化Selenium WebDriver

s = Service(chrome_driver_path)
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(service=s, options=options)

4.5打开3.5中生成的“去哪儿大连链接.txt”文件，获取链接，进一步处理，爬取大连旅游攻略内容。

with open(file_path, 'r') as file:
    for line in file:
        result_list = []
        line = line.strip()
        last_part = line.rsplit('/', 1)[-1]

        print(last_part)
        time.sleep(1)
        driver.get("https://travel.qunar.com/travelbook/note/" + last_part)
        driver.maximize_window()
        try:
            wait = WebDriverWait(driver, 10)
            wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'foreword_list')))
        except TimeoutException:
            continue

        soup = BeautifulSoup(driver.page_source, 'html.parser')
        ul = soup.find('ul', {'class': 'foreword_list'})
        print(ul)
        soup1 = BeautifulSoup(str(ul), 'html.parser')
        data_elements = soup1.find_all('span', {'class': 'data'})
        for data_element in data_elements:
            for text in data_element.stripped_strings:
                change(text)

        inputxt = ''
        for r in result_list:
            inputxt += '#'
            inputxt += str(r)
        text_element = soup.find('div', class_='e_main')
        text_content = text_element.get_text(strip=True, separator='\n')

        data = {
            'instruction': inputxt,
            'summary': '',
            'output': remove_after_comment(text_content)
        }

        with open('D:\\Pycharm\\space\\Qunaer\\去哪儿大连.json', 'a', encoding='utf-8') as file:
            json.dump(data, file, ensure_ascii=False, indent=4)
            file.write('\n')

    time.sleep(3)
    driver.quit()

4.6运行结果

4.7工程文件夹，有两个python文件，一个是3中的获取旅游攻略链接，一个是4中的获取并处理旅游攻略内容

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2306574.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

STM32MP157A-FSMP1A单片机移植Linux系统SPI总线驱动

STM32MP157A-FSMP1A单片机移植Linux系统SPI总线驱动

SPI总线驱动整体上与I2C总线驱动类型&#xff0c;差别主要在设备树和数据传输上&#xff0c;由于SPI是由4根线实现主从机的通信&#xff0c;在设备树上配置时需要对SPI进行设置。 原理图可知&#xff0c;数码管使用的SPI4对应了单片机上的PE11-->SPI4-NSS,PE12-->SPI4-S…
阅读更多...
java医院多维度综合绩效考核源码，医院绩效管理系统，支持一键核算和批量操作，设有审核机制，允许数据修正

java医院多维度综合绩效考核源码，医院绩效管理系统，支持一键核算和批量操作，设有审核机制，允许数据修正

医院绩效考核管理系统&#xff0c;java医院绩效核算系统源码&#xff0c;采用多维度综合绩效考核的形式&#xff0c;针对院内实际情况分别对工作量、KPI指标、科研、教学、管理等进行全面考核。医院可结合实际需求&#xff0c;对考核方案中各维度进行灵活配置&#xff0c;对各维…
阅读更多...
C语言学习笔记-初阶（13）scanf介绍

C语言学习笔记-初阶（13）scanf介绍

当我们有了变量&#xff0c;我们需要给变量输入值就可以使用 scanf 函数&#xff0c;如果需要将变量的值输出在屏幕上的时候可以使用 printf 函数&#xff0c;下面看⼀个例子&#xff1a; #include <stdio.h> int main() {int score 0;printf("请输⼊成绩:")…
阅读更多...
如何让传统制造企业从0到1实现数字化突破？

如何让传统制造企业从0到1实现数字化突破？

随着全球制造业不断向智能化、数字化转型&#xff0c;传统制造企业面临着前所未有的机遇与挑战。数字化转型不仅是技术的革新&#xff0c;更是管理、文化、业务流程等全方位的变革。从零开始&#xff0c;如何带领一家传统制造企业走向数字化突破&#xff0c;是许多企业领导者面…
阅读更多...
【HarmonyOS Next】鸿蒙应用公钥和证书MD5指纹的获取

【HarmonyOS Next】鸿蒙应用公钥和证书MD5指纹的获取

【HarmonyOS Next】鸿蒙应用公钥和证书MD5指纹的获取 一、问题背景 政府的icp备案时&#xff0c;或者某些三方SDK以来的管理后台&#xff0c;都需要配置鸿蒙应用的公钥和证书MD5指纹 二、解决方案 专有名词解释&#xff1a; 华为AppGallery Connect简称 AGC平台&#xff0…
阅读更多...
【原创工具】同文件夹PDF文件合并 By怜渠客

【原创工具】同文件夹PDF文件合并 By怜渠客

【原创工具】同文件夹PDF文件合并 By怜渠客 原贴&#xff1a;可批量合并多个文件夹内的pdf工具 - 吾爱破解 - 52pojie.cn 他这个存在一些问题&#xff0c;并非是软件内自主实现的PDF合并&#xff0c;而是调用的pdftk这一工具&#xff0c;但楼主并没有提供pdftk&#xff0c;而…
阅读更多...
【红队利器】单文件一键结束火绒6.0

【红队利器】单文件一键结束火绒6.0

关于我们 4SecNet 团队专注于网络安全攻防研究&#xff0c;目前团队成员分布在国内多家顶级安全厂商的核心部门&#xff0c;包括安全研究领域、攻防实验室等&#xff0c;汇聚了行业内的顶尖技术力量。团队在病毒木马逆向分析、APT 追踪、破解技术、漏洞分析、红队工具开发等多个…
阅读更多...
Linux中文件目录类指令

Linux中文件目录类指令

1、pwd指令 基本语法&#xff1a;pwd 功能&#xff1a;显示当前工作目录的绝对路径 1.相对路径访问和绝对路径访问 当前处于home目录下&#xff0c;访问a.txt文件 相对路径访问&#xff1a;kim/better/a.txt&#xff0c;从当前位置开始定位 绝对路径访问&#xff1a;/home…
阅读更多...
开源模型应用落地-LangChain实用小技巧-获取token消耗（五）

开源模型应用落地-LangChain实用小技巧-获取token消耗（五）

一、前言 在当今的自然语言处理领域&#xff0c;LangChain 框架因其强大的功能和灵活性而备受关注。掌握一些实用的小技巧&#xff0c;能够让您在使用 LangChain 框架时更加得心应手&#xff0c;从而更高效地开发出优质的自然语言处理应用。 计算 Token 消耗对有效管理和优化语…
阅读更多...
LangChain大模型应用开发：LangGraph快速构建Agent工作流应用

LangChain大模型应用开发：LangGraph快速构建Agent工作流应用

介绍 大家好&#xff0c;博主又来给大家分享知识了。今天给大家分享的内容是使用LangChain进行大规模应用开发中的LangGraph快速构建Agent工作流应用。 通过对前几次对LangChain的技术分享。我们知道LangChain作为一个强大的工具集&#xff0c;为开发者们提供了丰富的资源和便…
阅读更多...
鸿蒙Next-方法装饰器以及防抖方法注解实现

鸿蒙Next-方法装饰器以及防抖方法注解实现

以下是关于 鸿蒙Next&#xff08;HarmonyOS NEXT&#xff09;中 MethodDecorator 的详细介绍及使用指南&#xff0c;结合了多个技术来源的实践总结&#xff1a; 一、MethodDecorator 的概念与作用 MethodDecorator 是鸿蒙Next框架中用于装饰类方法的装饰器&#xff0c;属于 Ark…
阅读更多...
计算机网络：应用层 —— 电子邮件

计算机网络：应用层 —— 电子邮件

文章目录 电子邮件的起源与发展电子邮件的组成电子邮件协议邮件发送和接收过程邮件发送协议SMTP协议多用途因特网邮件扩展MIME 电子邮件的信息格式 邮件读取协议邮局协议POP因特网邮件访问协议IMAP 基于万维网的电子邮件 电子邮件&#xff08;E-mail&#xff09;是因特网上最早…
阅读更多...
zyNo.26

zyNo.26

[GXYCTF2019]Ping Ping Ping&#xff08;Web&#xff09; 传/&#xff1f;ip1有ping回显&#xff0c;说明后端可能通过php参数接受了ip参数&#xff0c;并且拼接到了最终执行的命令里形成了ping -c 3$ip&#xff0c;这样可能存在一个命令注入漏洞 要判断是否符合 ping -c 3$ip …
阅读更多...
ui设计公司兰亭妙微分享：科研单位UI界面设计

ui设计公司兰亭妙微分享：科研单位UI界面设计

科研单位的UI界面设计是一项至关重要的任务&#xff0c;它不仅关乎科研工作的效率&#xff0c;还直接影响到科研人员的用户体验。以下是对科研单位UI界面设计的详细分析&#xff1a; 一、设计目标 科研单位的UI界面设计旨在提升科研工作的效率与便捷性&#xff0c;同时确保科…
阅读更多...
OpenGL ES -＞ GLSurfaceView绘制点、线、三角形、正方形、圆(顶点法绘制)

OpenGL ES -＞ GLSurfaceView绘制点、线、三角形、正方形、圆(顶点法绘制)

XML文件 <?xml version"1.0" encoding"utf-8"?> <com.example.myapplication.MyGLSurfaceViewxmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"…
阅读更多...
AndroidAOSP定制隐藏某个应用的图标

AndroidAOSP定制隐藏某个应用的图标

AndroidAOSP定制隐藏某个应用的图标 1.前言: 之前在做AOSP定制的时候需要隐藏某些App的图标&#xff0c;或者默认不显示某个定制的App图标&#xff0c;这样可以让用户感觉不到已经安装了某个App,或者在做系统定制的时候需要修改桌面icon,有些系统的App图标默认不需要显示&…
阅读更多...
最小化重投影误差求解PnP

最小化重投影误差求解PnP

问题描述 已知n个空间点 P i [ x i , y i , z i ] T P_i[x_i,y_i,z_i]^T Pi​[xi​,yi​,zi​]T&#xff0c;其投影的像素坐标 p i [ u i , v i ] T p_i[u_i,v_i]^T pi​[ui​,vi​]T求相机的位姿R&#xff0c;T。 问题分析 根据相机模型&#xff0c;像素点和空间点的位置…
阅读更多...
unity学习52：UI的最基础组件 rect transform，锚点anchor，支点/轴心点 pivot

unity学习52：UI的最基础组件 rect transform，锚点anchor，支点/轴心点 pivot

目录 1 image 图像&#xff1a;最简单的UI 1.1 图像的基本属性 1.2 rect transform 1.3 image的component: 精灵 → 图片 1.4 修改颜色color 1.5 修改材质 1.6 raycast target 1.7 maskable 可遮罩 1.8 imageType 1.9 native size 原生大小 2 rect transform 2.1 …
阅读更多...
【Python系列】PYTHONUNBUFFERED=1的作用

【Python系列】PYTHONUNBUFFERED=1的作用

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
Linux中的cgdb的基本使用

Linux中的cgdb的基本使用

1.cgdb的简介 Linux中的cgdb是一个基于GDB&#xff08;GNU Debugger&#xff09;的图形化调试前端&#xff0c;它结合了GDB的命令行界面功能和代码查看窗口&#xff0c;为开发者提供了一个更为直观的调试体验。 cgdb的作用和功能&#xff1a; 直观调试体验&#xff1a;cgdb提供…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023