python爬虫经典案例（一）

news2025/5/24 23:07:26

爬虫（Web Scraping）是一种自动获取互联网信息的技术，广泛用于数据采集、分析和应用开发。无论你是数据科学家、市场营销专家还是应用程序开发者，都可以通过编写爬虫来获取所需的信息。在本文中，我们将介绍五个实用的爬虫示例，并提供相应的Python代码。

1. 新闻文章爬虫

许多新闻网站提供了大量的新闻文章，我们可以使用爬虫自动抓取这些文章并进行分析。以下是一个示例，使用Python中的requests和BeautifulSoup库：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example-news-site.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 找到新闻文章标题和链接
articles = soup.find_all('article')
for article in articles:
    title = article.find('h2').text
    link = article.find('a')['href']
    print(f'Title: {title}')
    print(f'Link: {link}')

这段代码将获取指定新闻网站的文章标题和链接，并将它们打印出来。你可以根据需要扩展代码以提取更多信息。

2. 图片爬虫

如果你需要大量的图片数据，可以使用爬虫从图片分享网站上获取图片。以下是一个示例，使用Python的requests和BeautifulSoup：

import requests
from bs4 import BeautifulSoup
import os

url = 'https://www.example-image-site.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 创建保存图片的目录
os.makedirs('images', exist_ok=True)

# 找到图片链接并下载
images = soup.find_all('img')
for img in images:
    img_url = img['src']
    img_name = os.path.join('images', os.path.basename(img_url))
    img_data = requests.get(img_url).content
    with open(img_name, 'wb') as img_file:
        img_file.write(img_data)

这段代码将从指定的图片分享网站上下载图片，并将其保存到本地的images目录中。

3. 电影信息爬虫

如果你想要创建一个电影信息应用程序，可以使用爬虫从电影数据库网站获取电影信息。以下是一个示例，使用Python的requests和BeautifulSoup：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example-movie-site.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 找到电影信息
movies = soup.find_all('div', class_='movie')
for movie in movies:
    title = movie.find('h2').text
    year = movie.find('span', class_='year').text
    rating = movie.find('span', class_='rating').text
    print(f'Title: {title}')
    print(f'Year: {year}')
    print(f'Rating: {rating}')

这段代码将从指定的电影数据库网站上提取电影标题、年份和评分等信息。

4. 社交媒体爬虫

社交媒体网站上有丰富的用户生成内容，你可以使用爬虫来分析用户的帖子、评论和活动。以下是一个示例，使用Python的Selenium库来模拟浏览器行为：

from selenium import webdriver

# 初始化浏览器驱动
driver = webdriver.Chrome()

# 打开社交媒体网站并登录
driver.get('https://www.example-social-media.com')
# 在此处添加登录代码

# 模拟滚动以加载更多内容
for _ in range(5):
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
    # 在此处等待加载

# 获取帖子和评论
posts = driver.find_elements_by_class_name('post')
for post in posts:
    username = post.find_element_by_class_name('username').text
    content = post.find_element_by_class_name('content').text
    print(f'Username: {username}')
    print(f'Content: {content}')

# 关闭浏览器
driver.quit()

这段代码演示了如何使用Selenium来模拟浏览器行为，以获取社交媒体网站上的用户帖子和评论。

5. 股票数据爬虫

如果你对金融市场感兴趣，可以使用爬虫从金融网站上获取股票价格和相关数据。以下是一个示例，使用Python的requests：

import requests

url = 'https://www.example-stock-site.com/stock/XYZ'
response = requests.get(url)

# 解析股票数据
data = response.json()
symbol = data['symbol']
price = data['price']
volume = data['volume']

print(f'Symbol: {symbol}')
print(f'Price: {price}')
print(f'Volume: {volume}')

这段代码将从指定的股票数据网站上获取股票价格、交易量等数据。