1 分析内容
1.1 数据的整体概述
提供数据集的基本信息,包括数据量、时间跨度、地理范围和主要字段.
import pandas as pd
# 创建示例数据
data = {
'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],
'年龄': [25, 30, 35, 40, 45, 50, 55, 60],
'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],
'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],
'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],
'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)
print("原始数据:")
print(df.head(3).to_string())
# 1. 筛选年龄大于30且部门为研发的数据
print("\n1. 筛选结果:")
filtered = df[(df['年龄'] > 30) & (df['部门'] == '研发')]
print(filtered.to_string())
# 2. 按收入降序排序
print("\n2. 排序结果:")
sorted_data = df.sort_values('收入', ascending=False)
print(sorted_data.to_string())
# 3. 计算月收入
print("\n3. 计算新列结果:")
df['月收入'] = df['收入'] / 12
print(df[['姓名', '收入', '月收入']].to_string())
# 4. 合并姓名和部门列
print("\n4. 合并列结果:")
df['信息'] = df['姓名'] + ' - ' + df['部门']
print(df[['信息', '姓名', '部门']].to_string())
# 5. 转换年龄列为浮点数类型
print("\n5. 数据类型转换结果:")
df['年龄'] = df['年龄'].astype(float)
print(f"年龄列类型: {df['年龄'].dtype}")1.2 数据的基本统计信息
计算数据的核心统计指标和分布特征,以便理解数据的整体特征.分析方法有集中趋势分析、离散程度分析、分布分析.
(1) 集中趋势分析
import pandas as pd
data = {
'年龄': [25, 30, 30, 40, 45],
'工资': [5000, 6000, 7000, 8000, 9000]
}
df = pd.DataFrame(data)
# 通用描述性统计
summary = df.describe()
print("通用描述性统计:\n", summary)
# 统计单列的描述性信息
print("Age statistics:\n", df['年龄'].describe())
# 特定统计量计算
sum_age = df['年龄'].sum()
print("\n年龄总和:", sum_age)
count_age = df['年龄'].count()
print("年龄计数:", count_age)
min_age = df['年龄'].min()
print("年龄最小值:", min_age)
max_age = df['年龄'].max()
print("年龄最大值:", max_age)
average_age = df['年龄'].mean()
print("平均年龄:", average_age)
median_salary = df['工资'].median()
print("工资中位数:", median_salary)
mode_age = df['年龄'].mode()
print("年龄众数:\n", mode_age)
std_salary = df['工资'].std()
print("工资标准差:", std_salary)
var_salary = df['工资'].var()
print("工资方差:", var_salary)
q25_salary = df['工资'].quantile(0.25)
print("工资列的25%分位数:", q25_salary)(2) 分布分析
import pandas as pd
# 创建示例数据
data = {
'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],
'年龄': [25, 30, 35, 40, 45, 50, 55, 60],
'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],
'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],
'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],
'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)
# 统计每个部门的频数（返回Series）
department_counts = df['部门'].value_counts(dropna=False)
# 输出结果（按频数降序排列）
print(department_counts) 1.3 数据的分组与汇总
根据时间或业务维度对数据进行分组,并计算汇总指标,以揭示不同维度的表现分析方法有分组分析、汇总统计.
import pandas as pd
# 使用你最初的数据源
data = {
'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],
'年龄': [25, 30, 35, 40, 45, 50, 55, 60],
'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],
'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],
'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],
'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)
# 输出原始数据
print("=== 原始数据 ===")
print(df.to_string())
# 1. 按性别分组统计人数和平均年龄（使用agg）
print("\n=== 按性别分组的统计信息 ===")
gender_stats = df.groupby('性别').agg(
人数=('姓名', 'count'),
平均年龄=('年龄', 'mean'),
平均收入=('收入', 'mean')
).reset_index()
print(gender_stats)
# 2. 按收入区间分组（自定义分组，使用agg）
print("\n=== 按收入区间分组的统计 ===")
def income_category(x):
if x < 6000:
return '低收入'
elif x < 9000:
return '中等收入'
else:
return '高收入'
df['收入等级'] = df['收入'].apply(income_category)
income_stats = df.groupby('收入等级').agg(
人数=('姓名', 'count')
).reset_index()
print(income_stats) 1.4 数据的趋势与变化
分析数据随时间的变化趋势和周期性波动,以识别增长、下降或稳定的模式.分析方法有时间序列分析、周期性分析.
import pandas as pd
data = {
'date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05'],
'sales': [1000, 1200, 900, 1500, 1300]
}
df = pd.DataFrame(data)
# 确保日期字段是日期时间格式
df['date'] = pd.to_datetime(df['date'])
# 按日期排序（确保时间序列的顺序正确）
df = df.sort_values('date')
# 设置日期为索引（方便时间序列分析）
df.set_index('date', inplace=True)
# 输出处理后的数据
print("处理后的时间序列数据:\n",df)1.5 数据的对比与差异
通过同比、环比和分类对比分析,识别不同时间段或类别之间的差异.分析方法有同环比分析,分类对比分析.
1.5.1 同环比分析
import pandas as pd
# 使用简单的示例数据
data = {
'日期': ['2023-01-01', '2023-02-01', '2023-03-01', '2023-04-01',
'2022-01-01', '2022-02-01', '2022-03-01', '2022-04-01'],
'产品': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],
'销售额': [12000, 15000, 8000, 9500, 10000, 14000, 7000, 9000],
'利润': [2000, 3000, 1500, 2000, 1800, 2500, 1200, 1800]
}
df = pd.DataFrame(data)
# 将日期列转换为datetime类型
df['日期'] = pd.to_datetime(df['日期'])
# 打印原始数据
print("\n=== 原始数据 ===")
print(df.to_string())
# 按月聚合销售额
monthly_data = df.groupby(df['日期'].dt.to_period('M'))['销售额'].sum().reset_index()
monthly_data.columns = ['月份', '销售额']
# 1. 同比分析 (YoY - Year over Year)
year_month_sales = monthly_data.copy()
year_month_sales['年月'] = year_month_sales['月份'].astype(str) # 转为字符串格式
year_month_sales['月份'] = year_month_sales['月份'].dt.month # 提取月份数字
# 计算同比增长率及同期数
year_month_sales['同期销售额'] = year_month_sales.groupby('月份')['销售额'].shift(1)
year_month_sales['同比增长率(%)'] = year_month_sales.groupby('月份')['销售额'].pct_change(1) * 100
print("\n=== 同比分析 ===")
print(year_month_sales[['年月', '销售额', '同期销售额', '同比增长率(%)']].to_string(index=False))
# 2. 环比分析 (MoM - Month over Month)
# 计算环比增长率及环期数
monthly_data['环期销售额'] = monthly_data['销售额'].shift(1)
monthly_data['环比增长率(%)'] = monthly_data['销售额'].pct_change() * 100
print("\n=== 环比分析 ===")
print(monthly_data.to_string(index=False))1.5.2 分类对比分析
import pandas as pd
# 使用简单的示例数据
data = {
'日期': ['2023-01-01', '2023-02-01', '2023-03-01', '2023-04-01',
'2022-01-01', '2022-02-01', '2022-03-01', '2022-04-01'],
'产品': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],
'销售额': [12000, 15000, 8000, 9500, 10000, 14000, 7000, 9000],
'利润': [2000, 3000, 1500, 2000, 1800, 2500, 1200, 1800]
}
df = pd.DataFrame(data)
# 按产品分类对比
product_comparison = df.groupby('产品').agg(
销售额总和=('销售额', 'sum'),
销售额均值=('销售额', 'mean'),
利润总和=('利润', 'sum'),
利润均值=('利润', 'mean')
).reset_index() # 恢复产品列为普通列
# 计算销售额占比
total_sales = df['销售额'].sum()
product_comparison['销售额占比(%)'] = (product_comparison['销售额总和'] / total_sales) * 100
# 计算利润率
product_comparison['利润率(%)'] = (product_comparison['利润总和'] / product_comparison['销售额总和']) * 100
print("\n=== 产品分类对比（方法一）===")
print(product_comparison.to_string(index=False))1.6 异常值与关键点
识别数据中的异常值和关键点,以便关注显著变化或重要数据点.
