Python训练营打卡——DAY22（2025.5.11）

news2025/5/12 16:48:16

复习日

学习参考如何使用kaggle平台，写下使用注意点，并对下述比赛提交代码

泰坦尼克号——来自灾难的机器学习

数据来源：

kaggle泰坦里克号人员生还预测

挑战

泰坦尼克号沉没是历史上最臭名昭著的海难之一。

1912年4月15日，在被普遍认为“永不沉没”的皇家邮轮泰坦尼克号的处女航中，它与冰山相撞沉没。不幸的是，船上没有足够的救生艇供所有人使用，导致2224名乘客和船员中1502人遇难。

虽然生存需要一些运气的因素，但似乎有些群体比其他群体更有可能生存下来。

在这个挑战中，我们要求您使用乘客数据（即姓名、年龄、性别、社会经济阶层等）建立一个预测模型来回答这个问题：“什么样的人更有可能生存？”

Kaggle 竞赛如何运作

  1. 参加比赛
    阅读挑战描述，接受比赛规则并获得比赛数据集的访问权限。
  2. 开始工作
    下载数据，在本地或 Kaggle Notebooks（我们的无需设置、可定制的 Jupyter Notebooks 环境，带有免费 GPU）上构建模型并生成预测文件。
  3. 提交
    您的预测并将其作为提交上传到 Kaggle 并获得准确度分数。
  4. 查看排行榜
    查看您的模型在我们的排行榜上与其他 Kaggler 的排名。
  5. 提高您的分数
    查看讨论论坛，查找来自其他竞争对手的大量教程和见解。

我将在本次比赛中使用哪些数据？

在本次比赛中，您将获得两个相似的数据集，其中包括乘客信息，如姓名、年龄、性别、社会经济阶层等。一个数据集的标题为train.csv，另一个数据集的标题为test.csv。

Train.csv将包含机上部分乘客（确切地说是 891 人）的详细信息，重要的是，将揭示他们是否幸存，也称为“地面真相”。

数据test.csv集包含类似的信息，但并未披露每位乘客的“基本事实”。你的任务就是预测这些结果。

使用您在数据中发现的模式train.csv，预测机上其他 418 名乘客（在 中找到test.csv）是否幸存。

查看“数据”选项卡，进一步探索数据集。一旦你认为自己创建了一个具有竞争力的模型，就可以将其提交到 Kaggle，看看你的模型在我们的排行榜上与其他 Kaggle 选手的排名。

如何向 Kaggle 提交你的预测

一旦您准备好提交并进入排行榜：

  1. 点击“提交预测”按钮

  2. 上传提交文件格式的 CSV 文件。您每天最多可以提交 10 份。

提交文件格式：

PassengerId您应该提交一个包含 418 个条目和一个标题行的 csv 文件。如果您提交的数据包含多余的列（超过和Survived）或行，则会显示错误。

该文件应该恰好有 2 列：

  • PassengerId（不分先后顺序）
  • Survived（包含您的二进制预测：1 表示幸存，0 表示死亡）

1. 导入包

import warnings
warnings.filterwarnings("ignore") #忽略警告信息

# 数据处理清洗包
import pandas as pd
import numpy as np
import random as rnd

# 可视化包
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

# 机器学习算法相关包
from sklearn.linear_model import LogisticRegression, Perceptron, SGDClassifier
#逻辑回归、感知机、随机梯度下降法
from sklearn.svm import SVC, LinearSVC
#支持向量机、线性支持向量机
from sklearn.neighbors import KNeighborsClassifier
#最近邻
from sklearn.naive_bayes import GaussianNB
#朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

2. 加载数据集

train_df = pd.read_csv('./titanic/train.csv')
test_df = pd.read_csv('./titanic/test.csv')
combine = [train_df, test_df] # 合并数据
#这只是放到一个列表，以便后续合并，现在还没合并
#combined_df = pd.concat([train_df, test_df], axis=1, ignore_index=True)这才是合并
#combine.head()会报错，因为列表没有head方法

3. 描述性统计分析

# 获取所有特征名
print(train_df.columns.values)

# 预览数据
train_df.head()

train_df.tail()

print(train_df.isnull().sum())
# 返回每列（特征）中的缺失值数量
print('_'*40)
#打印一行分隔线，其中包含40个连续的下划线字符
test_df.isnull().sum()

train_df.info()
print('_'*40)
test_df.info()
#714 non-null意为714个非空值
# RangeIndex: 891 entries, 0 to 890 表示891行数据
# Data columns (total 12 columns) 表示12列（11个特征 1个标签）

round(train_df.describe(percentiles=[.5, .6, .7, .75, .8, .9, .99]),2)
#describe(percentiles=[.5, .6, .7, .75, .8, .9, .99])指定百分位描述
#round()保留2位小数
#describe（）方法只描述数值型数据，12个特征中有5个object所以不表示

train_df.describe(include=['O'])
# 获取非数值型（对象型）列的描述性统计信息的方法
# count：非缺失值的数量。
# unique：唯一值的数量，表示多少种数值
# top：出现次数最多的值。
# freq：出现次数最多的值的频数。

4. 基于数据分析的假设

# 针对Pclass和Survived进行分类汇总
# pclass是票价等级
train_df[['Pclass','Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False)
# groupby是分类汇总函数，这个功能类似于数据透视表，选择分类列和汇总列
# sort_values(by='Survived', ascending=False)意思为根据survive这一列降序排序
# 另一种写法为pd.DataFrame(train_df.groupby('Pclass', as_index=False)['Survived'].mean()).sort_values(by='Survived', ascending=False)

train_df[['Sex','Survived']].groupby(['Sex'], as_index=False).mean().sort_values(by='Survived', ascending=False)

train_df[['SibSp','Survived']].groupby(['SibSp'], as_index=False).mean().sort_values(by='Survived',ascending=False)

train_df[['Parch','Survived']].groupby(['Parch'], as_index=False).mean().sort_values(by='Survived',ascending=False)

5. 可视化数据分析

g = sns.FacetGrid(train_df, col='Survived')  #FacetGrid(data, row, col, hue, height, aspect, palette, ...)
# col='Survived'指定了将数据分成两列，分别对应于Survived列的0和1

g.map(plt.hist, 'Age', bins=20)
# plt.hist来绘制直方图，并传递了'Age'列作为数据，，bins=20指定了直方图的分箱数

#grid = sns.FacetGrid(train_df, col='Survived', row='Pclass', size=2.5, aspect=1.6)
grid = sns.FacetGrid(train_df, col='Pclass', hue='Survived') 
grid.map(plt.hist, 'Age', alpha=0.5, bins=20)
grid.add_legend();

grid = sns.FacetGrid(train_df, col='Embarked')
grid.map(sns.pointplot, 'Pclass', 'Survived', 'Sex', palette='deep')
grid.add_legend();

grid = sns.FacetGrid(train_df, col='Embarked', hue='Survived', palette={0: 'b', 1: 'r'})
grid.map(sns.barplot, 'Sex', 'Fare', alpha=.5, ci=None)
grid.add_legend()

1

print("Before", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape)

train_df = train_df.drop(['Ticket', 'Cabin'], axis=1)
test_df = test_df.drop(['Ticket', 'Cabin'], axis=1)
combine = [train_df, test_df]

"After", train_df.shape, test_df.shape, combine[0].shape, combine[1].shape

train_df['Name'].head(10)

# 使用正则表达式提取Title特征
for dataset in combine:
    dataset['Title'] = dataset.Name.str.extract('([A-Za-z]+)\.', expand=False)
# 从姓名字符串中匹配一个或多个字母，并且以句点 (.) 结尾的部分，这通常是表示称号的部分
# 提取的称号被存储在一个新的 Title 列中
pd.crosstab(train_df['Title'], train_df['Sex']).sort_values(by='female', ascending=False)  # pd.crosstab列联表
#这部分代码使用 pd.crosstab 来创建一个列联表，用于计算不同称号 和性别之间的关系
#crosstab 会统计每个组合的数量，并返回一个交叉表。

combine
#还没有按列合并，还是2个数据表

# 可以用更常见的名称替换许多标题或将它们归类为稀有
for dataset in combine:
    dataset['Title'] = dataset['Title'].replace(['Lady', 'Countess','Capt', 'Col',
                                                 'Don', 'Dr', 'Major', 'Rev', 'Sir', 'Jonkheer', 'Dona'], 'Rare')

    dataset['Title'] = dataset['Title'].replace(['Mlle', 'Ms'], 'Miss')
    dataset['Title'] = dataset['Title'].replace('Mme', 'Mrs')
    
train_df[['Title', 'Survived']].groupby(['Title'], as_index=False).mean()

train_df.head()

# 将分类标题转换为序数
title_mapping = {"Mr": 1, "Miss": 2, "Mrs": 3, "Master": 4, "Rare": 5}
for dataset in combine:
    dataset['Title'] = dataset['Title'].map(title_mapping)  
    # 将序列中的每一个元素，输入函数，最后将映射后的每个值返回合并，得到一个迭代器
    dataset['Title'] = dataset['Title'].fillna(0)  

train_df.head()

# 现在可以从训练和测试数据集中删除Name特征以及训练集中的PassengerId 特征
train_df = train_df.drop(['Name', 'PassengerId'], axis=1)
test_df = test_df.drop(['Name'], axis=1)
combine = [train_df, test_df]
train_df.shape, test_df.shape

# 转换分类特征Sex
for dataset in combine:
    dataset['Sex'] = dataset['Sex'].map( {'female': 1, 'male': 0} ).astype(int)  #男性赋值为0，女性赋值为1，并转换为整型数据

train_df.head()

# 绘制Age, Pclass, Sex复合直方图
#grid = sns.FacetGrid(train_df, row='Pclass', col='Sex', size=2.2, aspect=1.6)
grid = sns.FacetGrid(train_df, col='Pclass', hue='Sex')
grid.map(plt.hist, 'Age', alpha=.5, bins=20)
grid.add_legend()

# 创建空数组
guess_ages = np.zeros((2,3))
guess_ages

# 遍历 Sex (0 或 1) 和 Pclass (1, 2, 3) 来计算六种组合的 Age 猜测值
for dataset in combine:
    # 第一个for循环计算每一个分组的Age预测值
    for i in range(0, 2):
        for j in range(0, 3):
            guess_df = dataset[(dataset['Sex'] == i) & \
                                  (dataset['Pclass'] == j+1)]['Age'].dropna()

            # age_mean = guess_df.mean()
            # age_std = guess_df.std()
            # age_guess = rnd.uniform(age_mean - age_std, age_mean + age_std)

            age_guess = guess_df.median()

            # 将随机年龄浮点数转换为最接近的 0.5 年龄（四舍五入）
            guess_ages[i,j] = int( age_guess/0.5 + 0.5 ) * 0.5
            
    # 第二个for循环对空值进行赋值        
    for i in range(0, 2):
        for j in range(0, 3):
            dataset.loc[ (dataset.Age.isnull()) & (dataset.Sex == i) & (dataset.Pclass == j+1),\
                    'Age'] = guess_ages[i,j]

    dataset['Age'] = dataset['Age'].astype(int)
train_df.head()

# 创建了一个新的列：年龄段AgeBand,并确定其与Survived的相关性
# 一般在建立分类模型时，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险
train_df['AgeBand'] = pd.cut(train_df['Age'], 5)  # 将年龄分割为5段,等距分箱
train_df[['AgeBand', 'Survived']].groupby(['AgeBand'], as_index=False).mean().sort_values(by='AgeBand', ascending=True)

# 将这些年龄区间替换为序数
for dataset in combine:    
    dataset.loc[ dataset['Age'] <= 16, 'Age'] = 0
    dataset.loc[(dataset['Age'] > 16) & (dataset['Age'] <= 32), 'Age'] = 1
    dataset.loc[(dataset['Age'] > 32) & (dataset['Age'] <= 48), 'Age'] = 2
    dataset.loc[(dataset['Age'] > 48) & (dataset['Age'] <= 64), 'Age'] = 3
    dataset.loc[ dataset['Age'] > 64, 'Age'] = 4
train_df.head()

train_df = train_df.drop(['AgeBand'], axis=1)  # 删除训练集中的AgeBand特征
combine = [train_df, test_df]
train_df.head()
test_df

for dataset in combine:
    dataset['FamilySize'] = dataset['SibSp'] + dataset['Parch'] + 1

train_df[['FamilySize', 'Survived']].groupby(['FamilySize'], as_index=False).mean().sort_values(by='Survived', ascending=False)

# 创建新特征IsAlone
for dataset in combine:
    dataset['IsAlone'] = 0
    dataset.loc[dataset['FamilySize'] == 1, 'IsAlone'] = 1

train_df[['IsAlone', 'Survived']].groupby(['IsAlone'], as_index=False).mean()

train_df = train_df.drop(['Parch', 'SibSp', 'FamilySize'], axis=1)
test_df = test_df.drop(['Parch', 'SibSp', 'FamilySize'], axis=1)
combine = [train_df, test_df]

train_df.head(20)

# 创建Age*Pclass特征以此用来结合Age和Pclass变量
for dataset in combine:
    dataset['Age*Pclass'] = dataset.Age * dataset.Pclass

train_df.loc[:, ['Age*Pclass', 'Age', 'Pclass']].head(10)
train_df[['Age*Pclass', 'Survived']].groupby(['Age*Pclass'], as_index=False).mean()

freq_port = train_df.Embarked.dropna().mode()[0] 
# mode() 计算众数，这里只有一个值，加不加[0] 都一样，一般返回的众数是每一列的众数构成的series
for dataset in combine:
    dataset['Embarked'] = dataset['Embarked'].fillna(freq_port)
    
train_df[['Embarked', 'Survived']].groupby(['Embarked'], as_index=False).mean().sort_values(by='Survived', ascending=False)

# 同样转换分类特征为序数
for dataset in combine:
    dataset['Embarked'] = dataset['Embarked'].map( {'S': 0, 'C': 1, 'Q': 2} ).astype(int)

train_df.head()

# 测试集中Fare有一个缺失值，用中位数进行填补
test_df['Fare'].fillna(test_df['Fare'].dropna().median(), inplace=True)
test_df.head()

plt.hist(train_df['Fare'])

# 对票价进行连续数据离散化
train_df['FareBand'] = pd.qcut(train_df['Fare'], 4)  # 根据样本分位数进行分箱，等频分箱
train_df[['FareBand', 'Survived']].groupby(['FareBand'], as_index=False).mean().sort_values(by='FareBand', ascending=True)

for dataset in combine:
    dataset.loc[ dataset['Fare'] <= 7.91, 'Fare'] = 0
    dataset.loc[(dataset['Fare'] > 7.91) & (dataset['Fare'] <= 14.454), 'Fare'] = 1
    dataset.loc[(dataset['Fare'] > 14.454) & (dataset['Fare'] <= 31), 'Fare']   = 2
    dataset.loc[ dataset['Fare'] > 31, 'Fare'] = 3
    dataset['Fare'] = dataset['Fare'].astype(int)

train_df = train_df.drop(['FareBand'], axis=1)
combine = [train_df, test_df]
    
train_df.head(10)

test_df.head(10)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2374076.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

实战项目4（05）

实战项目4（05）

​目录 任务场景一 【sw1配置】 任务场景二 【sw1配置】 【sw2配置】 任务场景一 按照下图完成网络拓扑搭建和配置 任务要求&#xff1a; 1、在交换机SW1的E0/0/1端口进行设置&#xff0c;实现允许最多两个电脑可以正常进行通信。 2、在交换机SW1的E0/0/2端口进行设置&…
阅读更多...
C++学习之STL学习

C++学习之STL学习

在经过前面的简单的C入门语法的学习后&#xff0c;我们开始接触C最重要的组成部分之一&#xff1a;STL 目录 STL的介绍 什么是STL STL的历史 UTF-8编码原理&#xff08;了解&#xff09; UTF-8编码原理 核心编码规则 规则解析 编码步骤示例 1. 确定码点范围 2. 转换为…
阅读更多...
3. 仓颉 CEF 库封装

3. 仓颉 CEF 库封装

文章目录 1. capi 使用说明2. Cangjie CEF2. 1实现目标 3. 实现示例 1. capi 使用说明 根据上一节 https://blog.csdn.net/qq_51355375/article/details/147880718?spm1011.2415.3001.5331 所述&#xff0c; cefcapi 是libcef 共享库导出一个 C API, 而以源代码形式分发的 li…
阅读更多...
LabVIEW多通道并行数据存储系统

LabVIEW多通道并行数据存储系统

在工业自动化监测、航空航天测试、生物医学信号采集等领域&#xff0c;常常需要对多个传感器通道的数据进行同步采集&#xff0c;并根据后续分析需求以不同采样率保存特定通道组合。传统单线程数据存储方案难以满足实时性和资源利用效率的要求&#xff0c;因此设计一个高效的多…
阅读更多...
谷歌在即将举行的I/O大会之前，意外泄露了其全新设计语言“Material 3 Expressive”的细节

谷歌在即将举行的I/O大会之前，意外泄露了其全新设计语言“Material 3 Expressive”的细节

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…
阅读更多...
十三、基于大模型的在线搜索平台——整合function calling流程

十三、基于大模型的在线搜索平台——整合function calling流程

基于大模型的在线搜索平台——整合function calling流程 一、function calling调用总结 上篇文章已经实现了信息抓取能力&#xff0c;并封装成了函数。现在最后一步将能力转换为大模型可以调用的能力&#xff0c;实现搜索功能就可以了。这篇主要实现大模型的function calling能…
阅读更多...
力扣70题解

力扣70题解

记录 2025.5.8 题目: 思路&#xff1a; 1.初始化&#xff1a;p 和 q 初始化为 0&#xff0c;表示到达第 0 级和第 1 级前的方法数。r 初始化为 1&#xff0c;表示到达第 1 级台阶有 1 种方法。 2.循环迭代&#xff1a;从第 1 级到第 n 级台阶进行迭代&#xff1a; p 更新为前…
阅读更多...
电商双11美妆数据分析

电商双11美妆数据分析

1、初步了解 2.2 缺失值处理 通过上面观察数据发现sale_count,comment_count 存在缺失值,先观察存在缺失值的行的基本情况 2.3 数据挖掘寻找新的特征 给出各个关键词的分类类别 由title新生成两列类别 对是否是男性专用进行分析并新增一列 对每个产品总销量新增销售额这一列
阅读更多...
24、TypeScript：预言家之书——React 19 类型系统

24、TypeScript：预言家之书——React 19 类型系统

一、预言家的本质 "TypeScript是魔法世界的预言家之书&#xff0c;用静态类型编织代码的命运轨迹&#xff01;" 霍格沃茨符文研究院的巫师挥动魔杖&#xff0c;类型注解与泛型的星轨在空中交织成防护矩阵。 ——基于《国际魔法联合会》第12号类型协议&#xff0c;Ty…
阅读更多...
第8章-1 查询性能优化-优化数据访问

第8章-1 查询性能优化-优化数据访问

上一篇&#xff1a;《第7章-3 维护索引和表》 在前面的章节中&#xff0c;我们介绍了如何设计最优的库表结构、如何建立最好的索引&#xff0c;这些对于提高性能来说是必不可少的。但这些还不够——还需要合理地设计查询。如果查询写得很糟糕&#xff0c;即使库表结构再合理、索…
阅读更多...
PCL点云按指定方向进行聚类（指定类的宽度）

PCL点云按指定方向进行聚类（指定类的宽度）

需指定方向和类的宽度。测试代码如下&#xff1a; #include <iostream> #include <fstream> #include <vector> #include <string> #include <pcl/point_types.h> #include <pcl/point_cloud.h> #include <pcl/visualization/pcl_visu…
阅读更多...
C#对SQLServer增删改查

C#对SQLServer增删改查

1.创建数据库 2.SqlServerHelper using System; using System.Collections.Generic; using System.Data.SqlClient; using System.Data; using System.Linq; using System.Text; using System.Threading.Tasks;namespace WindowsFormsApp1 {internal class SqlServerHelper{//…
阅读更多...
模拟太阳系（C#编写的maui跨平台项目源码）

模拟太阳系（C#编写的maui跨平台项目源码）

源码下载地址&#xff1a;https://download.csdn.net/download/wgxds/90789056 本资源为用C#编写的maui跨平台项目源码&#xff0c;使用Visual Studio 2022开发环境&#xff0c;基于.net8.0框架&#xff0c;生成的程序为“模拟太阳系运行”。经测试&#xff0c;生成的程序可运行…
阅读更多...
蓝桥杯14届 数三角

蓝桥杯14届 数三角

问题描述 小明在二维坐标系中放置了 n 个点&#xff0c;他想在其中选出一个包含三个点的子集&#xff0c;这三个点能组成三角形。然而这样的方案太多了&#xff0c;他决定只选择那些可以组成等腰三角形的方案。请帮他计算出一共有多少种选法可以组成等腰三角形&#xff1f; 输…
阅读更多...
HTML12：文本框和单选框

HTML12：文本框和单选框

表单元素格式 属性说明type指定元素的类型。text、password、 checkbox、 radio、submit、reset、file、hidden、image 和button&#xff0c;默认为textname指定表单元素的名称value元素的初始值。type为radio时必须指定一个值size指定表单元素的初始宽度。当type为text 或pas…
阅读更多...
机器人厨师上岗！AI在餐饮界掀起新风潮！

机器人厨师上岗！AI在餐饮界掀起新风潮！

想要了解人工智能在其他各个领域的应用&#xff0c;可以查看下面一篇文章 《AI在各领域的应用》 餐饮业是与我们日常生活息息相关的行业&#xff0c;而人工智能&#xff08;AI&#xff09;正在迅速改变这个传统行业的面貌。从智能点餐到食材管理&#xff0c;再到个性化推荐&a…
阅读更多...
MySQL开篇

MySQL开篇

文章目录 一、前置知识1. MySQL的安装2. 前置一些概念知识 二、MySQL数据库操作2.1 概念2.2 数据库的操作2.2.1创建数据库命令2.2.2 查看数据库2.2.3 选中数据库2.2.4 删除数据库 三、MySQL数据表操作3.1 概念3.2 数据表的操作3.2.1 创建表 一、前置知识 1. MySQL的安装 MySQ…
阅读更多...
Linux电脑本机使用小皮面板集成环境开发调试WEB项目

Linux电脑本机使用小皮面板集成环境开发调试WEB项目

开发调试WEB项目&#xff0c;有时开发环境配置繁琐&#xff0c;可以使用小皮面板集成环境。 小皮面板官网&#xff1a; https://www.xp.cn/1.可以使用小皮面板安装脚本一键安装。登陆小皮面板管理后台 2.在“软件商店”使用LNMP一键部署集成环境。 3.添加网站&#xff0c;本…
阅读更多...
问题及解决01-面板无法随着窗口的放大而放大

问题及解决01-面板无法随着窗口的放大而放大

在MATLAB的App Designer中&#xff0c;默认情况下&#xff0c;组件的位置是固定的&#xff0c;不会随着父容器的大小变化而改变。问题图如下图所示。 解决&#xff1a; 为了让Panel面板能够随着UIFigure父容器一起缩放&#xff0c;需要使用布局管理器&#xff0c;我利用 MATLA…
阅读更多...
操作系统原理实验报告

操作系统原理实验报告

操作系统原理课程的实验报告汇总 实验三&#xff1a;线程的创建与撤销 实验环境&#xff1a;计算机一台&#xff0c;内装有VC、office等软件 实验日期&#xff1a;2024.4.11 实验要求&#xff1a; 1.理解&#xff1a;Windows系统调用的基本概念&#xff0c;进程与线程的基…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023