更多数据分析干货关注公众号船长Talk每天分享 Python/SQL 实战技巧两个重要的包numpy、pandas是数据分析师的必备基础。本文做全面总结每段代码都有详细注释建议收藏01 创建 array 数组能矢量计算# 公众号船长Talk # 01 构造方法 import numpy as np np.array([列表]) # 列表转数组 # 02 二维数组 data [[1,2,3,4],[5,6,7,8]] arr2 np.array(data) arr2.shape # 输出形状 out:(2,4) 2行4列 # 03 用元组创建 array data3 (1,2,3,4,5) # tuple() arr3 np.array(data3) arr3 # out: array([1,2,3,4,5]) # 04 构建全0/全1数组 arr6 np.zeros((3,2)) # 创建一个3行2列的全0数组 arr6_1 np.zeros_like(arr6) # 形状和arr6相同的全0数组 arr7 np.ones((3,2)) # 全1数组 # 05 空数组未初始化值随机 arr9 np.empty(20) # 06 有序构建range步长不能为浮点型arange()可以 arr10 np.array(range(10)) arr10_1 np.arange(1, 10, 0.1) # numpy专属支持浮点步长 # 07 创建随机数组 np.random.rand(10) # [0,1)均匀分布 arr12 np.random.randn(10000) # 正态分布随机数组 arr12.mean() # 计算平均数理论上接近0 arr12.std() # 计算标准差理论上接近1 # 08 创建带形状的随机整数数组 np.random.seed(42) # 指定随机种子保证可重复 arr13 np.random.randint(1, 100, 10).reshape(5, 2) # 10个整数 reshape成5行2列 arr13 # 09 创建线性数组等差 arr14 np.linspace(11, 21, 100, endpointFalse) # 从11切到21切100份不包含结尾 # 10 创建单位矩阵 arr15 np.eye(5) # 5行5列对角线为1其余为0 arr151.1 单位矩阵案例# 公众号船长Talk arr15 np.eye(5) arr15 # 输出5x5对角矩阵对角线全为1.002 numpy 核心方法# 公众号船长Talk import numpy as np # 01 布尔索引axis0为行1为列 names np.array([1,2,3,4,5,6,7]) col np.array(range(4)) data np.random.randn(7, 4) print(data[names2]) # 取出names2对应的行布尔过滤 data[names2, col1] # 行列同时索引 data[names2, (col1)|(col2)] # 逻辑或先行后列 # 02 花式索引按指定行号取行 arr[[4,1]] # 先取第4行再取第1行 arr[[4,3,7]] arr[[-1,-3,3]] # 支持负索引 # 03 转置行列互换 arr.T # 属性形式 arr.transpose() # 方法形式结果相同 # 04 常用数学函数 arr np.array([1, np.e, np.e**2, 0]) print(数组最大值%s % np.max(arr)) print(数组最小值%s % np.min(arr)) print(以e为底的指数%s % np.exp(arr)) print(自然对数%s % np.log(arr)) print(开方%s % np.sqrt(arr)) print(平均值%s % np.mean(arr)) print(标准差%s % np.std(arr)) print(最小值索引%s % np.argmin(arr)) # 极小值位置 print(最大值索引%s % np.argmax(arr)) # 极大值位置 print(判断极限值%s % np.isinf(arr)) # 是否为无穷大 # 05 where 应用三元运算 xarr np.array([1,2,3,4,5,6,7,8]) yarr np.array([1.1,2.2,3.3,4.4,5.5,6.6,7.7,8.8]) cond ([True,False,True,True,True,False,False,False]) np.where(cond, xarr, yarr) # cond为True时从xarr取否则从yarr取 # 06 sort 排序 np.sort(arr) # 默认升序 np.sort(arr, axis1) # 按列排序 # 07 堆叠要求堆叠方向维度一致 np.hstack((a, b)) # 横向堆叠往右加列 np.vstack((a, b)) # 纵向堆叠往底部加行可与arr.T联用 # 08 数据类型自动向上转型 np.arange(5, dtypefloat64) # 指定为float64类型 # 09 广播机制不同形状的数组可以做运算 # 如 arr 1 会把所有元素加103 创建 Seriesnan类型是浮点型# 公众号船长Talk import numpy as np import pandas as pd # 创建 Series ser pd.Series([10, 20, 30, 40]) # 默认index为0,1,2,3... ser2 pd.Series([10, 20, 30], index[a,b,c]) # 自定义index # 引用 ser[a] # 按标签取值 ser2[0] # 按位置取值 # 检测缺失值 ser.isnull() pd.isnull(ser) # 两种写法等价04 DataFrame二维表格# 公众号船长Talk import numpy as np import pandas as pd # 01 创建方式字典 → DataFrame键成了列名 data { city: [a,b,c,d], year: [1,2,3,4], population: [1,2,3,4] } frame pd.DataFrame(data) # 02 索引单列结果是 Series frame[year] # 03 花式索引多列 frame[[population, city, year]] # 04 创建时指定列未提供的列值为NaN frame2 pd.DataFrame(data, columns[population,city,year,debt]) # 05 查看行列信息 frame2.index # 行标签 frame2.columns # 列名 frame2.values # 转为numpy数组 # 06 嵌套字典生成 DataFrame pop { 北京: {2001: 2.4, 2002: 2.9}, 南京: {2000: 1.5, 2001: 1.7, 2002: 3.6} } frame3 pd.DataFrame(pop) # out北京、南京为列名2000,2001,2002为行索引 # 1.2 索引 # 列索引方法1方括号 frame2[city] # 列索引方法2属性 frame2.city # loc标签索引行列 frame2.loc[[a,b], [year,population]] # 前行后列 # iloc整数位置索引 frame2.iloc[0:2, 0:3] # 切片 frame2.iloc[0:2, [0,3]] # 取第0和第3列 # 1.2.2 运算操作 frame2[debt] 1.5 # 赋值列 del frame2[debt] # 删除列 frame2.drop([year], axis1, inplaceFalse) # 删除行或列axis1列方向 frame2[location] [1,2,3,4] # 新增列行数要对应 # apply 方法对列应用函数 frame pd.DataFrame(np.random.randn(4,3), columnslist(bde), indexlist(1234)) def my_func(x): return x 1 frame[b].apply(my_func) # 传函数 frame[b].apply(lambda x: x 1) # 传lambda # 索引排序sort_index按行/列名字母排序 frame.sort_index() # 按行名升序 frame.sort_index(axis1, ascendingFalse) # 按列名降序 # 值排序sort_values frame.sort_values(byb, ascendingFalse) # 按b列降序 # 7 查看不重复值 frame.列名.unique() # 8 删除重复数据 frame.drop_duplicates([列1,列2], keeplast) # last保留最后一条first保留第一条 # 9 显示重复行标记返回布尔Series frame.duplicated() # 10 填充缺失值 frame.列名.fillna(frame.列名.mean()) # 均值填充 frame.列名.fillna({0: 0, 1: 999}) # 字典填充指定不同列填不同值 frame.列名.fillna(methodffill, limit2) # 前向填充最多填2个 # 11 map 映射 frame.列名.map(字典) # 按字典映射值 # apply 和 data.replace 也可以达到同样效果lambda 三兄弟map / filter / reduce# 公众号船长Talk # map 映射函数x代表列表中每个元素x2表示将每个x加2 list1 map(lambda x: x2, [1,2,3,4,5,6,7,8,10,12]) list(list1) # 每个元素加2 # filter 过滤函数筛选出x%20的偶数 list2 filter(lambda x: x % 2 0, [1,2,3,4,5,6,7,8,9,10]) list(list2) # 输出偶数列表 # reduce 累计运算计算累加结果 from functools import reduce a_2 reduce(lambda x, y: xy, [1,2,3,45,5,6,7,8]) # 等价于 ((((((12)3)45)5)6)7)8 77numpy 矩阵运算实战# 公众号船长Talk import numpy as np # 1.4 数组运算矢量化无需循环 arr np.array([[1,2,3],[4,5,6]]) print(arr arr) # 对应元素相加 print(arr - arr) # 对应元素相减 print(5 * arr) # 所有元素乘5 print(arr * arr) # 对应元素相乘不是矩阵乘法 print(arr.dot(arr.T)) # 矩阵乘法行乘列结果为 2x2 矩阵numpy 矩阵索引# 公众号船长Talk import numpy as np # 三种方式创建3x3矩阵 np1 np.array([1,2,3,4,5,6,7,8,9]).reshape(3,3) # 方法1reshape np2 np.array([[1,2,3],[4,5,6],[7,8,9]]) # 方法2嵌套列表 np3 np.arange(9).reshape(3,3) # 方法3arangereshape # 索引规则arr[i,j]i行j列 # axis0代表行axis1代表列 print(索引坐标(0,0), np3[0,0]) # 第0行第0列 print(索引所有行和列, np3[0:3, 0:3]) # 全部元素numpy 常用函数速查# 公众号船长Talk import numpy as np # where 判断三元运算 xarr_1 np.array([1,2,3,4,5,6,7,8]) yarr_2 np.array([1.1,2.2,3.3,4.4,5.5,6.6,7.7,8.8]) cond ([True,False,True,True,True,False,False,False]) np.where(cond, xarr_1, yarr_2) # condTrue 取 xarr_1condFalse 取 yarr_2pandas 实用技巧汇总# 公众号船长Talk import pandas as pd # 01 去除科学计数法显示 pd.set_option(float_format, lambda x: %.0f % x) # 02 删除重复值 data.drop_duplicates([列名], keepfirst) # 03 DataFrame 模糊匹配正则 data.字段名[data.字段名.str.contains(正则表达式)] # 注意正则中的点号需要转义 . 觉得有用关注公众号「船长Talk」获取更多 Python 数据分析 / SQL / 职场干货每天一篇拒绝水文。