进阶篇参考【分箱进阶篇】分箱的工程细节从训练到部署的完整模式拿到一列连续数值年龄、收入、交易金额等第一步常常是分箱也就是把连续值映射到几个离散区间。pandas 提供了两个内置函数干这件事pd.cut等距和pd.qcut等频。名字只差一个字母行为却截然不同搞混了会在特征工程阶段埋下隐蔽的坑。​ 这篇从最基础的用法讲起把两个函数的参数、返回值、边界行为全部讲清楚。一、最小示例一眼看出区别importpandasaspdimportnumpyasnp spd.Series([1,5,10,15,30,50,100])1.1 等距分箱​ 等距分 3 箱按值域均匀切割pd.cut(s,bins3)0 (0.901, 34.0] 1 (0.901, 34.0] 2 (0.901, 34.0] 3 (0.901, 34.0] 4 (0.901, 34.0] 5 (34.0, 67.0] 6 (67.0, 100.0] dtype: category Categories (3, interval[float64, right]): [(0.901, 34.0] (34.0, 67.0] (67.0, 100.0]]​ 可以看到前5个值都在第一个箱子里后两个箱子中各占 1 个。因为cut把[1, 100]的值域等分成三段不管每段里有多少数据。1.2 等频分箱​ 等频分 3 箱按数据量均匀切割pd.qcut(s,q3)0(0.999,10.0]1(0.999,10.0]2(10.0,30.0]3(10.0,30.0]4(30.0,100.0]5(30.0,100.0]6(30.0,100.0]dtype: category Categories(3, interval[float64, right]):[(0.999,10.0](10.0,30.0](30.0,100.0]]​ 可以看到每个箱里大约 2~3 个值。qcut找的是分位数切分点目标是让每个箱的样本数尽量相等。1.3 直观对比​ 等距分箱(cut)关心值域均匀等频分箱(qcut) 关心样本量均匀。数据分布越偏斜两者差异越大。二、pd.cut 详解2.1 签名与核心参数pd.cut(x,bins,rightTrue,labelsNone,retbinsFalse,precision3,include_lowestFalse,duplicatesraise)(1)bins​bins是最关键的参数支持三种形式。形式一整数binsN表明等距分N NN箱pd.cut(s,bins4)实际项目中不常见。形式二列表bins edges_list按照自定义切分点列表分箱pd.cut(s,bins[0,18,35,60,100])实际项目中用得最多的因为业务上通常有明确的分段逻辑比如年龄分为未成年/青年/中年/老年。(2)right​right控制区间开闭方向。默认True区间是左开右闭(a, b]pd.cut([10,20,30],bins[0,10,20,30])输出[(0,10],(10,20],(20,30]]Categories(3, interval[int64, right]):[(0,10](10,20](20,30]]​ 设为False则变成左闭右开[a, b)。pd.cut([10,20,30],bins[0,10,20,30],rightFalse)输出[[10.0,20.0),[20.0,30.0), NaN]Categories(3, interval[int64, left]):[[0,10)[10,20)[20,30)]​ 不管怎么设最外侧那个端点默认不包含第一个箱左端点是开的或最后一个箱右端点是开的。这就是include_lowest存在的原因。(3)include_lowest​ 把第一个箱的左端点从开区间变成闭区间。​ 当rightTrue时默认行为是(0, 10]值恰好等于 0 会变成 NaN。pd.cut([0,10,20,30],bins[0,10,20,30])输出[NaN,(0.0,10.0],(10.0,20.0],(20.0,30.0]]Categories(3, interval[int64, right]):[(0,10](10,20](20,30]]​ 加上include_lowestTrue后变成[0, 10]实际显示为(-0.001, 10]0 就能被收进去。pd.cut([0,10,20,30],bins[0,10,20,30],include_lowestTrue)输出[(-0.001,10.0],(-0.001,10.0],(10.0,20.0],(20.0,30.0]]Categories(3, interval[float64, right]):[(-0.001,10.0](10.0,20.0](20.0,30.0]](4)labels​ 给区间贴自定义标签注意数量必须等于箱数。agespd.Series([1,5,30,50,80,100])ages_binspd.cut(ages,bins[0,18,35,60,100],labels[未成年,青年,中年,老年])ages_bins_dfpd.DataFrame({ages:ages,ages_bins:ages_bins})输出ages ages_bins01未成年15未成年230青年350中年480老年5100老年​ 如果将labels参数设置为False 则返回整数编码0, 1, 2, …。ages_bins_numericpd.cut(ages,bins[0,18,35,60,100],labelsFalse)ages_bins_numeric_dfpd.DataFrame({ages:ages,ages_bins:ages_bins_numeric})ages ages_bins01015023013502480351003(5)retbins​ 设置retbinsTrue同时返回切分点数组。对于传入整数bins时特别有用你不用自己算切分点在哪里spd.Series([1,5,10,15,30,50,100])result,edgespd.cut(s,bins3,retbinsTrue)edges[0.90134.67.100.]2.2 返回值结构​pd.cut的返回值有两层结构理解这一点对后续操作很重要。(1) 外层Categorical Series​ pandas 专门用来表示有限类别的数据类型自带类别列表和顺序信息resultpd.cut([15,45,80],bins[0,30,60,100])print(result)print(fresult type {type(result)})print(fresult dtype {result.dtype})Categories(3, interval[int64, right]):[(0,30](30,60](60,100]]resulttypeclasspandas.core.arrays.categorical.Categoricalresult dtypecategory​ 注意orderedTruepandas 知道(0, 30]排在(30, 60]前面。这意味着可以直接比较和排序排序sorted_valuesresult.sort_values()print(fsorted {sorted_values})输出按区间数值顺序排序而不是字典序sorted[(0,30],(30,60],(60,100]]Categories(3, interval[int64, right]):[(0,30](30,60](60,100]]计算最小区间result.min()min(0,30](2) 内层pd.Interval对象​ 内层的每个元素是 pd.Interval 对象它不是字符串而是一个有左右端点的结构print(fresult[0] {result[0]})print(fresult[0] type {type(result[0])})result[0](0,30]result[0]typeclasspandas._libs.interval.Interval可以直接获得左/右边界print(fresult[0] left {result[0].left}) print(fresult[0] right {result[0].right})result[0]left0result[0]right30可以判断某个值是否属于这一区间print(f5 in result[0] ? {5inresult[0]})5inresult[0]?True(3)常见坑转成字符串后顺序丢失​ 一旦.astype(str)Interval 退化成普通字符串排序变成字典序。spd.Series([2,7,50])resultpd.cut(s,bins[0,5,10,100])Categorical排序按数值排序print(f按数值排序{result.sort_values().values})按数值排序[(0,5],(5,10],(10,100]]Categories(3, interval[int64, right]):[(0,5](5,10](10,100]]字符串排序按字典序print(f按字典序排序{result.astype(str).sort_values().values})输出按字典序排序[(0, 5](10, 100](5, 10]]所以在需要保持顺序的场景画图、分组统计中尽量保留 Categorical 类型不要过早转字符串。2.3 值落在区间外​ 如果数据超出了自定义 bins 的范围对应位置返回 NaN不会报错pd.cut([5,50,150],bins[0,30,100])# (0, 30], (30, 100], NaN​ 这里因为分箱边界为( 0 , 30 ] (0, 30](0,30]和( 30 , 100 ] (30, 100](30,100]150 没有对应箱可以放静默变成缺失值。三、pd.qcut 详解3.1 签名与核心参数pd.qcut(x,q,labelsNone,retbinsFalse,precision3,duplicatesraise)​ 比cut少了right、include_lowest、bins这几个参数多了一个q。(1)q​q支持两种形式形式一整数等频分为N NN箱pd.qcut(s,q4)形式二列表指定分位数切分点pd.qcut(s,q[0,0.25,0.75,1.0])# 自定义三箱​ 形式 2 可以做非均匀的分位切割比如把尾部 5% 单独拎出来。​labels、retbins的用法和cut完全一致不再重复。(2) duplicates 参数​ 这是qcut最容易踩的坑。当数据中某个值出现次数太多多到跨越了分位数边界时会产生重复的切分点spd.Series([1,1,1,1,2,3,4,5])pd.qcut(s,q4)# ValueError: Bin edges must be unique​ 8 个值中1出现了4次因此25 分位和 50 分位都落在 1 上切分点重复了。​ 解法是duplicatesdrop自动合并重复的切分点实际箱数会少于请求的qpd.qcut(s,q4,duplicatesdrop)​ 箱数变少意味着等频的约束被放松了。遇到这种情况通常说明数据在某个值上过度集中值得先去看看分布再决定分箱策略。3.2retbins的重要性​qcut的切分点是从数据分布中算出来的你事先不知道具体值。用retbinsTrue把切分点取出来后续才能对新数据复用同样的分箱逻辑_,edgespd.qcut(train[月收入],q5,retbinsTrue,duplicatesdrop)# edges 是一个 numpy 数组比如 [1000, 3200, 5800, 9500, 16000, 80000]# 对测试集复用同样的切分点——注意这里用的是 pd.cut不是 qcutpd.cut(test[月收入],binsedges,include_lowestTrue)​这是一个关键模式qcut只在训练集上调用一次之后所有分箱都用cut 保存的 edges。四、对比总结维度pd.cutpd.qcut切分依据值域均匀等距样本量均匀等频核心参数bins整数/列表q整数/分位数列表切分点来源由值域范围决定或手动指定由数据分位数决定偏斜数据表现部分箱样本极少各箱样本量接近典型用途业务有明确分段逻辑探索性分析、特征工程初始分箱复用方式直接复用bins列表先retbins取出 edges再用cut复用​ 两个函数不是替代关系。实际项目中经常先用qcut探索数据分布、确定初始切分点再根据业务需要用cut做精细调整。