一、AUC 的本质一个排序概率1. 问题设定假设我们面对的是一个二分类 / 排序问题每个样本 有真实标签 ∈0,1模型给出一个连续预测分数 ∈分数越大模型认为样本“越可能是正样本”定义正样本集合∣1负样本集合∣02. AUC 的概率定义最本质定义AUC 的概率定义是从正样本集合中随机抽取一个样本从负样本集合中随机抽取一个样本正样本的预测分数大于负样本预测分数的概率。其数学形式为AUC1||⋅||∑∈∑∈[()12()]其中(⋅) 为指示函数当 时记为 0.5表示随机打平3. 这一点意味着什么AUC不依赖任何阈值AUC不是一个分类指标而是一个排序指标AUC 衡量的是模型是否倾向于把正样本整体排在负样本前面这也是为什么在推荐系统中即便最终没有明确的“正负分类决策”AUC 依然是最核心的离线评估指标之一。二、ROC 曲线定义几何视角下的同一个量1. ROC 曲线如何构造给定一组预测分数 我们引入一个阈值 若 ≥预测为正类若 预测为负类在每一个阈值 下可以计算真阳性率TPRTPR()TPP假阳性率FPRFPR()FPN当阈值 从 ∞ 连续下降到 −∞ 时点对 (FPR(),TPR()) 在平面上形成一条曲线即ROC 曲线。2. AUC 的 ROC 定义AUC 定义为 ROC 曲线下方的面积AUC∫01TPR(FPR),(FPR)这是一个几何意义上的定义。三、两种定义为什么是完全等价的一个统计学习中的经典结论是AUC(−)其中 表示正样本分数− 表示负样本分数。直观解释如下ROC 曲线本质是在按照 score 从高到低扫描排序结果每遇到一个正样本TPR 增加每遇到一个负样本FPR 增加某个正样本是否“早于”负样本被扫描到正对应于−因此ROC 曲线下面积等价于所有正负样本对中排序正确的比例。ROC 只是将“排序关系”用几何方式进行了表达。四、一个完整、可手算的例子1. 样本与预测分数样本labelscoreA10.90B10.60C00.70D00.40E00.20正样本A, B负样本C, D, E正负样本对总数2×362. 按概率定义逐对比较正样本负样本是否排序正确A(0.90)C(0.70)✓A(0.90)D(0.40)✓A(0.90)E(0.20)✓B(0.60)C(0.70)✗B(0.60)D(0.40)✓B(0.60)E(0.20)✓排序正确对数5总对数6AUC56≈0.833五、对应的计算代码下面给出两种 AUC 计算实现。1. 概率定义两两比较定义直译def auc_pairwise(labels, scores): 基于 AUC 的概率定义Pairwise Comparison进行计算。 输入 - labels: List[int] 或 1D array 样本真实标签取值为 {0, 1} 1 表示正样本0 表示负样本 - scores: List[float] 或 1D array 模型对每个样本给出的预测分数分数越大表示越倾向正类 输出 - auc: float AUC 值取值范围 [0, 1] 核心思想 随机取一个正样本 p 和一个负样本 n 统计 P(score_p score_n) 的比例 # 提取正样本 (label1) 的预测分数 pos_scores [s for l, s in zip(labels, scores) if l 1] # 提取负样本 (label0) 的预测分数 neg_scores [s for l, s in zip(labels, scores) if l 0] # 排序正确的正负样本对数量允许 0.5 的打平贡献 correct 0.0 # 正负样本对的总数量 |P| * |N| total len(pos_scores) * len(neg_scores) # 对所有正负样本对进行两两比较 for sp in pos_scores: # sp: positive sample score for sn in neg_scores: # sn: negative sample score if sp sn: # 正样本分数严格大于负样本分数排序正确 correct 1.0 elif sp sn: # 分数相等按约定计为 0.5随机打平 correct 0.5 # sp sn 时不加分表示排序错误 # AUC 排序正确的比例 return correct / total复杂度分析时间复杂度(||⋅||)其中 || 为正样本数|| 为负样本数空间复杂度(||||)适用场景严格对应 AUC 的概率定义适合教学、理论验证、小规模数据不适用于工程和大规模离线计算2. 排序 / Rank-based 实现import numpy as np def auc_rank(labels, scores): 基于排序Rank / Mann–Whitney U的 AUC 计算方法。 输入 - labels: List[int] 或 1D numpy array 样本真实标签取值为 {0, 1} - scores: List[float] 或 1D numpy array 模型预测分数分数越大表示越可能为正样本 输出 - auc: float AUC 值取值范围 [0, 1] 核心思想 1. 按预测分数从小到大排序 2. 扫描排序后的样本序列 3. 每遇到一个正样本统计其前面已有多少负样本 这些负样本都被该正样本“正确地排在后面” # 转为 numpy array便于排序和向量化操作 labels np.asarray(labels) scores np.asarray(scores) # 获取按照 score 从小到大排序后的索引 order np.argsort(scores) # 按排序后的顺序重排标签 labels_sorted labels[order] # 正样本数量 |P| n_pos np.sum(labels_sorted 1) # 负样本数量 |N| n_neg np.sum(labels_sorted 0) # 已扫描到的负样本数量前缀负样本计数 neg_count 0 # 排序正确的正负样本对数量 correct 0.0 # 从低分到高分扫描 for l in labels_sorted: if l 1: # 当前是正样本 # 它前面的所有负样本都满足 score_neg score_pos correct neg_count else: # 当前是负样本增加负样本计数 neg_count 1 # AUC 排序正确的正负样本对 / 总正负样本对 return correct / (n_pos * n_neg)复杂度分析时间复杂度(log⁡)主要来自排序操作其中 ||||空间复杂度()工程说明与 Mann–Whitney U 统计量完全等价是工业界离线 AUC 计算Spark / MapReduce / Flink的理论基础可自然扩展为分桶、分 user、分实验组的 AUC 统计但上述该方法np.argsort(scores)会存在并列分数的bug问题正负分数相同的时候贡献应该为0.5而不是1或者0修正后import numpy as np def auc_rank(q_list, label): q_list np.array(q_list) label np.array(label) rank_index np.argsort(q_list) q_list_ranked q_list[rank_index] label_ranked label[rank_index] total_pos np.sum(label_ranked 1) total_neg np.sum(label_ranked 0) l, n 0, len(label_ranked) cum_neg, cum_pos 0, 0 while l n: r l while r n and q_list_ranked[l] q_list_ranked[r]: r 1 group_neg np.sum(label_ranked[l:r] 0) group_pos np.sum(label_ranked[l:r] 1) cum_pos group_pos * cum_neg group_pos * group_neg * 0.5 cum_neg group_neg l r return cum_pos / (total_pos * total_neg) q [0.1, 0.9, 0.2, 0.8, 1, 0.2, 0.3, 0.8] label [0, 1, 0, 0, 1, 0, 0, 1] auc auc_rank(q, label) print(fauc:{auc})分桶统计工程实现def calc_auc(score_list, label_list): 使用分桶法计算AUCROC曲线下面积。 将预测分数离散化到固定数量的桶中统计每个桶的正负样本数 然后按分数从高到低遍历使用梯形法则计算ROC曲线下面积。 Args: score_list: 模型预测分数列表取值范围应在[0, 1]之间 label_list: 真实标签列表正样本0负样本0 Returns: tuple: (正样本数, 负样本数, AUC值) - 当正样本或负样本数为0时返回(0, 0, 0.5) - AUC值范围为[0, 1]0.5表示随机猜测水平 scoredict dict() numbin 10000 maxval 1.0 minval 0.0 step (maxval-minval)/numbin inv_step 1.0 / step total_pos 0 total_neg 0 for (score, label) in zip(score_list, label_list): c 0 v 0 if label 0: c 1 total_pos 1 else: v 1 total_neg 1 score_bin int((float(score) - minval) * inv_step) if scoredict.has_key(score_bin): scoredict[score_bin][0] v scoredict[score_bin][1] c else: scoredict[score_bin] [v, c] if total_neg 0: return 0, 0, 0.5 if total_pos 0: return 0, 0, 0.5 sorted_list sorted(scoredict.items(), keylambda x:x[0], reverseTrue) sum_pos 0 sum_neg 0 pretp 0.0 prefp 0.0 roc_auc 0.0 roc_curve dict() fpidx 0 for (binidx, value) in sorted_list: sum_neg (float(value[0])/total_neg) sum_pos (float(value[1])/total_pos) tp float(sum_pos) fp float(sum_neg) delta (fp-prefp)*(pretptp)*0.5 roc_auc delta roc_curve[fpidx] (fp, tp) fpidx 1 pretp tp prefp fp return total_pos, total_neg, roc_auc把连续 score 离散成很多桶bin统计每个桶里的正样本数和负样本数按 score 从高到低扫描桶构造 ROC 曲线并积分六、从 AUC 到 GAUC为什么需要分组评估排序质量在实际的推荐系统与广告投放场景中,单一的全局 AUC 往往无法准确反映模型的真实排序能力。这源于一个关键问题:推荐系统并非在全体用户的全部商品上进行统一排序,而是为每个用户独立生成个性化的推序结果。因此,我们需要一个能够反映用户内排序准确性的指标,这便是 GAUC(Group AUC)的核心价值所在。1. 全局 AUC 的局限性考虑一个典型场景:某电商平台为两位用户分别推荐商品。用户 A 是高活跃用户,点击率基线较高(例如整体在 0.3 左右);用户 B 是低活跃用户,点击率基线较低(例如整体在 0.05 左右)。即使模型给用户 B 的所有商品都打了较高的分数,但由于用户 B 本身点击倾向低,这些商品的真实点击率仍可能低于用户 A 未点击商品的分数。在这种情况下,如果我们将所有样本混在一起计算全局 AUC,会出现以下问题。第一,用户间的基线差异会被当作模型的排序能力来评估,即使模型完全没有学到用户内的排序关系,只要它能区分高活跃用户和低活跃用户,AUC 也可能表现良好。第二,模型可能过度依赖用户全局特征(如历史点击率),而忽视商品本身的质量与用户兴趣的精细匹配。第三,对于长尾用户或冷启动用户,模型的排序质量被高活跃用户的表现所掩盖,无法得到有效评估。因此,全局 AUC 在推荐场景中往往会高估模型的实际排序能力,因为它将用户间的差异误认为模型的预测能力。2. GAUC 的定义与计算原理GAUC 的核心思想是先对样本进行分组(通常按用户分组),在每个组内分别计算 AUC,然后对所有组的 AUC 进行加权平均。其数学定义为:GAUC∑∈⋅AUC∑∈其中,U 表示所有用户的集合,AUC_u 表示用户 u 对应样本集合内的 AUC 值,w_u 表示用户 u 的权重。权重的选择通常有两种方案。一种是按曝光次数加权,即 w_u 等于用户 u 的曝光样本总数,这种方式更关注高曝光用户的排序质量。另一种是等权重,即 w_u 恒等于 1,这种方式对每个用户一视同仁,更关注长尾用户的排序表现。在工业界,按曝光次数加权更为常见,因为高曝光用户贡献了更多的商业价值,其排序质量对整体业务指标的影响更大。GAUC 的优势在于以下几个方面。第一,它消除了用户间基线差异的影响,只关注用户内的相对排序质量,能够更准确地反映模型是否真正学到了用户-物品之间的匹配关系。第二,它能够单独评估每个用户的排序质量,便于发现模型在不同用户群体上的表现差异,从而针对性地优化模型。第三,在 AB 测试中,GAUC 的提升往往与线上点击率、转化率等业务指标的提升有更强的相关性,是更可靠的离线评估指标。3. GAUC 的 Rank-based 高效实现与全局 AUC 类似,GAUC 也可以通过排序统计的方式高效计算。关键在于先按用户分组,再在每个组内应用 Rank-based 方法。以下给出完整的工程实现。import numpy as np from collections import defaultdict def gauc_rank(user_ids, labels, scores, weight_typeimpression): 基于排序的 GAUC 计算方法(Group AUC)。 GAUC 通过在每个用户内部分别计算 AUC,然后进行加权平均, 从而消除用户间基线差异的影响,更准确地评估模型的用户内排序能力。 输入: - user_ids: List[str] 或 1D numpy array 每个样本对应的用户标识 - labels: List[int] 或 1D numpy array 样本真实标签,取值为 {0, 1} - scores: List[float] 或 1D numpy array 模型预测分数,分数越大表示越可能为正样本 - weight_type: str, 默认 impression 权重类型,可选值: - impression: 按用户曝光次数加权(工业界常用) - uniform: 等权重,每个用户权重为 1 输出: - gauc: float 加权后的 GAUC 值,取值范围 [0, 1] - user_auc_dict: dict 每个用户的 AUC 值字典,用于分析不同用户的排序质量 核心思想: 1. 将样本按 user_id 分组 2. 在每个用户内部,使用 Rank-based 方法计算 AUC 3. 根据指定的权重类型对所有用户的 AUC 进行加权平均 # 转为 numpy array user_ids np.asarray(user_ids) labels np.asarray(labels) scores np.asarray(scores) # 按用户分组:构建 user_id - 样本索引列表 的映射 user_sample_dict defaultdict(list) for idx, user_id in enumerate(user_ids): user_sample_dict[user_id].append(idx) # 存储每个用户的 AUC 和权重 user_auc_dict {} total_weighted_auc 0.0 total_weight 0.0 # 遍历每个用户,计算其 AUC for user_id, sample_indices in user_sample_dict.items(): # 提取该用户的所有样本 user_labels labels[sample_indices] user_scores scores[sample_indices] # 计算该用户内的正负样本数 n_pos np.sum(user_labels 1) n_neg np.sum(user_labels 0) # 如果该用户只有正样本或只有负样本,无法计算 AUC # 跳过该用户(也可以选择赋值为 0.5) if n_pos 0 or n_neg 0: continue # 使用 Rank-based 方法计算该用户的 AUC # 按 score 从小到大排序 order np.argsort(user_scores) sorted_labels user_labels[order] # 统计排序正确的正负样本对数 neg_count 0 correct_pairs 0.0 for label in sorted_labels: if label 1: # 正样本:其前面的所有负样本都被正确排序 correct_pairs neg_count else: # 负样本:计数增加 neg_count 1 # 该用户的 AUC user_auc correct_pairs / (n_pos * n_neg) user_auc_dict[user_id] user_auc # 确定该用户的权重 if weight_type impression: # 按曝光次数加权 weight len(sample_indices) elif weight_type uniform: # 等权重 weight 1.0 else: raise ValueError(fUnknown weight_type: {weight_type}) # 累加加权 AUC total_weighted_auc user_auc * weight total_weight weight # 计算 GAUC if total_weight 0: return 0.5, user_auc_dict gauc total_weighted_auc / total_weight return gauc, user_auc_dict这一实现的时间复杂度为 O(n log n),其中 n 为总样本数。虽然需要对每个用户的样本分别排序,但由于用户内样本数通常远小于总样本数,实际计算效率仍然很高。空间复杂度为 O(n |U|),其中 |U| 为用户数。在工程实践中,可以进一步优化。例如,对于拥有大量用户的场景,可以使用分布式计算框架(如 Spark)对不同用户并行计算 AUC,最后进行全局聚合。对于样本量特别少的用户(例如曝光数小于某个阈值),可以选择过滤或采用特殊处理策略,避免这些用户的 AUC 值对整体指标产生过大扰动。4. GAUC 在实际应用中的注意事项在使用 GAUC 进行模型评估时,需要关注几个关键问题。第一,分组粒度