巧解决的是能不能学好而指标分析解决的是这次改动是否真正创造了业务价值以及为什么。一个非常常见、但又极易被忽视的事实是推荐系统并不存在一套放之四海而皆准的核心业务指标。不同产品形态、不同交互方式、不同公司发展阶段其最优目标函数本身就不同。算法工作的第一步并不是建模而是明确在当前场景下系统究竟在为谁优化什么。下面以作者的经验谈一谈如何在不同业务场景下理解和拆解核心指标。一、不同推荐场景下的核心线上指标由关键行为决定1. 内容型信息流抖音 / 小红书 / 百度 App Feed在典型的内容型平台中推荐系统承担的是用户注意力分配器的角色。其长期目标并非单次点击最大化而是用户规模 × 用户使用深度。因此最核心的线上指标通常是DAUDaily Active Users用户规模与留存能力的直接体现分发量曝光 / 点击次数系统供给效率与用户响应的体现观看时长Watch Time用户对内容的真实消费深度。在列表页Feed 流场景下这三者共同构成一个完整的行为链条曝光点击消费时长曝光点击消费时长曝光→点击→消费时长其中点击更偏兴趣触发时长更偏内容质量验证。工程实践中只优化 CTR 而忽视时长几乎一定会引入点击欺骗或低质内容问题。2. 沉浸式推荐场景短视频连续滑动在沉浸式场景下用户不再显式点击而是通过是否继续滑动表达偏好。交互范式发生变化指标体系也必须随之调整。此时点击指标失去意义关注重点转为DAU用户是否愿意进入沉浸式场景单用户时长 / Session 时长是否愿意持续消费。从目标函数角度看沉浸式推荐更接近max;[Session Watch Time]而不是 CTR 最大化问题。这类场景的本质是时间竞争而非内容点击竞争。3. 应用商店 / 下载型推荐在应用商店、游戏下载等场景中推荐系统更接近一个转化漏斗优化器。典型指标分层如下线上核心指标下载量Install过程指标CTR是否感兴趣CVR是否完成下载。推荐系统在这里承担的是将有限曝光转化为真实安装的职责其目标可以抽象为max;∑(click)⋅(install∣click)4. 电商推荐在电商场景中推荐系统直接服务于商业变现最终目标高度明确GMVGross Merchandise Volume而 DAU、点击、加购、下单等指标全部都是 GMV 的中间变量。典型分解关系为曝光客单价曝光客单价GMV∑曝光⋅CTR⋅CVR⋅客单价因此电商推荐中的任何指标提升都必须回答一个问题是否以可解释的方式推动了 GMV小结推荐系统的核心线上指标本质上取决于用户在该场景下最重要的一次关键行为是什么。算法不是在优化指标本身而是在优化用户行为的发生概率。二、为什么实验分析不能只看大盘指标DAU、总时长、总分发等大盘指标只能回答一个问题这个改动整体上是正向还是负向但它们无法回答原因。在真实工程实践中一个指标上涨可能来自某一类用户暴涨某一类内容被过度放大流量结构发生迁移模型过拟合某一子分布。因此实验分析的核心不是看结果而是分析结果。三、实验分析中的关键拆解维度1. 按用户活跃度拆解常见分桶方式包括新用户低活跃用户高活跃用户。这是为了判断模型是在拓展用户规模还是关注核心用户是否存在对新用户不友好的风险。2. 按资源类型拆解如视频 vs 图文长视频 vs 短视频强互动内容 vs 弱互动内容。这是为了判断模型是否改变了内容供给结构是否存在资源类型之间的挤占效应以及分析改动主要对哪些资源和场景产生影响。3. 按场景拆解例如列表页沉浸式页二跳页。很多模型改动只在特定场景有效如果不拆解极易被大盘掩盖。四、一个合格的改动必须在实验前给出清晰、可验证的指标预期在实际工作中一个推荐算法工程师在提交实验前脑子里往往已经有了大概的预期收益点。这一推演通常围绕三个问题展开。1. 这次改动本质上到底改了什么从经验上看绝大多数推荐系统改动都可以被严格归类到三类之一而且不同类型的改动其风险点和预期指标也完全不同。1样本分布变化这是线上最常见、但也最容易被低估影响的一类改动。典型例子包括放宽或收紧正样本定义如完播阈值、有效点击阈值调整采样策略如增加低活跃用户样本占比引入/移除某一类场景或用户样本。经验判断样本分布变化往往优先影响的是模型输出的校准性而非排序能力很容易出现离线 AUC 几乎不变但线上 CTR / 时长发生明显偏移的情况对新用户、低活跃用户的影响通常大于核心用户。因此这类改动在实验前往往就需要预期哪一类用户的指标会最先变化是否可能引入短期收益、长期风险例如过度迎合轻度行为。2特征表达变化这类改动通常是算法感知世界的方式发生了变化。例如新增中长期行为特征调整统计窗口如 7 天 → 30 天引入跨场景、跨资源的聚合特征。经验判断特征表达变化往往首先影响模型的区分能力离线 AUC 提升通常较为明显但线上效果高度依赖于特征是否稳定、可泛化。一个非常常见的现象是离线指标提升显著但线上只有特定人群或特定资源受益。因此需要在实验前就明确哪类用户行为被增强建模是否会导致推荐结果更加收敛或发散。3模型能力变化如网络结构调整多目标权重变化新的辅助任务引入。经验判断模型能力变化往往是最慢生效、但上限最高的一类改动初期实验波动大对数据分布极其敏感如果指标上涨通常具有较好的可持续性。但同时这类改动也是最容易被数据噪声掩盖真实价值的。2. 这次改动最直接影响的是哪些用户行为有经验的算法工程师在看实验时很少直接盯着 DAU 或总时长而是先问一个问题这次改动最先改变的用户“微观行为”是什么常见的行为层变量包括点击概率(click)单次消费深度[watch time∣click]行为稳定性如是否减少“点进即退”。举一个非常典型的例子如果你引入的是更强的兴趣相关特征合理预期往往是CTR 先涨但如果内容供给质量未同步提升单次时长可能不变甚至下降。如果你优化的是完播或时长目标经验上常见的现象是CTR 变化不大但点击后的消费深度显著提升在沉浸式场景中效果更明显。一个重要经验是部分改动并不会同时提升点击概率和消费深度它们之间往往存在 trade-off。3. 行为变化如何一步步传导到线上业务指标这是区分会做实验和会分析实验的关键。一个成熟的分析逻辑通常会明确如下链路模型输出变化用户行为变化场景级指标变化大盘指标变化模型输出变化用户行为变化场景级指标变化大盘指标变化模型输出变化→用户行为变化→场景级指标变化→大盘指标变化例如CTR 上涨 ≠ 分发一定上涨在流量受限或排序强竞争场景中CTR 提升可能只是内部重排。单次时长上涨 ≠ 总时长上涨如果 session 数下降可能被完全抵消。经验丰富的工程师在实验前往往就会提前判断哪些指标是必然变化的哪些指标是依赖系统联动的哪些变化如果出现反而是危险信号。如果一个改动无法理清这条传导路径那么即使实验结果为正也需要保持高度谨慎。五、离线指标与线上指标的关系能力代理而不是目标本身在大厂推荐系统中离线指标的定位其实非常明确离线指标衡量的是模型有没有学到某种能力而不是业务是否成功。从经验角度看可以这样理解