1. Spark执行计划基础从Explain开始说起第一次看到Spark执行计划的时候我完全被那一大串树状结构搞懵了。记得当时有个查询跑了快2小时还没结束我试着加了个.explain()结果输出像天书一样。后来才发现这其实是Spark给我们的一把金钥匙 - 它能告诉你Spark到底准备怎么执行你的查询。Explain输出的本质是Spark优化器Catalyst的工作日志。当你写一个DataFrame操作或SQL查询时Spark并不会直接执行它而是会经历多个阶段的优化转换。举个例子假设我们有个简单的join操作df1 spark.table(orders) df2 spark.table(customers) result df1.join(df2, customer_id).groupBy(region).count() result.explain()这个.explain()输出的物理计划会显示Spark如何安排表扫描、join策略可能是BroadcastHashJoin或SortMergeJoin、聚合操作等。我常用的一个技巧是比较优化前后的计划 - 有时候一个简单的.cache()就能让计划完全不同。Explain有几种输出模式我最常用的是extended和formatted。extended会显示完整的逻辑到物理计划的转换过程而formatted会把复杂的操作拆分成更易读的块。当遇到特别难优化的查询时codegen模式可以显示Spark生成的Java代码 - 虽然看起来费劲但能发现一些深层次问题。2. 深入解析Explain的输出模式2.1 基础模式物理执行计划速览最简单的explain()或者explain(modesimple)只显示物理计划。这个模式适合快速检查执行流程比如确认是否使用了广播join。我经常用它来做初步检查 - 如果在这里就看到Exchangeshuffle操作特别多那性能肯定不会好。物理计划中的每个操作符都有特定含义Exchange数据需要shuffle这是性能杀手HashAggregate聚合操作成对出现表示先局部聚合再全局聚合SortMergeJoin最常见的join方式需要两边数据都按join key排序BroadcastHashJoin把小表广播到所有节点效率最高2.2 Extended模式逻辑到物理的全景视图Extended模式是我调试复杂查询的首选。它会显示完整的优化过程分为四个关键阶段Parsed Logical Plan只验证SQL语法正确性Analyzed Logical Plan验证表名、列名存在且类型匹配Optimized Logical Plan应用各种优化规则后的版本Physical Plan最终要执行的计划举个例子有一次我发现一个查询突然变慢通过对比优化前后的逻辑计划发现Spark停止使用一个关键的谓词下推优化。原来是新增的一个UDF让优化器无法确定其确定性属性。2.3 Formatted模式人类可读的性能报告Formatted模式特别适合给非技术人员解释性能问题。它会把复杂的操作分解成带缩进的块并标注每个操作的统计信息。我经常用它生成的报告和团队讨论优化方案。这个模式会明确显示每个阶段的输入输出大小估计数据倾斜情况如果统计信息准确具体的join策略选择原因过滤条件实际应用的位置2.4 Codegen模式深入JVM层级的优化当常规优化手段都用尽时codegen模式可以显示Spark生成的Java代码。通过它我发现过几个有趣的问题某些数据类型转换意外生成了大量临时对象复杂的条件表达式导致方法过长JIT无法有效优化自动向量化优化未能触发不过要读懂这个需要一些Java字节码知识。我通常只在其他方法都无效时才用这个终极大招。3. 从执行计划识别性能瓶颈3.1 Shuffle最昂贵的操作在物理计划中Exchange节点代表shuffle操作。我遵循的原则是能避免就避免不能避免就减少。常见的shuffle诱因包括join操作除非是广播joingroupBy/repartition等重分区操作某些窗口函数有一次优化经历让我印象深刻一个看似简单的groupBy竟然导致3次shuffle。通过执行计划发现是多个聚合操作以不同顺序执行导致的改用agg()一次完成所有聚合后性能提升了5倍。3.2 数据倾斜隐藏的性能杀手执行计划虽然不会直接说这里有倾斜但有几个明显迹象某个reduce阶段特别慢而其他很快完成在formatted模式看到某个分区的输入数据量远大于其他同一个操作符有多个实例运行时差异很大我常用的解决套路对倾斜键加随机前缀分散到不同分区单独处理倾斜键和非倾斜键对于大表join小表改用广播join3.3 Join策略选择广播还是排序合并执行计划会明确显示使用的join策略。理想情况下小表应该被广播。但有时候Spark会错误估计表大小这时可以使用广播提示df.hint(broadcast)手动设置广播阈值spark.conf.set(spark.sql.autoBroadcastJoinThreshold, 50MB)对于中等大小表考虑先过滤再广播我曾经优化过一个查询把默认的SortMergeJoin改为BroadcastHashJoin后从30分钟降到了30秒。4. 高级优化技巧与实践案例4.1 利用统计信息优化执行计划Spark的CBO基于成本的优化依赖统计信息。通过执行计划可以发现当看到Statistics(sizeInBytesNaN)时说明缺少统计信息执行ANALYZE TABLE计算统计信息后计划可能显著改变我有个实际案例对一个10亿行的表计算统计信息后join顺序自动调整查询时间从1小时降到15分钟。4.2 自适应查询执行(AQE)的影响Spark 3.0引入的AQE会在运行时优化计划。要充分利用AQE确保spark.sql.adaptive.enabledtrue在formatted计划中查找isFinalPlantrue标记注意运行时合并小分区的优化有次发现一个查询在Spark 3.0比2.4快很多查看执行计划发现AQE自动把初始的1000个分区合并到了更合理的200个。4.3 资源调优与执行计划的关联执行计划可以帮助合理设置资源很多Exchange节点可能需要更多executor深度很长的计划树考虑增加并行度看到很多spill到磁盘加大executor内存我通常结合执行计划和Spark UI来做资源调优。比如发现某个stage有200个任务但只有50个core就会适当增加并行度。4.4 物化视图与缓存优化执行计划能显示是否使用了缓存的数据。关键点查找InMemoryTableScan节点缓存前先.filter()只保留需要的部分注意缓存的数据是否被逐出曾经有个ETL作业通过 strategically缓存几个中间数据集总运行时间从4小时降到了1小时。执行计划清楚地显示了缓存命中情况。