在这篇文章中我将结合最近一次真实的生产事故分享一套经过实战检验的CPU排查方法论。这不是教科书上那些”用jstack查看线程栈”的泛泛之谈而是我们在72小时连续作战中总结出来的血泪经验。一、告警响应该做什么别急着重启很多团队的第一反应是”重启大法好”。但在没有定位问题之前重启就像是捂住温度计来”治疗”发烧——问题暂时消失了但根因还在而且你失去了最宝贵的现场信息。黄金5分钟应该做的事保留现场立即执行top -H -p pid保存线程CPU占用快照线程Dump连续执行3次jstack pid thread_dump_$(date %s).txt间隔5秒堆Dump如果CPU高伴随内存异常立即jmap -dump:live,formatb,fileheap.hprof pid监控数据截图或导出该时间段的JVM监控指标GC次数、堆使用率、线程数我们上次事故中就是因为运维同学”好心”地立即重启导致只能从日志中反推问题多花了4小时。二、定位CPU热点的三板斧2.1 第一板斧top jstack 定位高CPU线程# 1. 找出占用CPU最高的进程 top -c # 假设Java进程PID是12345 # 2. 查看该进程中各线程的CPU占用 top -H -p 12345 # 假设发现线程ID 12456占用CPU 80%关键技巧将十进制的线程ID转换为16进制因为jstack中的线程ID是nid0x十六进制# Linux/Mac printf %x\n 12456 # 输出: 30a8 # 然后在jstack输出中搜索 nid0x30a8 grep -A 20 nid0x30a8 thread_dump_*.txt真实案例中的发现payment-async-pool-32 #156 prio5 os_prio0 tid0x00007f8a4c0a8000 nid0x30a8 runnable [0x00007f89e1b4d000] java.lang.Thread.State: RUNNABLE at com.example.service.PaymentService.processPayment(PaymentService.java:187) at com.example.async.AsyncPaymentTask.run(AsyncPaymentTask.java:45) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)看起来是支付异步处理线程在运行但这正常吗继续深挖。2.2 第二板斧arthas profiler 生成火焰图jstack只能看到某一时刻的快照要找到真正的CPU热点需要采样分析。这里强烈推荐阿里开源的 arthas。# 启动arthas java -jar arthas-boot.jar # 选择目标Java进程后执行profiler profiler start --event cpu --duration 30 # 等待30秒采样... profiler getSamples # 查看采样数 profiler stop --format flamegraph --file cpu_flamegraph.html # 生成火焰图如何解读火焰图宽度代表CPU时间占比越宽说明占用CPU越多高度代表调用栈深度顶部平顶山通常是热点代码的标志在我们的案例中火焰图暴露了一个惊人的事实[Top 5 CPU consumers] 1. com.example.service.PaymentService.processPayment() - 45.2% └─ JSON.parseObject() - 38.7% └─ com.alibaba.fastjson.parser.deserializer.MapDeserializer.parseMap() - 35.1% 2. java.util.concurrent.LinkedBlockingQueue.poll() - 12.3% 3. java.lang.String.hashCode() - 8.9%问题定位PaymentService.processPayment()方法消耗了45%的CPU其中38.7%花在了JSON反序列化上2.3 第三板斧代码审查 性能分析打开PaymentService.java:187的代码// 问题代码已脱敏 public class PaymentService { private static final ObjectMapper objectMapper new ObjectMapper(); public PaymentResult processPayment(PaymentRequest request) { // 踩坑点1每次请求都解析JSON配置 String configStr redisTemplate.opsForValue().get(payment:config: request.getChannel()); MapString, Object config JSON.parseObject(configStr, new TypeReferenceMapString, Object() {}); // 踩坑点2在循环中进行JSON序列化 for (OrderItem item : request.getItems()) { String itemJson JSON.toJSONString(item); log.debug(Processing item: {}, itemJson); // 生产环境开了DEBUG日志 } // 踩坑点3大量字符串拼接 String key payment: request.getMerchantId() : request.getChannel() : System.currentTimeMillis(); // ... 业务逻辑 } }三个致命问题配置重复解析每笔支付请求都从Redis读取并解析JSON配置而这个配置每分钟才变一次DEBUG日志生产开启log.debug()虽然不会输出但参数计算JSON序列化仍然执行字符串拼接性能差在高频场景下字符串拼接产生大量临时对象三、性能优化的三把手术刀3.1 第一刀缓存预加载// 优化后代码 public class PaymentService { private static final ObjectMapper objectMapper new ObjectMapper(); // 使用Guava Cache缓存配置1分钟刷新一次 private final LoadingCacheString, MapString, Object configCache Caffeine.newBuilder() .maximumSize(100) .expireAfterWrite(1, TimeUnit.MINUTES) .build(this::loadConfig); private MapString, Object loadConfig(String channel) { String configStr redisTemplate.opsForValue().get(payment:config: channel); return JSON.parseObject(configStr, new TypeReferenceMapString, Object() {}); } public PaymentResult processPayment(PaymentRequest request) { // 优化1从本地缓存读取避免重复解析 MapString, Object config configCache.get(request.getChannel()); // 优化2生产环境避免JSON序列化使用占位符 if (log.isDebugEnabled()) { for (OrderItem item : request.getItems()) { log.debug(Processing item: {}, item); // 直接打印对象由日志框架处理 } } // 优化3使用StringBuilder或String.format String key String.format(payment:%s:%s:%d, request.getMerchantId(), request.getChannel(), System.currentTimeMillis()); // ... 业务逻辑 } }性能对比数据基于JMeter 1000并发压测指标优化前优化后提升平均RT2876ms89ms97%CPU使用率900%120%87%QPS347892025倍99%延迟5632ms156ms97%3.2 第二刀异步化 线程池隔离在排查过程中我们还发现另一个问题支付回调处理是同步阻塞的导致Tomcat线程池耗尽。// 优化方案使用线程池隔离 异步处理 Configuration public class AsyncConfig { Bean(paymentExecutor) public ThreadPoolTaskExecutor paymentExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setCorePoolSize(20); executor.setMaxPoolSize(100); executor.setQueueCapacity(500); executor.setThreadNamePrefix(payment-async-); executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); executor.initialize(); return executor; } } Service public class PaymentCallbackService { Async(paymentExecutor) public CompletableFutureCallbackResult processCallback(CallbackRequest request) { // 耗时的回调处理逻辑 return CompletableFuture.supplyAsync(() - { // 1. 验签 // 2. 更新订单状态 // 3. 发送通知 return new CallbackResult(); }); } }3.3 第三刀JVM参数调优针对高并发场景我们还需要调整JVM参数# 优化后的JVM参数 -Xms4g -Xmx4g # 堆内存固定避免动态扩容 -XX:UseG1GC # 使用G1垃圾收集器 -XX:MaxGCPauseMillis200 # 目标GC暂停时间 -XX:ParallelRefProcEnabled # 并行处理Reference -XX:DisableExplicitGC # 禁止显式GC -XX:HeapDumpOnOutOfMemoryError # OOM时自动dump -XX:HeapDumpPath/data/logs/heapdump.hprof四、避坑指南这些坑我们替你踩过了坑1fastjson的autoType坑// 危险代码 JSON.parseObject(jsonString, Object.class); // 可能触发autoType漏洞 // 安全做法 ParserConfig.getGlobalInstance().setAutoTypeSupport(false); JSON.parseObject(jsonString, new TypeReferencePaymentRequest() {}, Feature.DisableCircularReferenceDetect);坑2线程池队列无界导致OOM// 危险LinkedBlockingQueue默认Integer.MAX_VALUE new ThreadPoolExecutor(10, 100, 60L, TimeUnit.SECONDS, new LinkedBlockingQueue()); // 队列长度21亿 // 正确限制队列大小 new ThreadPoolExecutor(10, 100, 60L, TimeUnit.SECONDS, new LinkedBlockingQueue(1000)); // 最多1000个待处理任务坑3arthas在线调试影响性能arthas的watch、trace等命令会对方法调用进行增强生产环境慎用我们曾经因为在生产开启trace命令导致性能下降30%。正确做法使用profiler命令基于async-profiler性能影响%限制采样时间30秒~1分钟调试完成后立即stop或quit五、监控体系建设让问题可视化光有排查手段还不够我们需要在问题发生前就建立监控体系5.1 JVM监控指标# Prometheus Grafana 监控配置示例 jvm_metrics: - jvm_memory_used_bytes{areaheap} - jvm_gc_pause_seconds_sum - jvm_threads_current - jvm_cpu_usage_ratio alert_rules: - alert: HighCPUUsage expr: jvm_cpu_usage_ratio 0.8 for: 2m annotations: summary: CPU使用率超过80% - alert: HighThreadCount expr: jvm_threads_current 500 for: 1m annotations: summary: 线程数超过5005.2 应用层监控// 使用Micrometer埋点 Service public class PaymentService { private final MeterRegistry meterRegistry; private final Timer processTimer; public PaymentService(MeterRegistry meterRegistry) { this.meterRegistry meterRegistry; this.processTimer Timer.builder(payment.process.duration) .description(Payment processing time) .register(meterRegistry); } public PaymentResult processPayment(PaymentRequest request) { return processTimer.recordCallable(() - { // 业务逻辑 return doProcess(request); }); } }六、总结经验建立排查SOP经过这次事故我们团队总结了CPU问题的排查SOP标准操作流程Phase 1: 紧急响应0-5分钟保留现场thread dump, heap dump, 监控截图通知相关人开发、运维、业务评估影响范围是否影响核心业务Phase 2: 快速止血5-15分钟如果有重启窗口灰度重启1台服务器观察如果有降级开关立即降级非核心功能扩容如果是资源不足Phase 3: 根因分析15分钟-2小时使用top jstack定位高CPU线程使用arthas生成火焰图代码审查 日志分析Phase 4: 长期优化事后修复代码问题完善监控告警压测验证复盘总结七、工具箱推荐最后分享一下我们的CPU排查工具箱工具用途性能影响top/htop实时查看进程/线程CPU占用无jstack线程栈快照低会触发Safepointarthas在线诊断profiler/watch/traceprofiler %, 其他命令较高async-profiler生成火焰图arthas底层使用%JProfilerIDE级性能分析需离线分析高不适合生产Prometheus Grafana监控 告警低结语CPU飙升问题并不可怕可怕的是遇到问题时手忙脚乱、无从下手。建立一套标准化的排查流程配备合适的工具才能在关键时刻快速定位问题。记住重启不是解决方案保留现场才能根治问题。