最近在重构公司的智能客服系统原来的系统在高并发时经常卡顿用户排队时间长得让人抓狂。经过一番折腾我们设计了一套基于事件驱动的任务式工作流效果拔群吞吐量直接翻了好几倍。今天就来聊聊这套架构的设计思路和优化实战希望能给遇到类似问题的朋友一些启发。背景痛点传统轮询为何“力不从心”我们之前的系统是典型的“轮询数据库”模式。客服坐席端有个定时任务每隔几秒就去数据库里查有没有新分配的任务。听起来简单直接但在流量面前问题就全暴露出来了。数据库压力山大每次轮询都是一次数据库查询。平时还好一到促销活动瞬间涌入成千上万的咨询所有坐席的轮询请求像潮水一样涌向数据库CPU和连接数瞬间打满响应延迟飙升。雪崩效应数据库慢了轮询线程就卡住。线程池里的线程被占满新的用户请求连线程都申请不到直接超时失败。这就是典型的由下游服务数据库性能下降导致上游服务应用资源耗尽而崩溃的连锁反应。任务调度不公基于数据库时间戳的简单分配在并发下很容易出现任务被多个坐席“抢到”的情况虽然加了行锁但锁竞争又成了新的瓶颈。而且无法根据坐席的技能等级、当前负载进行智能路由。上图模拟了传统轮询模式在流量激增时数据库连接数和应用响应时间的变化可以看到明显的拐点和恶化趋势。核心问题在于这种同步、紧耦合的架构缺乏弹性无法应对流量的波峰波谷。技术选型队列还是事件流这是个问题要解耦和缓冲消息中间件是必然选择。但用哪种我们主要对比了两种主流思路。方案一基于Redis/Zookeeper的任务队列优点实现简单延迟极低。Redis的List结构做FIFO队列用BRPOP实现阻塞获取响应很快。Zookeeper可以利用其有序节点实现公平队列。缺点功能单一主要是“生产-消费”。消息堆积能力有限受内存限制缺乏完善的消息持久化、多订阅者Consumer Group、重试和死信机制。需要自己实现消费状态管理、负载均衡复杂度不低。方案二基于Kafka的事件流优点高吞吐、高可靠、持久化。分区Partition机制天然支持并行处理和顺序性保证。消费者组Consumer Group模式轻松实现负载均衡和“一个消息只被一个消费者处理”。支持消息回溯对于对账、重放场景非常友好。缺点相比Redis端到端延迟稍高毫秒到百毫秒级。概念和配置更复杂Topic, Partition, Offset, ISR等。我们的选型决策树如下是否需要极高的吞吐量十万级TPS以上和可靠性是 - Kafka。业务逻辑是否以“事件”为中心需要记录状态变迁事件溯源或可能被多个下游系统消费是 - Kafka。是否对延迟极度敏感要求亚毫秒级且消息量不大允许少量丢失是 - Redis。是否需要复杂的消息路由、过滤、转换可能需要结合考虑其他MQ如RocketMQ/Pulsar。对于智能客服工作流任务状态流转如“已创建-已分配-处理中-已完成”本身就是一系列事件且需要高可靠、高并发。因此我们选择了Kafka作为事件总线采用事件溯源Event Sourcing模式来驱动工作流状态机。核心实现事件驱动的工作流引擎1. 使用Spring StateMachine实现有状态工作流工作流的核心是状态和状态的转换。我们使用Spring StateMachine来清晰定义客服任务的生命周期。Configuration EnableStateMachine public class TaskStateMachineConfig extends StateMachineConfigurerAdapterString, String { Override public void configure(StateMachineStateConfigurerString, String states) throws Exception { states .withStates() .initial(CREATED) // 初始状态已创建 .state(ASSIGNED) // 已分配 .state(PROCESSING) // 处理中 .state(RESOLVED) // 已解决 .state(CLOSED) // 已关闭 .state(CANCELLED); // 已取消 } Override public void configure(StateMachineTransitionConfigurerString, String transitions) throws Exception { transitions .withExternal() .source(CREATED).target(ASSIGNED).event(ASSIGN_EVENT) .and() .withExternal() .source(ASSIGNED).target(PROCESSING).event(ACCEPT_EVENT) .and() .withExternal() .source(PROCESSING).target(RESOLVED).event(RESOLVE_EVENT) .and() .withExternal() .source(RESOLVED).target(CLOSED).event(CLOSE_EVENT) .and() .withExternal() .source(*).target(CANCELLED).event(CANCEL_EVENT); // 任何状态都可取消 } }状态机配置好后业务服务只需要发送对应的事件Event状态机就会驱动状态State流转。我们将状态机的状态持久化到数据库而触发状态变迁的“事件”则发送到Kafka。这就是事件溯源当前状态 初始状态 按顺序应用所有事件。2. Kafka事件溯源与幂等处理事件生产者如任务分配服务将事件发布到Kafka。Service public class TaskEventPublisher { Autowired private KafkaTemplateString, TaskEvent kafkaTemplate; public void publishEvent(String taskId, TaskEvent event) { String key taskId; // 使用任务ID作为Key确保同一任务的事件进入同一分区保证顺序 try { ListenableFutureSendResultString, TaskEvent future kafkaTemplate.send(task-events, key, event); future.addCallback( result - log.info(事件发送成功: topic{}, partition{}, offset{}, taskId{}, event{}, result.getRecordMetadata().topic(), result.getRecordMetadata().partition(), result.getRecordMetadata().offset(), taskId, event.getType()), ex - { log.error(事件发送失败 taskId: {}, event: {}, taskId, event, ex); // 这里应根据业务重要性进行重试或落本地库补偿 // 例如将失败事件存入“重试表”由定时任务扫描重发 retryRepository.save(new RetryEvent(taskId, event)); } ); } catch (Exception e) { log.error(发送Kafka消息时发生未预期异常, e); // 同样需要降级处理避免影响主流程 retryRepository.save(new RetryEvent(taskId, event)); } } }事件消费者工作流引擎监听Kafka消费事件并驱动状态机。幂等性是关键因为网络问题可能导致消费者重复收到同一事件。Service public class TaskEventConsumer { Autowired private StateMachineString, String stateMachine; Autowired private TaskStateRepository stateRepository; // 状态持久化仓库 KafkaListener(topics task-events, groupId task-workflow-group) public void consume(ConsumerRecordString, TaskEvent record) { String taskId record.key(); TaskEvent event record.value(); long offset record.offset(); int partition record.partition(); // 1. 幂等性检查查询已处理事件表判断(任务ID, 事件ID/或offset)是否已存在 if (eventProcessedRepository.existsByTaskIdAndEventId(taskId, event.getId())) { log.warn(重复事件已跳过。taskId: {}, eventId: {}, offset: {}, taskId, event.getId(), offset); return; // 关键直接返回不处理 } // 2. 获取或重建任务当前状态机状态 StateMachineContextString, String persistedContext stateRepository.get(taskId); stateMachine.stop(); if (persistedContext ! null) { stateMachine.getStateMachineAccessor().doWithAllRegions(access - access.resetStateMachine(persistedContext)); } else { // 新任务从初始状态开始 } stateMachine.start(); // 3. 发送事件驱动状态变迁 boolean accepted stateMachine.sendEvent(MessageBuilder.withPayload(event.getType()) .setHeader(taskId, taskId) .setHeader(eventPayload, event.getPayload()) .build()); if (accepted) { // 4. 状态变迁成功持久化新的状态机上下文 StateMachineContextString, String newContext stateMachine.getStateMachineAccessor() .doWithRegion(access - access.getStateMachineContext()); stateRepository.save(taskId, newContext); // 5. 记录已处理事件用于幂等 eventProcessedRepository.save(new ProcessedEvent(taskId, event.getId(), partition, offset)); log.info(事件处理成功并状态已持久化。taskId: {}, newState: {}, taskId, stateMachine.getState().getId()); } else { log.error(状态机拒绝事件。当前状态可能不允许此事件。taskId: {}, event: {}, currentState: {}, taskId, event.getType(), stateMachine.getState().getId()); // 可以发送到死信队列(DLQ)供人工排查 dlqService.sendToDlq(record); } } }通过eventProcessedRepository可以用Redis或数据库实现记录已处理的事件ID或Kafka的(topic, partition, offset)组合在消费前先查一下就能有效避免重复消费导致的状态错乱。性能优化从压测数据到优化手段架构搭好了性能如何我们用了JMeter进行了压测。示意图优化前后吞吐量TPS与平均响应时间RT对比。蓝色柱状图为旧系统橙色为新系统。可见新系统在并发用户数增加时TPS保持线性增长且维持高位RT保持平稳且低位。压测结果显示新架构事件驱动异步相比旧系统同步轮询在相同硬件下请求吞吐量QPS提升了300%以上P99响应延迟从秒级降低到百毫秒级。这主要得益于以下几点优化异步化与解耦用户请求创建任务只需将事件丢到Kafka即可返回耗时极短。繁重的任务分配、状态流转由下游消费者异步处理不会阻塞用户线程。批量处理Batch Processing在消费者端我们不是处理一条消息就提交一次偏移量Offset而是积累一小批如100条或200ms时间窗口再统一处理并提交。KafkaListener(topics task-events, groupId task-workflow-group, containerFactory batchFactory) public void consumeBatch(ListConsumerRecordString, TaskEvent records) { // 1. 按任务ID分组避免对同一任务状态机频繁启停 MapString, ListConsumerRecordString, TaskEvent groupedByTaskId ...; for (Map.EntryString, ListConsumerRecordString, TaskEvent entry : groupedByTaskId.entrySet()) { // 2. 按Offset顺序处理同一任务的事件Kafka保证分区内顺序 ListConsumerRecordString, TaskEvent sortedRecords sortByOffset(entry.getValue()); for (ConsumerRecordString, TaskEvent record : sortedRecords) { // 处理单个事件内含幂等检查 processSingleEvent(record); } } // 3. 批量提交偏移量 // 注意需确保处理逻辑成功后再提交否则可能丢失消息。失败时可记录日志并跳过错位批次。 }批量处理大幅减少了与数据库状态持久化、幂等记录的交互次数也降低了Kafka提交偏移量的网络开销。背压机制Backpressure为了防止消费者处理速度跟不上生产速度导致消息堆积我们实现了简单的背压。当内部处理队列长度超过阈值时暂停从Kafka拉取消息通过pause()监听器容器待队列消化一部分后再恢复resume()。这避免了内存溢出也让系统在过载时能优雅降级而不是崩溃。避坑指南那些我们踩过的“坑”分布式锁的误用在早期版本我们担心任务被重复分配在分配逻辑里用了Redis分布式锁。结果在高并发下锁成了性能瓶颈。正确做法利用Kafka分区和消费者组的特性。将“坐席ID”或“技能组ID”作为消息Key确保同一个坐席或技能组的任务分配请求总是被发送到Kafka的同一个分区。而处理这个分区的消费者实例在同一消费者组内是唯一的这就天然实现了“串行化”处理无需额外加锁。分布式锁应仅用于极短时间的、跨服务的、对强一致性要求极高的临界资源保护而非业务流程控制。工作流状态持久化的策略我们对比了三种策略。全量快照定期将状态机完整上下文序列化保存。恢复快但存储空间大可能丢失两次快照之间的事件。事件溯源只存储事件流。恢复时需要从头回放所有事件恢复慢但存储空间小有完整历史。混合模式我们采用的定期保存全量快照同时持久化事件流。恢复时先加载最新的快照再回放快照之后的事件。这是折中方案兼顾了恢复速度和存储成本。具体快照频率可根据业务容忍的回放事件数量来定。延伸思考不止于客服对话这套以事件为核心、状态机驱动的异步工作流架构其实非常通用。我们正在尝试将其扩展到客服质检场景。传统质检是定时跑脚本扫描历史对话计算各项指标响应时长、敏感词、服务用语等耗时耗力。现在我们可以将“客服发送一条消息”、“用户发送一条消息”、“对话关闭”等都定义为事件发送到conversation-events主题。创建一个“智能质检”消费者组实时消费这些事件。在消费者内部为每一通对话维护一个“质检状态机”状态可以是“待分析”、“分析中”、“有风险”、“无风险”、“已复核”等。根据流入的事件实时计算指标如响应超时、特定关键词触发并驱动质检状态机流转。一旦状态进入“有风险”系统可自动生成工单或提醒人工复核。这样一来质检就从“事后抽查”变成了“事中实时预警”风控能力大大增强。这个思路同样可以应用到订单履约、风控审核、IT运维自动化等任何有复杂状态流转和事件驱动的场景。这次架构升级让我们深刻体会到面对高并发和复杂业务流程异步、事件驱动、状态机这套组合拳非常有效。它通过解耦提升了系统弹性通过事件日志保证了可追溯性通过状态机让业务逻辑清晰可控。希望我们的实践能为你带来一些帮助。