【实战解决方案】Spring Boot+Redisson构建高并发Excel导出服务，彻底解决系统阻塞难题

news2025/5/16 21:53:57

【实战解决方案】Spring Boot+Redisson构建高并发Excel导出服务，彻底解决系统阻塞难题

一、问题背景：痛苦的系统卡顿经历

作为电商后台开发者，我们经常遇到这样的场景：运营人员在后台点击"导出订单数据"后，整个系统变得异常卡顿，其他操作全部陷入漫长的等待。特别是在促销活动后，当需要导出10万+条订单数据时，系统几乎瘫痪。

问题症状：

导出期间CPU占用率飙升至90%+
前端界面无响应
数据库查询延迟飙升
频繁Full GC导致服务暂停

现有技术栈：

后端：Spring Boot 2.7 + Redisson 3.17 + MyBatis
存储：MySQL 8.0 + 阿里云OSS
前端：Vue 3 + Element Plus

二、问题根源分析

通过Arthas和SkyWalking分析，我们发现核心问题在于：

同步阻塞：导出操作与业务接口共用线程池
内存爆炸：一次性加载全部数据到内存
IO瓶颈：大文件生成时磁盘IO饱和
无流控机制：可无限制触发导出

三、解决方案：四步构建高性能导出服务

3.1 整体架构设计

基于现有技术栈的优化方案：

3.2 关键技术选型

组件	职责	技术实现
任务调度	分布式协调	Redisson Queue
数据处理	流式导出	MyBatis游标 + SXSSFWorkbook
文件存储	海量存储	阿里云OSS分片上传
状态管理	任务跟踪	MySQL + Redisson Topic

四、核心代码实现

4.1 任务提交接口

@RestController
@RequestMapping("/api/export")
@RequiredArgsConstructor
public class ExportController {
    
    private final RedissonClient redisson;
    private final ExportTaskMapper taskMapper;
    
    @PostMapping
    public Result<String> submitExport(@Valid @RequestBody ExportRequest request) {
        // 1. 创建任务记录
        ExportTask task = new ExportTask();
        task.setTaskId(UUID.randomUUID().toString());
        task.setStatus(0); // 0-待处理
        task.setCreateTime(LocalDateTime.now());
        taskMapper.insert(task);
        
        // 2. 发布到Redis队列
        RBlockingDeque<String> queue = redisson.getBlockingDeque("export:tasks");
        queue.offer(task.getTaskId());
        
        return Result.success(task.getTaskId());
    }
    
    @GetMapping("/progress/{taskId}")
    public Result<ExportProgress> getProgress(@PathVariable String taskId) {
        ExportTask task = taskMapper.selectById(taskId);
        return Result.success(new ExportProgress(
            task.getStatus(),
            task.getProgress(),
            task.getOssUrl()
        ));
    }
}

4.2 MyBatis游标查询

@Mapper
public interface OrderMapper {
    
    @Select("SELECT * FROM orders WHERE #{criteria}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)
    Cursor<Order> selectByCursor(@Param("criteria") String criteria);
}

// 使用示例
try (Cursor<Order> cursor = orderMapper.selectByCursor(criteria)) {
    cursor.forEach(order -> {
        // 处理每条数据
    });
}

4.3 分布式Worker实现

@Component
@RequiredArgsConstructor
public class ExportWorker {
    
    private final RedissonClient redisson;
    private final OrderMapper orderMapper;
    private final ExportTaskMapper taskMapper;
    private final OSS ossClient;
    
    @PostConstruct
    public void startWorkers() {
        // 启动3个Worker线程
        IntStream.range(0, 3).forEach(i -> {
            new Thread(this::processTask, "export-worker-" + i).start();
        });
    }
    
    private void processTask() {
        RBlockingDeque<String> queue = redisson.getBlockingDeque("export:tasks");
        while (true) {
            String taskId = null;
            try {
                // 1. 获取任务
                taskId = queue.takeFirst();
                ExportTask task = taskMapper.selectById(taskId);
                
                // 2. 更新状态
                task.setStatus(1); // 处理中
                taskMapper.updateById(task);
                
                // 3. 创建OSS分片上传
                String objectName = "export/" + taskId + ".xlsx";
                InitiateMultipartUploadResult uploadResult = ossClient.initiateMultipartUpload(
                    new InitiateMultipartUploadRequest(bucketName, objectName));
                
                // 4. 流式处理
                processData(taskId, objectName, uploadResult.getUploadId());
                
            } catch (Exception e) {
                if (taskId != null) {
                    markTaskFailed(taskId, e);
                }
                log.error("Export failed", e);
            }
        }
    }
    
    private void processData(String taskId, String objectName, String uploadId) throws Exception {
        List<PartETag> partETags = new ArrayList<>();
        int partNumber = 1;
        int rowCount = 0;
        
        // 使用SXSSF实现流式Excel生成
        try (SXSSFWorkbook workbook = new SXSSFWorkbook(100)) {
            Sheet sheet = workbook.createSheet("订单数据");
            
            // 游标查询数据
            try (Cursor<Order> cursor = orderMapper.selectByCursor(buildCriteria())) {
                for (Order order : cursor) {
                    // 写入行数据
                    Row row = sheet.createRow(rowCount++);
                    // ...填充单元格数据
                    
                    // 每1000行上传一个分片
                    if (rowCount % 1000 == 0) {
                        partETags.add(uploadPart(workbook, partNumber++, uploadId, objectName));
                        workbook.dispose(); // 清理临时文件
                    }
                }
            }
            
            // 上传最后的分片
            if (rowCount % 1000 != 0) {
                partETags.add(uploadPart(workbook, partNumber, uploadId, objectName));
            }
        }
        
        // 完成分片上传
        CompleteMultipartUploadRequest completeRequest = new CompleteMultipartUploadRequest(
            bucketName, objectName, uploadId, partETags);
        ossClient.completeMultipartUpload(completeRequest);
        
        // 更新任务状态
        updateTaskSuccess(taskId, objectName, rowCount);
    }
}

五、Redisson关键配置

application.yml配置

spring:
  redis:
    host: redis-host
    port: 6379
    password: ${REDIS_PASSWORD}
    
redisson:
  config: |
    singleServerConfig:
      idleConnectionTimeout: 10000
      connectTimeout: 10000
      timeout: 3000
      retryAttempts: 3
      retryInterval: 1500
      connectionPoolSize: 16
      connectionMinimumIdleSize: 4
      database: 0

六、性能优化成果

指标	优化前	优化后
10万数据导出时间	180秒	45秒
内存占用峰值	2GB+	200MB
系统影响	整个系统卡顿	零影响
最大并发导出	1个	10+个
CPU占用峰值	90%+	<30%

七、部署建议

1. 容器化部署示例

FROM openjdk:11-jre
WORKDIR /app
COPY target/export-service.jar .
CMD ["java", "-Xmx512m", "-Xms128m", "-jar", "export-service.jar"]

2. 健康检查配置

# Spring Boot Actuator配置
management:
  endpoint:
    health:
      show-details: always
  endpoints:
    web:
      exposure:
        include: health,metrics