三十五、面向对象底层逻辑-Spring MVC中AbstractXlsxStreamingView的设计

news2025/6/9 7:56:03

在Web应用开发中,大数据量的Excel导出功能是常见需求。传统Apache POI的XSSF实现方式在处理超大数据集时,会因全量加载到内存导致OOM(内存溢出)问题。Spring MVC提供的AbstractXlsxStreamingView通过流式处理机制,有效解决了这一痛点。本文将深入剖析其设计原理与实现细节。

一、设计背景与核心问题

当使用POI的XSSFWorkbook生成Excel时,所有数据会以DOM树形式驻留内存。对于10万行数据,内存占用可能高达数百MB。而AbstractXlsxStreamingView基于POI的SXSSF(Streaming Usermodel API)实现,采用"行窗"(Row Window)机制,仅保留固定行数在内存中,其余数据通过临时文件持久化,将内存消耗控制在可接受范围内。

二、类继承体系解析
public abstract class AbstractXlsxStreamingView extends AbstractStreamingView {
    @Override
    protected void renderMergedOutputModel(
        Map<String, Object> model, 
        HttpServletRequest request,
        HttpServletResponse response) throws Exception {
        
        // 1. 创建SXSSFWorkbook实例
        SXSSFWorkbook workbook = createWorkbook();
        
        // 2. 构建Excel文档核心方法
        buildExcelDocument(workbook, model, request, response);
        
        // 3. 设置响应头
        response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
        response.setHeader("Content-Disposition", "attachment; filename=" + getFilename());
        
        // 4. 流式写入响应输出流
        workbook.write(response.getOutputStream());
        
        // 5. 清理临时资源
        workbook.dispose();
    }
    
    protected abstract void buildExcelDocument(
        SXSSFWorkbook workbook, 
        Map<String, Object> model,
        HttpServletRequest request, 
        HttpServletResponse response) throws Exception;
}
三、关键设计实现
  1. 流式工作簿创建
    protected SXSSFWorkbook createWorkbook() {
        return new SXSSFWorkbook(getWindowSize());
    }
    • getWindowSize()默认返回100,表示内存中保留的行数
    • 超过窗口大小的行会被写入磁盘临时文件
    • 通过workbook.setRandomAccessWindowSize()可动态调整窗口
  2. 样式管理优化
    protected CellStyle createStyle(SXSSFWorkbook workbook, String styleKey) {
        Map<String, CellStyle> styles = getStylesMap(workbook);
        return styles.computeIfAbsent(styleKey, k -> {
            CellStyle style = workbook.createCellStyle();
            // 配置字体/边框/对齐等样式
            return style;
        });
    }
    • 使用线程安全的ConcurrentHashMap缓存样式对象
    • 避免频繁创建样式导致的性能损耗
  3. 数据分片写入
    SXSSFSheet sheet = workbook.createSheet();
    int rowNum = 0;
    for (DataItem item : dataList) {
        Row row = sheet.createRow(rowNum++);
        int colNum = 0;
        for (Field field : fields) {
            Cell cell = row.createCell(colNum++);
            cell.setCellValue(extractValue(item, field));
        }
        // 强制刷新到磁盘(可选)
        if (rowNum % FLUSH_INTERVAL == 0) {
            ((SXSSFSheet)sheet).flushRows(FLUSH_INTERVAL);
        }
    }
    • 通过flushRows()手动控制刷盘时机
    • 平衡内存使用与IO开销
四、性能优化策略
  1. 内存配置调优
    SXSSFWorkbook workbook = new SXSSFWorkbook(1000) {
        @Override
        protected void finalize() throws Throwable {
            super.finalize();
            System.gc(); // 强制触发临时文件清理
        }
    };
    • 适当增大窗口大小(500-1000)可减少磁盘IO
    • 通过-Dorg.apache.poi.ss.util.SheetUtil.DEFAULT_COLUMN_WIDTH调整默认列宽
  2. 异步处理方案
    @GetMapping("/export")
    public Callable<View> exportAsync() {
        return () -> {
            // 长时间运行任务
            return new AbstractXlsxStreamingView() {
                // 实现build方法
            };
        };
    }
    • 结合@Async实现完全异步导出
    • 避免请求线程阻塞
  3. 资源清理机制
    • 调用workbook.dispose()删除临时文件
    • 在finally块中确保资源释放:
      try {
          workbook.write(outputStream);
      } finally {
          workbook.close();
          workbook.dispose();
      }
五、适用场景与扩展建议
  1. 典型适用场景
    • 日志数据导出(百万级记录)
    • 报表系统定时任务
    • 监控数据持久化
  2. 扩展方向
    • 集成EasyExcel实现注解驱动开发
    • 添加模板引擎支持(Freemarker/Thymeleaf)
    • 实现分片上传到云存储(OSS/S3)
六、总结

AbstractXlsxStreamingView通过流式处理机制,将Excel导出的内存占用从O(n)降低到O(1),完美解决了大数据量场景下的性能瓶颈。其设计体现了以下核心思想:

  1. 空间换时间:通过临时文件持久化换取内存空间
  2. 分治策略:将大数据集拆分为可管理的行窗
  3. 资源预分配:样式缓存机制减少重复创建开销

在实际项目中,建议结合业务特点调整窗口大小,并采用异步处理机制提升用户体验。对于超大规模数据(千万级),可考虑分库分表查询+多线程合并写入等高级优化方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2405130.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

iview组件库:当后台返回到的数据与使用官网组件指定的字段不匹配时,进行修改某个属性名再将response数据渲染到页面上的处理

1、需求导入 当存在前端需要的数据的字段渲染到表格或者是一些公共的表格组件展示数据时的某个字段名与后台返回的字段不一致时&#xff0c;那么需要前端进行稍加处理&#xff0c;而不能直接this.list res.data;这样数据是渲染不出来的。 2、后台返回的数据类型 Datalist(pn) …

服务器 | Centos 9 系统中,如何部署SpringBoot后端项目?

系列文章目录 虚拟机 | Ubuntu 安装流程以及界面太小问题解决 虚拟机 | Ubuntu图形化系统&#xff1a; open-vm-tools安装失败以及实现文件拖放 虚拟机 | Ubuntu操作系统&#xff1a;su和sudo理解及如何处理忘记root密码 文章目录 系列文章目录前言一、环境介绍二、 使用syst…

(2025)Windows修改JupyterNotebook的字体,使用JetBrains Mono

(JetBrains Mono字体未下载就配置,这种情况我不知道能不能行,没做过实验,因为我电脑已经下载了,不可能删了那么多字体做实验,我的建议是下载JetBrains Mono字体,当你使用VsCode配置里面的JetBrains字体也很有用) 首先参考该文章下载字体到电脑上 VSCode 修改字体为JetBrains …

小番茄C盘清理:专业高效的电脑磁盘清理工具

在使用电脑的过程中&#xff0c;我们常常会遇到系统盘空间不足、磁盘碎片过多、垃圾文件堆积等问题&#xff0c;这些问题不仅会导致电脑运行缓慢&#xff0c;还可能引发系统崩溃。为了解决这些问题&#xff0c;小番茄C盘清理应运而生。它是一款专业的C盘清理软件&#xff0c;能…

AUTOSAR实战教程--标准协议栈实现DoIP转DoCAN的方法

目录 软件架构 关键知识点 第一:PDUR的缓存作用 第二:CANTP的组包拆包功能 第三:流控帧的意义 配置过程 步骤0:ECUC模块中PDU创建 步骤1:SoAD模块维持不变 步骤2:DoIP模块为Gateway功能添加Connection ​步骤3:DoIP模块为Gateway新增LA/TA/SA ​步骤4:PDUR模…

【MySQL系列】MySQL 导出表数据到文件

博客目录 一、使用 SELECT INTO OUTFILE 语句基本语法参数详解注意事项实际示例 二、使用 mysqldump 工具基本语法常用选项实际示例 三、使用 MySQL Workbench 导出导出步骤高级选项 四、其他导出方法1. 使用 mysql 命令行客户端2. 使用 LOAD DATA INFILE 的逆向操作3. 使用编程…

vue3:十五、管理员管理-页面搭建

一、页面效果 实现管理员页面,完成管理员对应角色的中文名称显示,实现搜索栏,表格基本增删改查,分页等功能 二、修改问题 1、修改搜索框传递参数问题 (1)问题图示 如下图,之前搜索后,传递的数据不直接是一个value值,而是如下图的格式 查询可知这里传递的数据定义的是…

基于51单片机的红外防盗及万年历仿真

目录 具体实现功能 设计介绍 资料内容 全部内容 资料获取 具体实现功能 具体功能&#xff1a; &#xff08;1&#xff09;实时显示年、月、日、时、分、秒、星期信息&#xff1b; &#xff08;2&#xff09;红外传感器&#xff08;仿真中用按键模拟&#xff09;检测是否有…

【飞腾AI加固服务器】全国产化飞腾+昇腾310+PCIe Switch的AI大模型服务器解决方案

以下是全国产化飞腾AI加固服务器采用飞腾昇腾PCIe Switch解决方案&#xff1a; &#x1f5a5;️ 一、硬件架构亮点 ‌国产算力双擎‌ ‌飞腾处理器‌&#xff1a;搭载飞腾FT2000/64核服务器级CPU&#xff08;主频1.8-2.2GHz&#xff09;&#xff0c;支持高并发任务与复杂计算&a…

应用层协议:HTTPS

目录 HTTPS&#xff1a;超文本传输安全协议 1、概念 2、通信过程及关键技术 2.1 通信过程 1> TLS握手协商&#xff08;建立安全通道&#xff09; 2> 加密数据传输 2.2 关键技术 1> 对称加密算法 2> 非对称加密 3> 对称加密和非对称加密组合 4> 数…

【ArcGIS技巧】—村庄规划规划用地规划状态字段生成工具

"国土空间规划后续也是走向数据治理&#xff0c;数据建库已经是涉及到城市规划、建筑、市政、农业、地理信息、测绘等等方方面面。不得不说以后数据库建设跟维护&#xff0c;是很多专业的必修课。小编就湖南省的村庄规划建库过程中规划用地用海中规划状态字段写了个小工具…

【PCIe总线】-- inbound、outbound配置

PCI、PCIe相关知识整理汇总 【PCIe总线】 -- PCI、PCIe相关实现 由之前的PCIe基础知识可知&#xff0c;pcie的组成有&#xff1a;RC&#xff08;根节点&#xff09;、siwtch&#xff08;pcie桥&#xff09;、EP&#xff08;设备&#xff09;。 RC和EP&#xff0c;以及EP和EP能…

分布式锁实战:Redisson vs. Redis 原生指令的性能对比

分布式锁实战&#xff1a;Redisson vs. Redis 原生指令的性能对比 引言 在DIY主题模板系统中&#xff0c;用户可自定义聊天室的背景、图标、动画等元素。当多个运营人员或用户同时修改同一模板时&#xff0c;若没有锁机制&#xff0c;可能出现“甲修改了背景色&#xff0c;乙…

react+taro 开发第五个小程序,解决拼音的学习

1.找一个文件夹 cmd 2.taro init 3.vscode 找开该文件夹cd help-letters 如&#xff1a;我的是(base) PS D:\react\help-letters> pnpm install 4.先编译一下吧。看下开发者工具什么反应。 pnpm dev:weapp 5.开始规则。我用cursor就是不成功。是不是要在这边差不多了&…

kafka(windows)

目录 介绍 下载 配置 测试 介绍 Kafka是一个分布式流媒体平台&#xff0c;类似于消息队列或企业信息传递系统。 下载 Kafka对于Zookeeper是强依赖&#xff0c;所以安装Kafka之前必须先安装zookeeper 官网&#xff1a;Apache Kafka 下载此安装包并解压 配置 新建log…

基于安卓的文件管理器程序开发研究源码数据库文档

摘 要 伴随着现代科技的发展潮流&#xff0c;移动互联网技术快速发展&#xff0c;各种基于通信技术的移动终端设备做的也越来越好了&#xff0c;现代智能手机大量的进入到了我们的生活中。电子产品的各种软硬技术技术的发展&#xff0c;操作系统的不断更新换代&#xff0c;谷歌…

EMC VNXe 存储系统日志收集方法

写在前面 有朋友找来看看VNXe的故障&#xff0c;这种问题总是要收集日志&#xff0c;顺便这里也分享给大家。 注意&#xff0c;VNXe和VNX 属于完全不同的产品&#xff0c;不要看名字很类似&#xff0c;操作系统已经完全重构了&#xff0c;如果说是否有联系&#xff0c;大概就…

从“人找政策”到“政策找人”:智能退税ERP数字化重构外贸生态

离境退税新政核心内容与外贸企业影响 &#xff08;一&#xff09;政策核心变化解析 退税商店网络扩容 新政明确鼓励在大型商圈、旅游景区、交通枢纽等境外旅客聚集地增设退税商店&#xff0c;并放宽备案条件至纳税信用M级企业。以上海为例&#xff0c;静安区计划新增1000家退…

以人类演示视频为提示,学习可泛化的机器人策略

25年5月来自清华大学、上海姚期智研究院和星动纪元&#xff08;RoboEra&#xff09;公司的论文“Learning Generalizable Robot Policy with Human Demonstration Video as a Prompt”。 最近的机器人学习方法通​​常依赖于从通过遥操作收集的大量机器人数据集中进行模仿学习…

SOC-ESP32S3部分:36-适配自己的板卡

飞书文档https://x509p6c8to.feishu.cn/wiki/RP4UwPrsKi4xuQkKLAAcKxD3n1b 如果你自己画了PCB板&#xff0c;需要把自己绘制的板卡配置小智AI工程&#xff0c;可以参考此文档。 下载源码 克隆或下载源码到本地&#xff0c;这里以1.5.5为例&#xff0c;大家可以自行修改其它版…