1. 项目背景与核心挑战最近在金融数据报表项目中遇到一个棘手问题需要从千万级数据库记录生成Excel报表供业务部门下载。初期采用传统POI方案在数据量超过50万行时频繁出现内存溢出OOM导出时间超过30分钟用户体验极差。更糟的是同步导出会阻塞主线程导致系统响应延迟飙升。经过多次压力测试和方案对比最终落地了一套基于异步任务EasyExcelMinIO的高性能导出架构。实测单机环境下可稳定处理300万行数据约1.2GB Excel文件平均耗时控制在8分钟以内且系统资源占用率下降70%。下面分享具体实现细节和踩坑经验。2. 技术选型与架构设计2.1 核心组件对比技术点传统方案改进方案优势对比Excel操作Apache POIEasyExcel内存占用降低90%百万行数据解析速度提升5倍文件存储本地磁盘MinIO对象存储支持分布式访问自动处理文件过期清理存储成本降低60%任务调度同步阻塞Spring异步线程池系统吞吐量提升3倍避免长事务占用数据库连接结果通知轮询查询WebSocket推送用户等待时间感知度提升80%减少无效请求2.2 系统架构流程图[用户请求] - [API网关] - [异步任务服务] - [DB分页查询] - [EasyExcel写入] - [MinIO存储] - [WebSocket通知] - [用户下载]关键设计原则读写分离导出过程与业务系统完全解耦分治策略采用分页查询避免大结果集内存溢出事件驱动各模块通过事件机制松散耦合3. 核心实现细节3.1 EasyExcel优化配置// 百万级数据导出模板 ExcelWriterBuilder writerBuilder EasyExcel.write(outputStream) .registerWriteHandler(new LongestMatchColumnWidthStyleStrategy()) // 自动列宽 .registerWriteHandler(new CustomCellWriteHandler()) // 自定义样式 .compressionLevel(Deflater.BEST_SPEED) // 压缩加速 .useDefaultStyle(false) // 禁用默认样式提升性能 .autoCloseStream(false); // 保持流开启 // 分页写入数据 for (int page 0; page totalPage; page) { ListDataDTO batch queryBatch(page, PAGE_SIZE); writerBuilder.sheet().doWrite(batch); }重要提示必须设置.autoCloseStream(false)否则MinIO上传时会报流已关闭错误3.2 分页查询技巧-- 优化后的分页查询避免深分页 SELECT * FROM report_data WHERE id #{lastId} ORDER BY id ASC LIMIT #{pageSize}实测对比传统LIMIT分页100万数据导出耗时22分钟游标分页相同数据量耗时降至9分钟3.3 MinIO集成要点# 生产级配置参数 minio: endpoint: http://cluster.minio:9000 access-key: ${ENV_MINIO_KEY} secret-key: ${ENV_MINIO_SECRET} bucket: excel-export expiration: 86400 # 文件保留24小时 part-size: 5242880 # 分片上传大小(5MB)上传优化技巧// 使用分片上传大文件 InputStream excelStream ...; minioClient.putObject( PutObjectArgs.builder() .bucket(excel-export) .object(fileName) .stream(excelStream, -1, 5 * 1024 * 1024) // -1表示未知大小 .contentType(application/vnd.ms-excel) .build());4. 性能压测数据测试环境4核CPU/8GB内存MySQL 8.0MinIO集群3节点数据量传统POI方案本方案内存峰值文件大小50万行3分12秒47秒2.1GB → 280MB38MB100万行OOM1分53秒- → 350MB76MB300万行-7分41秒- → 890MB228MB5. 典型问题排查实录5.1 内存泄漏问题现象导出10次后老年代内存持续增长不释放定位MAT分析发现ThreadLocal未清理解决// 在finally块中显式清理 try { excelWriter EasyExcel.write(...).build(); // ... } finally { if (excelWriter ! null) { excelWriter.finish(); // 必须调用 } }5.2 文件上传中断现象300MB以上文件上传失败原因MinIO默认分片大小不适配优化minioClient.putObject( PutObjectArgs.builder() .stream(inputStream, fileSize, 15 * 1024 * 1024) // 调整分片大小 // ... .build());5.3 数据库连接耗尽现象高并发时出现ConnectionTimeout方案采用HikariCP连接池设置合理隔离级别spring.datasource.hikari.maximum-pool-size20 spring.datasource.hikari.isolation-levelREAD_COMMITTED6. 生产环境增强建议熔断保护当队列积压超过阈值时拒绝新请求Bean public ThreadPoolTaskExecutor exportExecutor() { ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor(); executor.setQueueCapacity(100); executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy()); return executor; }安全控制添加IP白名单限制文件下载URL设置时效签名String url minioClient.getPresignedObjectUrl( GetPresignedObjectUrlArgs.builder() .expiry(30, TimeUnit.MINUTES) // 30分钟有效 .method(Method.GET) // ... .build());监控看板Prometheus监控指标export_task_active_countexport_time_secondsexport_file_size_bytes这套方案已在生产环境稳定运行9个月日均处理导出请求300次。关键收获是对于大数据量操作一定要遵循分而治之原则同时合理利用现代中间件的特性。最近正在尝试结合ClickHouse进一步提升查询性能有兴趣可以一起探讨。