1. 批量插入的性能痛点与解决思路数据库批量插入操作是后端开发中最常见的性能瓶颈之一。我经历过一个电商促销系统在凌晨数据同步时单条插入30万商品数据需要近20分钟直接导致后续统计任务延迟。经过多次优化最终将时间压缩到13秒内完成。这种性能提升不是靠硬件堆砌而是对JDBC和MyBatis批处理机制的深度掌握。传统单条插入的弊端主要体现在三个方面首先每次插入都需要建立和关闭数据库连接TCP三次握手和TLS加密如果启用消耗大量时间其次SQL语句在数据库端需要重复解析和优化最后网络往返延迟RTT在大量操作时会产生显著影响。以MySQL为例单条插入的流程包含客户端发送SQL→服务端解析→执行引擎处理→写入磁盘→返回结果这个循环要重复30万次。而真正的批处理Batch Insert通过四个关键优化实现质的飞跃连接复用整个批次共用同一个Connection语句预编译PreparedStatement只需编译一次参数批量传输多个参数集打包发送事务统一提交减少磁盘I/O次数关键认知批处理不是简单的多次执行而是协议层的批量操作。以JDBC为例调用addBatch()时数据暂存客户端executeBatch()才真正发起网络请求。2. MyBatis批处理的实现方案对比2.1 基础配置模式在MyBatis的XML映射文件中批量插入通常这样编写insert idbatchInsert parameterTypejava.util.List INSERT INTO products(name,price) VALUES foreach collectionlist itemitem separator, (#{item.name}, #{item.price}) /foreach /insert这种方案虽然语法简洁但存在两个致命缺陷当数据量过大时如超过1万条生成的SQL语句会超出数据库允许的最大包大小其次某些数据库如Oracle对单条SQL的长度有限制。2.2 真正的批处理模式正确的做法是启用MyBatis的BATCH执行器SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH); try { ProductMapper mapper session.getMapper(ProductMapper.class); for (Product product : productList) { mapper.insert(product); } session.commit(); // 统一提交 } finally { session.close(); }这种实现有三大优势使用PreparedStatement的addBatch机制自动管理批处理大小默认100-200条提交一次事务控制在会话级别实测对比插入30万条数据方案耗时内存占用单条插入18分23秒低foreach拼接SQL2分15秒高BATCH执行器13秒中2.3 混合优化方案对于超大规模数据百万级推荐分批次处理并行提交// 分片处理 ListListProduct partitions Lists.partition(productList, 50000); partitions.parallelStream().forEach(batch - { SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH); try { ProductMapper mapper session.getMapper(ProductMapper.class); batch.forEach(mapper::insert); session.commit(); } finally { session.close(); } });注意事项批处理大小建议5000-50000之间过大可能导致内存溢出并行流需要根据数据库连接池大小调整并发度分布式环境需考虑ID冲突问题3. JDBC层的关键参数调优3.1 必须设置的连接参数在JDBC URL中需要添加关键参数jdbc:mysql://host:3306/db?rewriteBatchedStatementstrueuseServerPrepStmtstruecachePrepStmtstruerewriteBatchedStatementsMySQL驱动将批量插入重写为多值插入语法useServerPrepStmts启用服务端预处理语句cachePrepStmts缓存预处理语句3.2 事务与提交控制批处理性能与事务配置强相关// 错误示例自动提交模式 connection.setAutoCommit(true); // 导致每条语句独立提交 // 正确做法 connection.setAutoCommit(false); try { PreparedStatement ps connection.prepareStatement(...); for (int i 0; i 300000; i) { ps.setString(1, data[i]); ps.addBatch(); if (i % 5000 0) { // 分批提交 ps.executeBatch(); } } ps.executeBatch(); connection.commit(); } catch (SQLException e) { connection.rollback(); }3.3 缓冲区大小优化通过JDBC参数控制内存使用// 设置批处理缓冲区大小默认不限制 statement.setFetchSize(50000); // MySQL特有参数 ((com.mysql.jdbc.Statement)statement).setLocalInfileInputStreamBufferSize(1024*1024);4. 生产环境避坑指南4.1 常见报错解决方案BatchUpdateException: Packet too large解决方案调整max_allowed_packet参数SET GLOBAL max_allowed_packet256*1024*1024;死锁问题现象批量插入时出现锁等待超时优化按主键顺序插入减少锁冲突连接泄漏必须使用try-with-resources确保连接关闭try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(...)) { // 批处理操作 }4.2 性能监控要点在Spring Boot中监控批处理性能# application.yml management: metrics: enable: jdbc: true export: prometheus: enabled: true关键指标jdbc_connections_active活跃连接数jdbc_queries_executed_seconds查询耗时分布hikaricp_connections_usage_seconds连接池使用情况4.3 安全注意事项使用MyBatis批处理时要特别注意SQL注入风险绝对禁止在${}中拼接用户输入动态字段名应该用白名单校验!-- 危险写法 -- insert idunsafeInsert INSERT INTO ${tableName} VALUES(...) /insert !-- 安全写法 -- insert idsafeInsert choose when testtype AINSERT INTO table_a.../when otherwiseINSERT INTO table_default.../otherwise /choose /insert5. 高级优化技巧5.1 数据库特定优化MySQL优化-- 临时关闭索引更新 ALTER TABLE products DISABLE KEYS; -- 批量插入... ALTER TABLE products ENABLE KEYS;Oracle优化/* APPEND */ INSERT /* 直接路径插入 */5.2 替代方案对比当常规批处理仍不能满足需求时可考虑LOAD DATA INFILEMySQL// 生成CSV文件 Files.write(Paths.get(data.csv), csvData.getBytes()); // 执行导入 statement.executeUpdate(LOAD DATA LOCAL INFILE data.csv INTO TABLE products);速度对比30万数据约3秒完成批量更新API如Elasticsearch的_bulkETL工具如Kettle5.3 内存管理技巧处理超大批次时的内存优化// 使用迭代器避免全量加载 try (BufferedReader reader new BufferedReader(new FileReader(bigfile.csv))) { String line; while ((line reader.readLine()) ! null) { Product product parseLine(line); batchProcessor.add(product); } }我在实际项目中发现当使用MyBatis批处理插入超过50万条记录时适当调整JVM参数可以避免Full GC-XX:UseG1GC -XX:MaxGCPauseMillis200 -Xmx4g最后分享一个诊断批处理问题的技巧在MySQL中开启general log可以看到实际执行的SQL模式这对验证rewriteBatchedStatements是否生效非常有用SET GLOBAL general_log ON; SET GLOBAL log_output TABLE;