博客

问题

开发中难免会遇到大批量数据的导出，比如几十万（几百万）条数据，而服务器的内存过小则会导致内存溢出

解决方案

使用mybatis的流式查询，步骤如下：

dao层接口：

@Mapper
public interface CustomerDao {
 		List<BpmsCustomerManageFormalEntity> selectAll();
        List<BpmsCustomerManageFormalEntity> selectFetchSize2();
}

xml文件：

<!--普通查询-->
<select id="selectAll" resultType="com.ratel.streaming.entity.BpmsCustomerManageFormalEntity">
        SELECT * FROM bpms_customer_manage_formal
    </select>
    
    <!--流式查询-->
#这个是关键 其中fetchSize="-2147483648"，Integer.MIN_VALUE=-2147483648
<select id="selectFetchSize2"  resultType="bpmsCustomerManageFormalEntity" fetchSize="-2147483648">
        SELECT * FROM bpms_customer_manage_formal
    </select>

本次数据库准备的数据量是40万条左右

结果

使用java自带的java内存监控工具jvisualvm.exe查看内存使用：

由图可知：普通查询的峰值使用内存为1500M ，而流式查询大约为1000M左右，大大节省了内存！

参考链接：

Mysql中使用流式查询避免数据量过大导致OOM



MySQL中流式查询使用



MyBatis中使用流式查询避免数据量过大导致OOM



Mybatis 3.4.0 Cursor的使用



正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space



MyBatis中使用流式查询避免数据量过大导致OOM



关于oracle与mysql官方jdbc的一些区别