为了账号安全,请及时绑定邮箱和手机立即绑定

使用MySQL流式传输大型结果集

使用MySQL流式传输大型结果集

绝地无双 2019-11-28 10:10:22
我正在开发一个使用大型MySQL表的spring应用程序。加载大表时,我得到一个OutOfMemoryException,因为驱动程序试图将整个表加载到应用程序内存中。我尝试使用statement.setFetchSize(Integer.MIN_VALUE);但是然后我打开的每个ResultSet都挂了close(); 在网上查找时,我发现发生这种情况是因为它尝试在关闭ResultSet之前尝试加载所有未读的行,但事实并非如此,因为我这样做是:ResultSet existingRecords = getTableData(tablename);try {    while (existingRecords.next()) {        // ...    }} finally {    existingRecords.close(); // this line is hanging, and there was no exception in the try clause}小表(3行)也会发生挂起,如果我不关闭RecordSet(在一种方法中发生),则会connection.close()挂起。挂起的堆栈跟踪:SocketInputStream.socketRead0(FileDescriptor,byte [],int,int,int)行:不可用[本机方法]SocketInputStream.read(byte [],int,int)行:129ReadAheadInputStream.fill(int)行:113ReadAheadInputStream。 readFromUnderlyingStreamIfNecessary(byte [],int,int)行:160ReadAheadInputStream.read(byte [],int,int)行:188MysqlIO.readFully(InputStream,byte [],int,int)行:2428 MysqlIO.reuseAndReadPacket(Buffer ,int)行:2882MysqlIO.reuseAndReadPacket(Buffer)行:2871MysqlIO.checkErrorPacket(int)行:3414MysqlIO.checkErrorPacket()行:910MysqlIO.nextRow(Field [],int,boolean,int,boolean,boolean,布尔值,缓冲区)行:1405RowDataDynamic.nextRecord()行:413RowDataDynamic.next()行:392 RowDataDynamic.close()行:170JDBC4ResultSet(ResultSetImpl).realClose(boolean)行:7473 JDBC4ResultSet(ResultSetImpl).close()行:881 DelegatingResultSet.close ()行:152DelegatingResultSet.close()行:152DelegatingPreparedStatement(DelegatingStatement).close()行:163(这是我的课程)Database.close()行:84
查看完整描述

3 回答

?
qq_花开花谢_0

TA贡献1835条经验 获得超6个赞

仅设置获取大小不是正确的方法。的javadocStatement#setFetchSize()已经声明以下内容:


向JDBC驱动程序提示应从数据库中获取的行数


驱动程序实际上可以自由地应用或忽略提示。一些驱动程序忽略它,一些驱动程序直接应用它,一些驱动程序需要更多参数。MySQL JDBC驱动程序属于最后一类。如果查看MySQL JDBC驱动程序文档,将看到以下信息(向下滚动约2/3,直到标题ResultSet为止):


要启用此功能,您需要通过以下方式创建一个Statement实例:


stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);

stmt.setFetchSize(Integer.MIN_VALUE);

请阅读文档的整个部分,它也描述了这种方法的注意事项。这是一个相关的引用:


这种方法有一些警告。您必须先读取(或关闭)结果集中的所有行,然后才能对连接发出任何其他查询,否则将引发异常。


(...)


如果该语句在事务范围内,则在事务完成时释放锁(这意味着该语句需要先完成)。与大多数其他数据库一样,在读取该语句上所有未决的结果或关闭该语句的活动结果集之前,该语句是不完整的。


如果不能解决OutOfMemoryError(not Exception)问题,则可能是您将所有数据存储在Java内存中,而不是在数据输入后立即进行处理。这可能需要对代码进行更多更改,也许完全重写。在此之前,我已经回答了类似的问题。


查看完整回答
反对 回复 2019-11-28
?
智慧大石

TA贡献1946条经验 获得超3个赞

不要关闭ResultSet两次。


显然,当关闭a时,Statement它尝试关闭相应的ResultSet,如您在堆栈跟踪的这两行中所见:


DelegatingResultSet.close()行:152

DelegatingPreparedStatement(DelegatingStatement).close()行:163


我原以为挂断电话了,ResultSet.close()但实际上是挂断Statement.close()电话的地方ResultSet.close()。由于ResultSet已经关闭,因此它刚刚挂起。


我们用替换了所有ResultSet.close(),results.getStatement().close()并删除了所有Statement.close(),现在问题已解决。


查看完整回答
反对 回复 2019-11-28
  • 3 回答
  • 0 关注
  • 941 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信