为了账号安全,请及时绑定邮箱和手机立即绑定

如何使用 Commons compress 打包太大并导致内存不足崩溃的文件?

如何使用 Commons compress 打包太大并导致内存不足崩溃的文件?

叮当猫咪 2023-08-23 17:05:18
在下面的代码中,如果我给 (Apache) Commons 压缩一个几 GB 大小的单个文件,它将崩溃,因为它耗尽了我的所有内存。我可以让它一次读取然后写入文件的一小部分吗?我一直在研究分块,但我不知道如何做到这一点,以便我可以在将文件写入 .tar 格式后将文件重新组合在一起。处理这里任何大小的支持文件的最佳方法是什么?FileOutputStream fileOutputStream = new FileOutputStream("output.tar");BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(fileOutputStream);GzipCompressorOutputStream gzipOutputStream = new GzipCompressorOutputStream(bufferedOutputStream);TarArchiveOutputStream tarArchiveOutputStream = new TarArchiveOutputStream(gzipOutputStream)) {tarArchiveOutputStream.setBigNumberMode(TarArchiveOutputStream.BIGNUMBER_POSIX);tarArchiveOutputStream.setLongFileMode(TarArchiveOutputStream.LONGFILE_GNU);File currentFile = new File("Huge_MultiGB_File.txt");String relativeFilePath = currentFile.getPath();TarArchiveEntry tarEntry = new TarArchiveEntry(currentFile, relativeFilePath);tarEntry.setSize(currentFile.length());tarArchiveOutputStream.putArchiveEntry(tarEntry);tarArchiveOutputStream.write(IOUtils.toByteArray(new FileInputStream(currentFile)));tarArchiveOutputStream.closeArchiveEntry();
查看完整描述

1 回答

?
森林海

TA贡献2011条经验 获得超2个赞

您必须写入文件的一小部分并将其写入循环中的输出,而不是首先将整个文件读取到内存中IOUtils


它或多或少是这样完成的:


FileInputStream source=new FileInputStream(....somefile);

tarArchiveOutputStream; prepared to w writing


byte[] buff = new byte[1024*10]; //10kb buff

int numBytesRead = -1; //number of bytes read



while(( numBytesRead = source.read(buff)) > 0 ) {

    // while source has bytes, read from source and write

    // the same number of bytes to the tar outputstream

    tarArchiveOutputStream.write(buff, 0, numBytesRead);

   }

}


查看完整回答
反对 回复 2023-08-23
  • 1 回答
  • 0 关注
  • 131 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信