为了账号安全,请及时绑定邮箱和手机立即绑定

hadoop中什么是缓存区溢写文件

hadoop中什么是缓存区溢写文件

相信光变成光 2018-04-23 17:38:27
查看完整描述

1 回答

?
是王小二呀

TA贡献88条经验 获得超19个赞

hadoop 3.0这套机制还不了解,2.x版本里面这一步是mapreduce必须的过程,这也是使得mr程序效率较低的一个原因之一,mr计算的中间结果会按照8:2(default)的比例决定写缓存还是写磁盘,这个spill过程使用的缓存有100M,作为对比,spark是可配置的

查看完整回答
反对 回复 2018-05-03
  • 1 回答
  • 0 关注
  • 1377 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信