为了账号安全,请及时绑定邮箱和手机立即绑定

hadoop中什么是缓存区溢写文件

/ 猿问

hadoop中什么是缓存区溢写文件

慧有未来 2018-04-23 17:38:27
查看完整描述

1 回答

?
是王小二呀

hadoop 3.0这套机制还不了解,2.x版本里面这一步是mapreduce必须的过程,这也是使得mr程序效率较低的一个原因之一,mr计算的中间结果会按照8:2(default)的比例决定写缓存还是写磁盘,这个spill过程使用的缓存有100M,作为对比,spark是可配置的

查看完整回答
反对 回复 2018-05-03

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信