为了账号安全,请及时绑定邮箱和手机立即绑定

中间数据存储在map中,数据量大能能解决吗?

比如reduce阶段计算得到了<主播id,主播的时长>。然后放在map中。

如果主播id很多,map中放不下,怎么办?

正在回答

1 回答

可以有这些方案
1:如果内存中存放下,可以考虑增加这个任务的内存
2:或者可以考虑外部存储,例如:redis,把这些数据存放到redis中,这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的

1 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消

中间数据存储在map中,数据量大能能解决吗?

我要回答 关注问题
意见反馈 帮助中心 APP下载
官方微信