                        课程
                    
                        /云计算&大数据
                        
                            /大数据
                        
                        /快速入门Hadoop3.0大数据处理

中间数据存储在map中，数据量大能能解决吗？

比如reduce阶段计算得到了<主播id,主播的时长>。然后放在map中。

如果主播id很多，map中放不下，怎么办？

慕尼黑1234676

2020-03-20

源自：快速入门Hadoop3.0大数据处理 7-4

关注问题我要回答

1088

操作

收起

1 回答

徐老师回答被采纳 +2 积分
2020-03-21

可以有这些方案
1：如果内存中存放下，可以考虑增加这个任务的内存
2：或者可以考虑外部存储，例如：redis，把这些数据存放到redis中，这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的

1 回复有任何疑惑可以回复我~

收起回答

0/150

提交

取消

快速入门Hadoop3.0大数据处理

参与学习 16909 人
解答问题 74 个

快速入门Hadoop3.0数据处理，轻松迈入大数据领域

进入课程

本课相似问答

1 回答此案例中的测试数据在这里

1 回答有没有什么好的方法造大量数据的

1 回答数据倾斜问题

1 回答老师，这里的json数据的资料，和sqoon的文档能发到这上面吗？

6 回答老师，什么时候出大数据的实战课程？

搜索更多本课相关问答

中间数据存储在map中，数据量大能能解决吗？

我要回答关注问题

热搜

最近搜索清空

中间数据存储在map中，数据量大能能解决吗？

1 回答

本课相似问答

中间数据存储在map中，数据量大能能解决吗？