spark的foreach为什么很慢
1 回答
幕布斯6054654
TA贡献1876条经验 获得超7个赞
foreach是action操作，其执行实际上不是只执行foreach这一个操作，而是从上一个action操作之后的所有操作都开始执行，所以实际上并不是foreach慢，而是你之前的操作很慢。建议在程序运行中打开spark任务管理界面，查看到底是哪个stage运行慢，是否有数据倾斜或者内存不足等问题
- 1 回答
- 0 关注
- 1002 浏览
添加回答
举报
0/150
提交
取消