为了账号安全,请及时绑定邮箱和手机立即绑定

如何解决spark内存溢出问题

如何解决spark内存溢出问题

Qyouu 2018-10-14 12:08:20
如何解决spark内存溢出问题
查看完整描述

1 回答

?
当年话下

TA贡献1890条经验 获得超9个赞

1 加内存, 简单粗暴
2 将rdd的数据写入磁盘不要保存在内存之中
3 如果是collect操作导致的内存溢出, 可以增大 Driver的 memory 参数

查看完整回答
反对 回复 2018-11-08
  • 1 回答
  • 0 关注
  • 1262 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信