为了账号安全,请及时绑定邮箱和手机立即绑定

spark stream实时消费kafka数据丢失问题

/ 猿问

spark stream实时消费kafka数据丢失问题

一不留神 2019-09-02 22:55:29

向各位老师请教个问题:目前我们公司用的华为的大数据集群,有一个spark stream程序使用Direct模式实时消费kafka数据,程序是java开发的,由zookeeper管理offset,程序经常有有挂掉的情况,通常是手动重启,本人猜测是程序挂掉导致的数据丢失,但是这个地方想不通,请各位帮帮忙



查看完整描述

目前暂无任何回答

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信