为了账号安全,请及时绑定邮箱和手机立即绑定

kafka --from-beginning 获取的数据与之前消费的数据不一致

kafka --from-beginning 获取的数据与之前消费的数据不一致

残叶听风 2019-10-04 16:45:07
flume 使用 tail 采集一个文件的数据到kafka topic当开启了kafka consumer的时候 。文件追加五条。 consumer消费五条。一切正常然后当使用--from-beginning  查看这个topic 的所有数据的时候。 发现真实消费的数据少了一些。刚才消费的五条数据,并不能全部查到。 其它信息:(1)配置: flume配置的是memory channel (2)查看kafka log目录下的分区下的 xxxx.log文件 发现当被采集文件追加 5条左右(为了让数据写入同一个partion,这里追加的五条数据一模一样), xxx.log才刷新一条 。--from-beginning 开启的控制台消费者才能看到这一条。 但是如果同时开启了另一个consumer 。追加的所有条目。都是可以消费到的。 也就是consumer可以消费到,但是 --from-beginning  却没有获取到请问有同学知道这是为什么吗?
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 5121 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信