为了账号安全,请及时绑定邮箱和手机立即绑定

关于Kafka远程生产和消费的额外说明

标签:
大数据

网上有太多此类帖子,然而本帖比他们全面。

背景

有一台阿里云服务器A,用作测试服务器,一台华为服务器B,用作生产服务器。均搭建相同配置和版本Apache Kafka。现在需远程生产和消费Kafka。在服务器B均无错误,在服务器A死活不通。

问题排查

iptable input和output均打开Kafka端口。

telnet通。

log没有任何报错,就是没接收到。

tcpdump检测两台机器发送的tcp包是一样的。

原因分析

首先,可以肯定网上的说法是没错的。Kafka监听的地址(listeners)和广播的地址(advertised.listeners)是会有默认值的。但是为什么服务器A行不通,服务器B行得通呢?这点目前应该没有文章提到过。就是网卡数量。

华为服务器只有一块网卡,网卡地址是常用局域网地址

192.168.xxx.xxx

所以发送给该服务器的TCP报文会通过路由网关转发到该网卡。无论是外网内网最终都只会指向一个地址。针对此类情况,网上绝大多数文章所说指定监听和广播地址的做法是没有必要的。

而阿里云不同了,阿里云服务器有两块网卡,内网网卡编号eth0,外网网卡编号eth1,如果不指定Kafka配置的地址,默认监听内网网卡eth0,而远程访问一定是访问eth1,则Kafka是绝对监听不到的。所以这类情况需要把配置地址改掉。普遍情况是在两块网卡,远程调用的机器和哪一块网卡处于同一个环境就要把地址换成哪一块网卡的地址。



作者:orisonchan
链接:https://www.jianshu.com/p/4c594cfaca03


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
移动开发工程师
手记
粉丝
45
获赞与收藏
144

关注作者,订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消