有了之前的介绍,我们可以使用 Flume 和 Kafka 一起来完成项目日志输出到 kafka,然后编程消费者进行日志处理。
1、示例图
示例图
下面蓝色的是我们需要修改的
2、配置 flume
在 A 机器上,(也可以在 C 机器上,这里为了方便) flume 中新增一个配置文件 avro-mem-kafka.conf
注意 bootstrap.servers 的写法,需要和版本对应
# Baseavro-mem-kafka.sources = avro-source avro-mem-kafka.sinks = kafka-sink avro-mem-kafka.channels = mem-channel# Sourceavro-mem-kafka.sources.avro-source.type = avro avro-mem-kafka.sources.avro-source.bind = localhost avro-mem-kafka.sources.avro-source.port = 44444# Sink https://flume.apache.org/FlumeUserGuide.html#kafka-sinkavro-mem-kafka.sinks.kafka-sink.type = org.apache.flume.sink.kafka.KafkaSink avro-mem-kafka.sinks.kafka-sink.kafka.bootstrap.servers=PLAINTEXT://192.168.31.122:9092,PLAINTEXT://192.168.31.122:9093,PLAINTEXT://192.168.31.122:9094avro-mem-kafka.sinks.kafka-sink.kafka.topic=my-replicated-topic# Channelavro-mem-kafka.channels.mem-channel.type = memory# Linkavro-mem-kafka.sources.avro-source.channels = mem-channel avro-mem-kafka.sinks.kafka-sink.channel = mem-channel
启动 Kafka
在 C 机器上先启动 ZK,再启动 Kafka 集群
zkServer.sh start kafka-server-start.sh $KAFKA_HOME/config/server.properties & kafka-server-start.sh $KAFKA_HOME/config/server-1.properties & kafka-server-start.sh $KAFKA_HOME/config/server-2.properties &
启动 flume
这两个脚本都在 A 机器上运行,也可以分开
$ bin/flume-ng agent \--conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/conf/avro-mem-kafka.conf \ --name avro-mem-kafka \ -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true$ bin/flume-ng agent \--conf $FLUME_HOME/conf \ --conf-file $FLUME_HOME/conf/exec-mem-avro.conf \ --name exec-mem-avro \ -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true
开启消费者
kafka-console-consumer.sh --bootstrap-server PLAINTEXT://192.168.31.122:9092,PLAINTEXT://192.168.31.122:9093,PLAINTEXT://192.168.31.122:9094 --from-beginning --topic my-replicated-topic
在 A 机器上输入日志,将会看到消费者打印出
作者:breezedancer
链接:https://www.jianshu.com/p/238a1fea8acb
点击查看更多内容
为 TA 点赞
评论
共同学习,写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦