-
创建topic: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 -partitions 1 --topci wikipedis(topic名称)
发送一个post请求：curl -XPOST -H'Content-Type: application/json' -d@quickstart/tutorial/wikipedia-kafka-supervisor.json http://localhost:8090/druid/indexer/v1/supervisor
查看全部 -
启动kafka: bin/kafka-server-start.sh config/server.properties
kafka topic操作界面：bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
查看topic情况：bin/kafka-topics.sh --list --bootstrap-server localhost:9092
打开producer开始push消息：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
打开consumer开始消费消息: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看全部 -
server.properties配置文件说明：
broker.id=0 #kafka实例节点唯一标识
num.network.threads=3 #broker处理消息的最大线程数,一般是cpu的核数
num.io.threads=8 #broker处理磁盘io的线程数
socket.send.buffer.bytes=102400 #socket的一个发送缓冲区大小
socket.receive.buffer.bytes=102400 #socket的一个接入缓冲区大小
socket.request.max.bytes=104857600 #socket请求的最大数值
log.dirs=/tem/kafka-logs #log文件地址
num.partitions=1 #指定一个新创建的topic会包含的那些分区的一个默认值
num.recovery.threads.per.data.dir=1 #配置kafka用于自身恢复的一些机制，默认情况下，每个文件夹下就是1个线程
#log.flush.interval.messages=1000 #当消息有1000条时就刷新到磁盘上
#log.flush.interval.ms=1000 #每1000秒时就把消息刷新到磁盘
log.retention.hours=168 #过期时间，日志数据保存的一个最大时间，默认是7天
#log.retention.bytes=1073741824 #日志保存的最大字节数
log.retention.check.interval.ms=300000 #日志片段检查周期
查看全部 -
kafka基本原理
查看全部 -
kafka的基本原理
查看全部 -
Producer: 生产者（向kafka发送数据，负责将消息放到kafka中）
Consumer: 消费者（读取kafka的数据）
Consumer Group: 消费者组，kafka的消费者从属于消费者组，同一个消费者组订阅的同一个topic, 当消费者组里面的消费者数量小于等于主题下面的分区的时候，每一个消费者都对应这一个或者多个分区。当消费者组里面的消费者数量大于分区的数量的时候，多出来的消费者不会消费任何分区的消息
查看全部 -
kafka基本概念：
Broker：部署kafka实例的服务器节点；
Topic: 区分不同种类消息的标识，比如用户点击数据或者应用的消息等，不同的类型使用topic进行区分；
Partition: 是Topic的分区，分区的主要目的是实现负载均衡，提高并发度。
查看全部 -
Kafka简介
查看全部 -
Druid数据摄取配置
查看全部 -
Druid的数据结构
查看全部 -
Druid数据划分
查看全部 -
Apache Druid架构图
查看全部 -
OLAT技术方案对比
查看全部 -
Druid的使用场景
查看全部 -
Druid简介
查看全部
举报