-
kafka基本概念查看全部
-
mark here
查看全部 -
Git https://github.com/AnAngryMan/KafkaSimpleExample查看全部
-
partition
每一个topic被切分为多个partitions
消费者数目少于或等于partition的数目
BrokerGroup中的每一个Broker保存topic的一个或多个partitions
consumerGroup中的一个consumer读取topic的一个或多个partitions,一个partition只能被一个consumer消费
Replication
当集群中有Broker挂掉时，系统可以主动地使replication提供服务
系统默认设置每一个topic的replication系数为1，可在创建topic时单独设置
Replication特点
replication的基本单位是topic的partition；
所有读写都从leader进，Followers只是作为备份；
Follower必须能够及时复制leader的数据
增加容错性与可扩展性
查看全部 -
AAAAA
查看全部 -
AAAAAA
查看全部 -
Broker 物理概念，kafka集群中的每个kafka结点
Topic 逻辑概念 kafka消息的类别，对数据进行区分、隔离
Partition 物理概念 kafka下数据存储的基本单元 一个topic的数据，会被分散存储到多个partition，每个partition是有序的
replication 同一个partition可能会有多个replica，多个replica之间数据是一样的
replication leader
replicamanager
查看全部 -
概念，生产者 消费者 group
同一个group中，只有一个comsumer可以消费该消息
查看全部 -
Kafka消息结构
查看全部 -
LinkedIn开源工具
分布式数据同步系统Databus
高性能计算引擎Cubert
Java异步处理框架
Kafka流处理平台
查看全部 -
producer
consumer
broker：kafka节点
consumer group
topic: message type 消息分类
partition 消息最小拆分
replication 副本
replication leader 与pro和con交互
replicaManager 维护副本读取、切换
查看全部 -
producer：
向 kafka 的一个 topic 发送消息
consumer：
订阅某个 topic 并消费数据
consumer group：
对于同一个 topic 会广播给不同的 group，一个 group 中只有一个 consumer 可以消费该消息
broker：
kafka 集群中的物理节点
topic：
（主题）消息的分类，对数据进行区分，隔离
partition：
数据存储的基本单元，一个 topic 里面的数据会被切分成很多个 partition，每一个 partition 会被存放到一个 broker 里面（当然，一个 broker 里面会存储多个不同 topic 的 partition），每一个 partition 内部是有序的
replication：
partition 的副本，一个 partition 存在多个副本也就是多个 replication
replication leader：
多个 replication 只有一个 leader，负责和 producer 和 consumer 交互
replicaManager：
负责管理当前 broker 上所有 partition 和 replication 的信息，处理 kafkaController 发来的请求，副本状态的切换，消息的添加和读取
查看全部 -
./kafka-server-start.sh /export/servers/kafka_2.11-1.1.1/config/server-1.properties
./kafka-console-producer.sh --broker-list 192.168.150.121:9092 --topic imocc
./kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic imocc --from-beginning
from-beginning从头开始消费
查看全部 -
日志收集 流处理 事件源 持久性日志
查看全部 -
kafka应用场景
消息队列 延迟低 吞吐大
查看全部
举报