-
Kafka应用场景
消息队列、行为跟踪、元信息监控(运维性质)、日志收集、流处理、事件源、持久性日志(commit log)
查看全部 -
物理概念:物理层面的隔离,如数据库,服务器设备等
逻辑概念:代码/策略逻辑层面的概念
Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务
Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务
Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息
broker:物理概念,kafka集群中的每个kafka节点
topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离
partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个partition,每个partition是有序的
Replication:同一个Partition可能会有多个Replica,多个Replica之间的数据是一样的(相当于一个partition有多个副本)
Replication Leader:一个Partition的多个Replica上,需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个,其他的负责同步数据,当好备胎)
ReplicaManager:负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等
查看全部 -
Kafka基本结构
Kafka消息结构
查看全部 -
kafka应用场景
消息队列
行为跟踪
元信息监控
日志收集
流处理
事件源
持久性日志(commit log)
对故障节点的恢复提供一种重新投入的机制。日志压缩
查看全部 -
kafka基本概念延伸
Partition
1)每一个Topic被切分为多个Partitions
2)消费者数目少于或等于Partition的数目
3)Broker Group中的每一个Broker保存Topic的一个或多个Partitions
4)Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions,并且是唯一的Consumer
Replication(副本)
1)当集群中有Broker挂掉的情况,系统可以主动地使Replicas提供服务
2)系统默认设置每一个Topic的replication系数为1,可以在创建Topic时单独设置
Replication的特点
1)Replication的基本单位是Topic的Partition
2)所有的读和写都从Leader进,Followers只是做为备份
3)Follower必须能够及时复制Leader的数据
4)增加容错性与可扩展性
查看全部 -
kafka:
producer:消息和数据的生产者,向kafka的一个topic发布消息
consumer:消息和数据的订阅者,订阅数据(topic)
broker:kafka物理节点
topic:kafka消息类别,对数据进行区分,隔离
partition:存储的基本单元,一个topic可以存多个partition,partition是有序的
replication:一个partition会有多个replica,多个replica的数据是一样的
replication leader: 负责该 partion与producer 和 consumer交互
replicamanager:管理当前broker所有分区和副本的信息,处理kafkacontroller发起的一些请求,副本状态的切换,添加/读取消息等
查看全部 -
kafka基本概念
Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务
Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务
Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息
Broker:物理概念,kafka集群中的每个kafka节点
Topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离
Partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个Partition,每一个Partition是有序的
Replication:同一个Partition可能会有多个Replica,多个Replica之间数据是一样的。副本的意思
Replication Leader:一个Partition的多个Replica上,需要一个Leader负责该Partition上与Producer和Consumer交互
ReplicaManager:负责管理当前broker所有分区和副本的信息,处理KafkaController发起的一些请求,副本状态的切换、添加/读取消息等
查看全部 -
LinkedIn开源工具
分布式数据同步系统Databus
高性能计算引擎Cubert
Java异步处理框架
Kafka流处理平台
查看全部 -
Kafka消息结构
OfferSet:记录消息的偏移量
Length:记录的是整条消息的长度
CRC32:校验字段,校验信息的完整性
Magic:特定数字,判断数据是否属于Kafka,不属于就直接丢弃
attributes:(可选)记录的是数据的多个属性,是一个枚举值
Timestamp:当前消息的时间戳
keyLength:key的长度
key:key的值
valueLength:value的长度
value:value的值查看全部 -
kafka应用场景
消息队列
行为跟踪
元信息监控
日志收集
流处理
查看全部 -
Zookeeper下载地址:
http://zookeeper.apache.org/releases.html#downloadKafka下载:http://kafka.apache.org/downloads
Mac便捷安装:brew install kafka
查看全部 -
broker 节点 topic 表名 partition 分区 一个topic可以有多个partition, 一个partition只能对应一个broker, partition是有序的查看全部
-
2-1 什么是kafka
2018-11-30
两个特性:
1.用于两个关系紧密的系统或应用之间的实时流管道传输;
2.用于处理实时流数据。
Kafka可以说是,面向数据流的生产,转换,存储,消费为整体的处理平台。
查看全部 -
两个特性:
1.用于两个关系紧密的系统或应用之间的实时流管道传输;
2.用于处理实时流数据。
Kafka可以说是,面向数据流的生产,转换,存储,消费为整体的处理平台。
查看全部 -
Kafka特点
1.分布式:多分区、多副本、多订阅者、基于ZooKeeper调度
2.高性能:高吞吐量、低延迟、高并发、时间复杂度为O(1)
3.持久性与扩展性:数据可持久化、容错性、支持在线水平扩展、消息自动平衡
查看全部
举报