• Kafka应用场景

• 消息队列、行为跟踪、元信息监控（运维性质）、日志收集、流处理、事件源、持久性日志（commit log）
  

• 物理概念：物理层面的隔离，如数据库，服务器设备等

• 逻辑概念：代码/策略逻辑层面的概念

• Producer:消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务

• Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务

• Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息

• broker:物理概念，kafka集群中的每个kafka节点

• topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离

• partition:物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个partition，每个partition是有序的

• Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的（相当于一个partition有多个副本）

• Replication Leader：一个Partition的多个Replica上，需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个，其他的负责同步数据，当好备胎)

• ReplicaManager：负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等
  

  
  

• Kafka基本结构

• 

• 

• Kafka消息结构

• 
  

kafka应用场景

1. 消息队列

2. 行为跟踪

3. 元信息监控
   

4. 日志收集
   

5. 流处理

6. 事件源

7. 持久性日志（commit log）

   对故障节点的恢复提供一种重新投入的机制。日志压缩

kafka基本概念延伸

Partition

1）每一个Topic被切分为多个Partitions

2）消费者数目少于或等于Partition的数目

3）Broker Group中的每一个Broker保存Topic的一个或多个Partitions

4）Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer

Replication（副本）

1）当集群中有Broker挂掉的情况，系统可以主动地使Replicas提供服务

2）系统默认设置每一个Topic的replication系数为1，可以在创建Topic时单独设置

Replication的特点

1）Replication的基本单位是Topic的Partition

2）所有的读和写都从Leader进，Followers只是做为备份

3）Follower必须能够及时复制Leader的数据

4）增加容错性与可扩展性

kafka:

producer:消息和数据的生产者，向kafka的一个topic发布消息

consumer:消息和数据的订阅者，订阅数据(topic)

broker:kafka物理节点

topic:kafka消息类别，对数据进行区分，隔离

partition:存储的基本单元，一个topic可以存多个partition,partition是有序的

replication：一个partition会有多个replica，多个replica的数据是一样的

replication leader: 负责该 partion与producer 和 consumer交互

replicamanager:管理当前broker所有分区和副本的信息，处理kafkacontroller发起的一些请求，副本状态的切换，添加/读取消息等

kafka基本概念

Producer：消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务

Consumer：消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务

Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息

Broker：物理概念，kafka集群中的每个kafka节点

Topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离

Partition：物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的

Replication：同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。副本的意思

Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互

ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等

LinkedIn开源工具

1. 分布式数据同步系统Databus

2. 高性能计算引擎Cubert

3. Java异步处理框架

4. Kafka流处理平台

Kafka消息结构
 OfferSet:记录消息的偏移量
 Length:记录的是整条消息的长度
 CRC32:校验字段，校验信息的完整性
 Magic:特定数字，判断数据是否属于Kafka,不属于就直接丢弃
 attributes:(可选）记录的是数据的多个属性，是一个枚举值
 Timestamp:当前消息的时间戳
 keyLength:key的长度
 key:key的值
 valueLength:value的长度
 value:value的值

kafka应用场景

1. 消息队列

2. 行为跟踪

3. 元信息监控
   

4. 日志收集
   

5. 流处理

Zookeeper下载地址：
http://zookeeper.apache.org/releases.html#download

Kafka下载：http://kafka.apache.org/downloads

Mac便捷安装：brew install kafka

2-1 什么是kafka

2018-11-30

两个特性：

    1.用于两个关系紧密的系统或应用之间的实时流管道传输；

    2.用于处理实时流数据。

Kafka可以说是，面向数据流的生产，转换，存储，消费为整体的处理平台。

两个特性：

    1.用于两个关系紧密的系统或应用之间的实时流管道传输；

    2.用于处理实时流数据。

Kafka可以说是，面向数据流的生产，转换，存储，消费为整体的处理平台。

• Kafka特点

• 1.分布式：多分区、多副本、多订阅者、基于ZooKeeper调度

• 2.高性能：高吞吐量、低延迟、高并发、时间复杂度为O（1）

• 3.持久性与扩展性：数据可持久化、容错性、支持在线水平扩展、消息自动平衡