为了账号安全,请及时绑定邮箱和手机立即绑定

Kafka流处理平台

书生 架构师
难度中级
时长 1小时17分
学习人数
综合评分8.43
47人评价 查看评价
8.1 内容实用
8.6 简洁易懂
8.6 逻辑清晰
    • Kafka应用场景

    • 消息队列、行为跟踪、元信息监控(运维性质)、日志收集、流处理、事件源、持久性日志(commit log)

    查看全部
    6 采集 收起 来源:kafka应用场景

    2018-11-29

    • 物理概念:物理层面的隔离,如数据库,服务器设备等

    • 逻辑概念:代码/策略逻辑层面的概念

    • Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务

    • Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务

    • Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息

    • broker:物理概念,kafka集群中的每个kafka节点

    • topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离

    • partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个partition,每个partition是有序的

    • Replication:同一个Partition可能会有多个Replica,多个Replica之间的数据是一样的(相当于一个partition有多个副本)

    • Replication Leader:一个Partition的多个Replica上,需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个,其他的负责同步数据,当好备胎)

    • ReplicaManager:负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等


    查看全部
    6 采集 收起 来源:kafka基本概念

    2018-11-26

    • Kafka基本结构

    • https://img1.mukewang.com/5bffe9ed0001771716970950.jpg

    • https://img4.mukewang.com/5bffead300011da415890940.jpg

    • Kafka消息结构

    • https://img4.mukewang.com/5bffeb690001796917420607.jpg

    查看全部
    3 采集 收起 来源:kafka基本结构

    2018-11-29

  • kafka应用场景

    1. 消息队列

    2. 行为跟踪

    3. 元信息监控

    4. 日志收集

    5. 流处理

    6. 事件源

    7. 持久性日志(commit log)

      对故障节点的恢复提供一种重新投入的机制。日志压缩


    查看全部
    4 采集 收起 来源:kafka应用场景

    2018-11-15

  • kafka基本概念延伸

    Partition

    1)每一个Topic被切分为多个Partitions

    2)消费者数目少于或等于Partition的数目

    3)Broker Group中的每一个Broker保存Topic的一个或多个Partitions

    4)Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions,并且是唯一的Consumer

    Replication(副本)

    1)当集群中有Broker挂掉的情况,系统可以主动地使Replicas提供服务

    2)系统默认设置每一个Topic的replication系数为1,可以在创建Topic时单独设置

    Replication的特点

    1)Replication的基本单位是Topic的Partition

    2)所有的读和写都从Leader进,Followers只是做为备份

    3)Follower必须能够及时复制Leader的数据

    4)增加容错性与可扩展性


    查看全部
    2 采集 收起 来源:kafka概念延伸

    2020-03-07

  • kafka:

    producer:消息和数据的生产者,向kafka的一个topic发布消息

    consumer:消息和数据的订阅者,订阅数据(topic)

    broker:kafka物理节点

    topic:kafka消息类别,对数据进行区分,隔离

    partition:存储的基本单元,一个topic可以存多个partition,partition是有序的

    replication:一个partition会有多个replica,多个replica的数据是一样的

    replication leader: 负责该 partion与producer 和 consumer交互

    replicamanager:管理当前broker所有分区和副本的信息,处理kafkacontroller发起的一些请求,副本状态的切换,添加/读取消息等


    查看全部
    2 采集 收起 来源:kafka基本概念

    2018-12-17

  • kafka基本概念

    Producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/代码/服务

    Consumer:消息和数据的消费者,订阅数据(Topic)并且处理其发布的消息的进程/代码/服务

    Consumer Group:逻辑概念,对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息

    Broker:物理概念,kafka集群中的每个kafka节点

    Topic:逻辑概念,kafka消息的类别,对数据进行区分、隔离

    Partition:物理概念,kafka下数据存储的基本单元。一个Topic数据,会被分散存储到多个Partition,每一个Partition是有序的

    Replication:同一个Partition可能会有多个Replica,多个Replica之间数据是一样的。副本的意思

    Replication Leader:一个Partition的多个Replica上,需要一个Leader负责该Partition上与Producer和Consumer交互

    ReplicaManager:负责管理当前broker所有分区和副本的信息,处理KafkaController发起的一些请求,副本状态的切换、添加/读取消息等



    查看全部
    1 采集 收起 来源:kafka基本概念

    2020-03-07

  • LinkedIn开源工具

    1. 分布式数据同步系统Databus

    2. 高性能计算引擎Cubert

    3. Java异步处理框架

    4. Kafka流处理平台


    查看全部
    1 采集 收起 来源:什么是kafka

    2019-10-24

  • Kafka消息结构
     OfferSet:记录消息的偏移量
     Length:记录的是整条消息的长度
     CRC32:校验字段,校验信息的完整性
     Magic:特定数字,判断数据是否属于Kafka,不属于就直接丢弃
     attributes:(可选)记录的是数据的多个属性,是一个枚举值
     Timestamp:当前消息的时间戳
     keyLength:key的长度
     key:key的值
     valueLength:value的长度
     value:value的值

    查看全部
    1 采集 收起 来源:kafka基本结构

    2019-06-21

  • kafka应用场景

    1. 消息队列

    2. 行为跟踪

    3. 元信息监控

    4. 日志收集

    5. 流处理


    查看全部
    1 采集 收起 来源:kafka应用场景

    2019-04-20

  • Zookeeper下载地址:
    http://zookeeper.apache.org/releases.html#download

    Kafka下载:http://kafka.apache.org/downloads

    Mac便捷安装:brew install kafka


    查看全部
    1 采集 收起 来源:kafka简单案例

    2019-04-15

  • broker 节点 topic 表名 partition 分区 一个topic可以有多个partition, 一个partition只能对应一个broker, partition是有序的
    查看全部
    1 采集 收起 来源:kafka基本概念

    2019-04-02

  • 2-1 什么是kafka

    2018-11-30

    两个特性:

        1.用于两个关系紧密的系统或应用之间的实时流管道传输;

        2.用于处理实时流数据。

    Kafka可以说是,面向数据流的生产,转换,存储,消费为整体的处理平台。


    查看全部
    1 采集 收起 来源:什么是kafka

    2019-04-02

  • 两个特性:

        1.用于两个关系紧密的系统或应用之间的实时流管道传输;

        2.用于处理实时流数据。

    Kafka可以说是,面向数据流的生产,转换,存储,消费为整体的处理平台。

    查看全部
    1 采集 收起 来源:什么是kafka

    2018-11-30

    • Kafka特点

    • 1.分布式:多分区、多副本、多订阅者、基于ZooKeeper调度

    • 2.高性能:高吞吐量、低延迟、高并发、时间复杂度为O(1)

    • 3.持久性与扩展性:数据可持久化、容错性、支持在线水平扩展、消息自动平衡

    查看全部
    1 采集 收起 来源:kafka特点

    2018-11-29

首页上一页1234567下一页尾页

举报

0/150
提交
取消
课程须知
1、具备Java基础。 2、具备SpringBoot基础 。
老师告诉你能学到什么?
1、消息队列在程序开发中的作用 2、Kafka的基本概念 3、理解Kafka的设计思想和内部实现 4、如何在命令行里实现Kafka消息的生产和消费 5、如何在代码里实现Kafka消息的生产和消费 6、理解Kafka的消息事务和数据一致性 7、学习零拷贝技术并知道如何运用

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!