-
Partition
每一个Topic被且分为多个Partitions
消费者数目少于或等于Partition的数目
Braoker Group中的每一个Broker保存Topic的一个或多个Partitions
Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions,并且是唯一的Consumer
Replication
当集群中有Broker挂掉的情况,系统可以主动地使Replicas提供服务
系统默认设置每一个Topic的replication系数为1,可以在创建Topic时单独设置
Replication特点
Replication的基本单位是Topic的Partition
所有的读和写都从Leader进,Followers只是作为备份
Follower必须能够及时复制Leader的数据
增加容错性与可扩展性
查看全部 -
绪论:kafka流处理平台
查看全部 -
kafka概念:
查看全部 -
kafka延迟低,查看全部
-
因为kafka支持分区,支持备份,消息可以重复被消费。 高容错性,高可靠性查看全部
-
kafka应用场景
日志收集
流处理
事件源
持久性日志(commit log)
对故障节点的恢复提供一种重新投入的机制。日志压缩
查看全部 -
第一遍基本没看懂查看全部
-
环境准备
查看全部 -
应用场景
消息队列
行为跟踪
元信息监控
日志收集
流处理
事件源
持久性日志(commit log)
.......
查看全部 -
特点
多分区
多副本
多订阅者
基于zookeeper调度
高性能
高吞吐量
低延迟
高并发
时间复杂度为 O(1)
持久性与扩展性
数据可持久化
容错性
支持在线水平扩展
消息自动平衡
查看全部 -
kafka基本结构
另一种架构
查看全部 -
Zookeeper下载地址:
http://zookeeper.apache.org/releases.html#downloadKafka下载:http://kafka.apache.org/downloads
Mac便捷安装:brew install kafka
启动zookeeper命令: zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
启动kafka命令: 进入kafka安装目录,cd /usr/local/Cellar/kafka/1.1.0/
启动命令:./bin/kafka-server-start /usr/local/etc/kafka/server.properties
启动kafka生存者:./bin/kafka-console-producer --broker-list localhost:9092 --topic imooc-kafka-topic
启动kafka消费者:./bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic imooc-kafka-topic --from-beginning
查看全部 -
replication特点
查看全部 -
Kafka 特点
分布式
多分区
多副本
多订阅者
基于 ZooKeeper 调度
高性能
高吞吐量
低延迟
高并发
时间复杂度为 O(1)
持久性与扩展性
数据可持久化
容错性
支持在线水平扩展
消息自动平衡
查看全部 -
Replication 相关概念。
查看全部
举报