为了账号安全,请及时绑定邮箱和手机立即绑定

【大数据哔哔集20210123】别问,问就是Kafka最可靠

高可靠性分析 Kafka的高可靠性的保障来源于其健壮的副本(replication)策略。通过调节其副本相关参数,可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供Partition级别的复制,replication数量可以配置文件(default.replication.refactor)中或者创建Topic的时候指定。 这里先从Kafka文件存储机制入手,从最底层了解Kafka的存储细节,进而对存储有个微观的认知。之后通过Kafka复制原理和同步方式来阐述宏观层面的概念。最后从ISR,HW,leader选举以及数据可靠性和持

892浏览
0推荐
0评论

7-Flink的分布式缓存

分布式缓存 Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。 此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行,Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统,仅会执行一次。用户可以通过这个指定的名称查找文件或者目录,然后从taskmanager节点的本地文件系统访

1324浏览
0推荐
0评论

6-Flink重启策略

概述 Flink支持不同的重启策略,以在故障发生时控制作业如何重启 集群在启动时会伴随一个默认的重启策略,在没有定义具体重启策略时会使用该默认策略。 如果在工作提交时指定了一个重启策略,该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。 常用的重启: 1.策略固定间隔 (Fixed delay) 2.失败率 (Failure rate) 3.无重启 (No restart) 如果没有启用 checkpointing,则使用无

2731浏览
0推荐
0评论

5-Flink集群部署

部署方式 一般来讲有三种方式: Local Standalone Flink On Yarn/Mesos/K8s… 单机模式 参考上一篇Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用 Standalone模式部署 我们基于CentOS7虚拟机搭建一个3个节点的集群: 角色分配: Master: 192.168.246.134 Slave: 192.168.246.135 Slave: 192.168.246.136 192.168.246.134 jobmanager 192.168.246.135 taskmanager 192.168.246.136 taskmanager...

2437浏览
4推荐
0评论

Flink从入门到放弃(入门篇4) DataStreamAPI

DataStream算子将一个或多个DataStream转换为新DataStream。程序可以将多个转换组合成复杂的数据流拓扑。 DataStreamAPI和DataSetAPI主要的区别在于Transformation部分。 DataStream Transformation map DataStreamDataStream 用一个数据元生成一个数据元。一个map函数,它将输入流的值加倍: DataStream<Integer> dataStream = //... dataStream.map(new MapFunction<Integer, Integer>() { @Override...

2977浏览
0推荐
0评论

Flink从入门到放弃(入门篇3)-DataSetAPI

首先我们来看一下编程结构: 编程结构 public class SocketTextStreamWordCount { public static void main(String[] args) throws Exception { if (args.length != 2){ System.err.println("USAGE:\nSocketTextStreamWordCount <hostname> <port>"); return; } String hostName = args[0]; Integer port = Integer.parseInt(args[1]);...

4702浏览
1推荐
0评论

Flink从入门到放弃(入门篇2)-本地环境搭建&amp;构建第一个Flink应用

本地安装单机版本Flink 一般来说,线上都是集群模式,那么单机模式方便我们测试和学习。 环境要求 本地机器上需要有 Java 8 和 maven 环境,推荐在linux或者mac上开发Flink应用: 如果有 Java 8 环境,运行下面的命令会输出如下版本信息: 如果有 maven 环境,运行下面的命令会输出如下版本信息: 开发工具推荐使用 ItelliJ IDEA。 第一种方式 来这里https://flink.apache.org/ 看这里: 注意: An Apache Hadoop installation is not required to use Apache

1614浏览
1推荐
0评论

Flink从入门到放弃(入门篇1)-Flink是什么

本文是例行介绍,熟悉的直接跳过 - 鲁迅 鲁迅: ... 大纲 入门篇: 放弃篇: 图片显示不了,戳这里: https://github.com/wangzhiwubigdata/God-Of-BigData/blob/master/Flink Flink是什么 一句话概括 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。 前身 Apache Flink 的前身是柏林理工大学一个研究性项目, 在 2014 被 Apache 孵化器所接受,然后迅速地成为了Apache Software Foundation的顶级项目

1954浏览
1推荐
1评论
意见反馈 帮助中心 APP下载
官方微信