为了账号安全,请及时绑定邮箱和手机立即绑定

Flink实战(三) - 编程模型及核心概念

1 基本的 API 概念

Flink程序是实现分布式集合转换的常规程序(例如,过滤,映射,更新状态,加入,分组,定义窗口,聚合)。最初从源创建集合(例如,通过从文件,kafka主题或从本地的内存集合中读取)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如,命令行终端)。 Flink程序可以在各种环境中运行,独立运行或嵌入其他程序中。执行可以在本地JVM中执行,也可以在许多计算机的集群上执行。

根据数据源的类型,即有界或无界源,您可以编写批处理程序或流程序,其中

  • DataSet API用于批处理
  • DataStream API用于流式处理。

注意:在显示如何使用API的实际示例时,我们将使用StreamingExecutionEnvironment和DataStream API。 DataSet API中的概念完全相同,只需用ExecutionEnvironment和DataSet替换即可。

  • 大数据的处理流程

2 DataSet & DataStream

Flink具有特殊类DataSet和DataStream来表示程序中的数据。 可以将它们视为可以包含重复项的不可变数据集合。

  • 在DataSet的情况下,数据是有限的
  • 而对于DataStream,元素的数量可以是无限的

这些集合在某些关键方面与常规Java集合不同。 首先,它们是不可变的,这意味着一旦创建它们,就无法添加或删除元素。 也不能简单地检查里面的元素

最初通过在Flink程序中添加源来创建集合,并通过使用诸如map,filter等API方法对它们进行转换来从这些集合中派生新集合。

可以看出底层使用了数据源

3 Flink 项目流程剖析

Flink程序看起来像是转换数据集合的常规程序。 每个程序包含相同的基本部分:

  • 获得执行环境,
  • 加载/创建初始数据,
  • 指定此数据的转换,
  • 指定放置计算结果的位置,
  • 触发程序执行

Scala版本

我们现在将概述每个步骤
Scala DataSet API的所有核心类都可以在org.apache.flink.api.scala包中找到
而Scala DataStream API的类可以在org.apache.flink.streaming.api.scala中找到

StreamExecutionEnvironment是所有Flink程序的基础
可以在StreamExecutionEnvironment上使用这些静态方法获取一个:

1:getExecutionEnvironment()

2:createLocalEnvironment()

3:createRemoteEnvironment(host: String, port: Int, jarFiles: String*)
  • 法1示例代码
  • 法2示例代码

此方法将环境的默认并行度设置为给定参数,默认为通过[[setDefaultLocalParallelism(Int)]]设置的值。

通常,只需要使用getExecutionEnvironment(),因为这将根据上下文执行正确的操作:

  • 如果在IDE中执行程序或作为常规Java程序,它将创建一个本地环境,将执行在本地机器上的程序。
  • 如果从程序中创建了一个JAR文件,并通过命令行调用它,则Flink集群管理器将执行您的main方法,getExecutionEnvironment()将返回一个执行环境,用于在集群上执行程序。

对于指定数据源,执行环境可以通过各种途径从文件中读取

  • 逐行读取它们
  • CSV文件
  • 使用完全自定义数据输入格式

要将文本文件作为一系列行读取,可以使用:

val env = StreamExecutionEnvironment.getExecutionEnvironment()

val text: DataStream[String] = env.readTextFile("file:///path/to/file")

这将提供一个DataStream,然后就可以在其上应用转换来创建新的派生DataStream

也可以通过使用转换函数调用DataSet上的方法来应用转换。 例如,map转换如下所示:

val input: DataSet[String] = ...

val mapped = input.map { x => x.toInt }

这将通过将原始集合中的每个String转换为Integer来创建新的DataStream

一旦有了包含最终结果的DataStream,就可以通过创建接收器将其写入外部系统。 这些只是创建接收器的一些示例方法:

writeAsText(path: String)

print()

一旦指定了完整的程序,就需要通过调用StreamExecutionEnvironment上的execute()触发程序执行
根据ExecutionEnvironment的类型,将在本地计算机上触发执行或提交程序以在集群上执行。

execute()方法返回一个JobExecutionResult,它包含执行时间和累加器结果。

触发程序执行。环境将执行导致"sink"操作运作程序的所有部分
Sink操作例如是打印结果或将它们转发到消息队列。
该法将记录程序执行并使用提供的名称显示。

4 延迟执行

所有Flink程序都是延迟执行:当执行程序的main方法时,数据加载和转换不会立即执行。而是创建每个操作并将其添加到程序的计划中。
当执行环境上的execute()调用显式触发执行时,实际执行操作。
程序是在本地执行还是在集群上执行取决于执行环境的类型

延迟执行使我们可以构建Flink作为一个整体计划单元执行的复杂程序,进行内部的优化。

5 指定keys

上述程序中的这些数据如何确定呢?

某些转换(join,coGroup,keyBy,groupBy)要求在元素集合上定义key
其他转换(Reduce,GroupReduce,Aggregate,Windows)允许数据在应用之前在key上分组。

  • DataSet分组为
DataSet<...> input = // [...]
DataSet<...> reduced = input
  .groupBy(/*define key here*/)
  .reduceGroup(/*do something*/);

虽然可以使用DataStream指定key

DataStream<...> input = // [...]
DataStream<...> windowed = input
  .keyBy(/*define key here*/)
  .window(/*window specification*/);

Flink的数据模型不基于键值对。 因此,无需将数据集类型物理打包到键和值中。 键是“虚拟的”:它们被定义为实际数据上的函数,以指导分组操作符。

注意:在下面的讨论中,将使用DataStream API和keyBy。 对于DataSet API,只需要用DataSet和groupBy替换。

5.1 定义元组的键

  • 源码

    即 :按给定的键位置(对于元组/数组类型)对DataStream的元素进行分组,以与分组运算符(如分组缩减或分组聚合)一起使用。

最简单的情况是在元组的一个或多个字段上对元组进行分组:

val input: DataStream[(Int, String, Long)] = // [...]
val keyed = input.keyBy(0)

元组在第一个字段(整数类型)上分组。

val input: DataSet[(Int, String, Long)] = // [...]
val grouped = input.groupBy(0,1)

在这里,我们将元组分组在由第一个和第二个字段组成的复合键上。

关于嵌套元组的注释:如果你有一个带有嵌套元组的DataStream,例如:

DataStream<Tuple3<Tuple2<Integer, Float>,String,Long>> ds;

指定keyBy(0)将使系统使用完整的Tuple2作为键(以Integer和Float为键)。 如果要“导航”到嵌套的Tuple2中,则必须使用下面解释的字段表达式键。

5.2 指定key的字段表达式

可以使用基于字符串的字段表达式来引用嵌套字段,并定义用于分组,排序,连接或coGrouping的键。

字段表达式可以非常轻松地选择(嵌套)复合类型中的字段,例如Tuple和POJO类型。

我们有一个WC POJO,其中包含两个字段“word”和“count”。

  • Java版本代码
  • Scala版本代码

要按字段分组,我们只需将其名称传递给keyBy()函数。

// some ordinary POJO (Plain old Java Object)
class WC(var word: String, var count: Int) {
  def this() { this("", 0L) }
}
val words: DataStream[WC] = // [...]
val wordCounts = words.keyBy("word").window(/*window specification*/)

// or, as a case class, which is less typing
case class WC(word: String, count: Int)
val words: DataStream[WC] = // [...]
val wordCounts = words.keyBy("word").window(/*window specification*/)

5.2.1 字段表达式语法:

  • 按字段名称选择POJO字段
    例如,“user”指的是POJO类型的“user”字段

  • 通过1偏移字段名称或0偏移字段索引选择元组字段
    例如,“_ 1”和“5”分别表示Scala Tuple类型的第一个和第六个字段。

  • 可以在POJO和Tuples中选择嵌套字段
    例如,“user.zip”指的是POJO的“zip”字段,其存储在POJO类型的“user”字段中。 支持任意嵌套和混合POJO和元组,例如“_2.user.zip”或“user._4.1.zip”。

  • 可以使用“_”通配符表达式选择完整类型
    这也适用于非Tuple或POJO类型的类型。

5.2.2 字段表达示例

class WC(var complex: ComplexNestedClass, var count: Int) {
  def this() { this(null, 0) }
}

class ComplexNestedClass(
    var someNumber: Int,
    someFloat: Float,
    word: (Long, Long, String),
    hadoopCitizen: IntWritable) {
  def this() { this(0, 0, (0, 0, ""), new IntWritable(0)) }
}

这些是上面示例代码的有效字段表达式:

  • “count”:WC类中的count字段。

  • “complex”:递归选择POJO类型ComplexNestedClass的字段复合体的所有字段。

  • “complex.word._3”:选择嵌套Tuple3的最后一个字段。

  • “complex.hadoopCitizen”:选择Hadoop IntWritable类型。

5.3 指定key的key选择器函数

定义键的另一种方法是“键选择器”功能。 键选择器函数将单个元素作为输入并返回元素的键。 key可以是任何类型,并且可以从确定性计算中导出。

以下示例显示了一个键选择器函数,它只返回一个对象的字段:

  • Java
  • Scala

6 指定转换函数

大多数转换都需要用户自定义的函数。 本节列出了如何指定它们的不同方法

6.1 Java版本

6.1.1 实现接口

最基本的方法是实现一个提供的接口:

class MyMapFunction implements MapFunction<String, Integer> {
  public Integer map(String value) { return Integer.parseInt(value); }
};
data.map(new MyMapFunction());

6.1.2 匿名类

可以将函数作为匿名类传递:

data.map(new MapFunction<String, Integer> () {
  public Integer map(String value) { return Integer.parseInt(value); }
});

6.1.3 Java 8 Lambdas

Flink还支持Java API中的Java 8 Lambdas。

data.filter(s -> s.startsWith("http://"));

data.reduce((i1,i2) -> i1 + i2);

6.1.4 增强函数

所有需要用户定义函数的转换都可以将增强函数作为参数。 例如,与其写成

class MyMapFunction implements MapFunction<String, Integer> {
  public Integer map(String value) { return Integer.parseInt(value); }
};

不如写成

class MyMapFunction extends RichMapFunction<String, Integer> {
  public Integer map(String value) { return Integer.parseInt(value); }
};

并像往常一样将函数传递给map转换:

data.map(new MyMapFunction());

也可以定义为匿名类:

data.map (new RichMapFunction<String, Integer>() {
  public Integer map(String value) { return Integer.parseInt(value); }
});

除了用户定义的函数(map,reduce等)之外,Rich函数还提供了四种方法:open,close,getRuntimeContext和setRuntimeContext。
这些用于参数化函数(请参阅将参数传递给函数),创建和完成本地状态,访问广播变量以及访问运行时信息(如累加器和计数器)

7 Flink支持的数据类型

参考

更多内容请关注JavaEdge

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
JAVA开发工程师
手记
粉丝
1.4万
获赞与收藏
1459

关注作者,订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消