为了账号安全,请及时绑定邮箱和手机立即绑定

Flink最锋利的武器---FlinkSQL入门和实战

难度初级
时长 2小时35分
学习人数
综合评分10.00
3人评价 查看评价
10.0 内容实用
10.0 简洁易懂
10.0 逻辑清晰
  • 查看消息队列中消息的列表

    bin/kakfa-topics.sh --list --zookeeper localhost:2181

    需求:有一个图书店铺,需要知道在促销期间每一本书买了多少

    http://img3.mukewang.com/60a1d6cd00016e8e09490128.jpg

    http://img.mukewang.com/60a1d78f0001904a07700070.jpg

    指定消费的位置,从哪里开始消费呢

    consumer.setStartFromEarliest();

    在上下文中设置source

    env.addSource(consumer);

    http://img2.mukewang.com/60a1dc27000188b008000122.jpg

    注册内存表

    http://img3.mukewang.com/60a1dda30001ece906450067.jpg

    写sql

    http://img.mukewang.com/60a1ddec0001bc4d08290074.jpg

    非常重要的知识点:回退更新:

    tenv.toRetractStream(result,Row.class).print();

    env.execute();

    查看全部
  • FlinkSql实战项目之六十计算中的应用

    kafka常用命令

    http://img3.mukewang.com/60a1d339000144da07500363.jpg

    创建消息

    bin/kafka-topics.sh --create --zookeeper locahost:2181 --replication-factor 1 --partitions 1 --topic test2

    启动生产者的客户端

    bin/kafka-console-producer.sh --broker-list locahost:9092 --topic test2

    启动消费者的客户端

    bin/kafka-console-consumer.sh --bootstrao-server localhost:9092 --topic test2 --from-beginning

    --from-beginning 从头开始消费消息队列中的数据

    查看全部
  • 定义数据结构

    http://img.mukewang.com/609f97fa0001f6c004860271.jpg

    http://img4.mukewang.com/609f982e0001336905530201.jpg

    (1)获取上下文环境

    http://img3.mukewang.com/609f98d30001a4a607080084.jpg

     (2)读取score.csv

    http://img3.mukewang.com/609f98fc0001651f06440065.jpg

    (3)注册成内存表

    http://img.mukewang.com/60a1cf760001c73304700065.jpg

    (4)编写sql,然后提交执行

    http://img2.mukewang.com/60a1cffb0001167607870054.jpg

       (5)结果进行打印

    http://img3.mukewang.com/60a1d0340001477406240095.jpg

    查看全部
  • NBA球星得分王排行榜

    http://img2.mukewang.com/609f96ec0001e91d07450492.jpg

    谁获得的得分王头衔最多

    查看全部
  • 自定义函数步骤

    继承方法ScalarFunction

    http://img3.mukewang.com/609f966e000118c106370234.jpg

    覆写方法Eval

    注册函数

    http://img1.mukewang.com/609f96880001e2b006750048.jpg

    应用

    http://img4.mukewang.com/609f969f00012efd09090088.jpg

    查看全部
  • Flink提供了很多内置函数

      (1)比较函数

    (2)逻辑函数

    (3)算数函数

    (4)字符串处理函数

    (5)时间函数

    (6)其他

    内置函数的演示没看

    查看全部
  • Table和Sql的算子操作

    http://img3.mukewang.com/609f8bdc0001998708390453.jpg

    http://img.mukewang.com/609f8cca0001f57109440463.jpg

    查看全部
  • Flink Table&SQL的编程模型

    http://img1.mukewang.com/609f89e100011da107450442.jpg

    查看全部
  • 核心概念之并行度

    Flink 是由多个任务组成(source、transformation和sink)。一个任务由多个并行的实例(线程)来执行,一个任务的并行实例(线程)数目就被称为该任务的并行度。

    并行度的级别,4种

    合理设置并行度能极大的提高运行速度

    (1)算子级别   设置flink的编程API修改,通过调用方法的方式

    (2)运行环境级别   设置executionEnvironmentk的方法修改并行度

    (3)客户端级别  $FINK_HOME/bin/flink的-p参数,

    (4)系统级别 修改$FLINK_HOME/conf/flink-conf.yaml文件

    并行度的优先级:算子>运行环境>客户端>系统

    注意:并行度不能大于Slot个数

    TaskManager为了对资源进行隔离和增加允许的task数,引入了slot的概念,这个slot对资源的隔离仅仅是对内存进行隔离,策略是均分,比如taskmanager的管理内存是3GB,假如有两个个slot,那么每个slot就仅仅有1.5GB内存可用

    查看全部
  • 核心概念之时间

    事件时间:是事件创建的事件。它通常由事件中的时间戳描述,例如kafka消息中的生成的时间戳

    摄入时间:是事件进入Flink数据流运算符的时间

    处理时间:是每一个执行时间操作的算符的本地时间

    http://img.mukewang.com/609f7af00001317408000387.jpg

    查看全部
  • Flink1.7.2新特性

    (1)支持scala 2.12

      (2) SQL 功能完善

    (3)最新kafka连接器

    (4)Streaming SQL新增Temporal Tables(时态表)

       时态表:记录了数据发生该表的历史状态,该表可以返回特定时间点的表的内容

      (5)Streaming SQL支持模式匹配

       Flink CEP是Flink的复杂事件处理库,允许你在流上定义一系列的模式(pattern),最终使得你可以方便的抽取     自己需要的重要的事件处理。抽取自己需要的数据。

    (6)Streaming SQL支持更多函数:REPLACE、REPEAT、LIRIM等函数

    Blink 开源

    阿里巴巴内部Flink 版本Blink已经开源,其最显著的特点就是强大的sql处理能力  

    查看全部
  • flink 支持 Collection/本次文件的读写

    查看全部
  • Tuple2<String,Integer> flink 特有的数据结构

    防御性编程:确保代码的稳健性

    查看全部
  • 窗口模式图

    查看全部
  • 窗口模式处理

    查看全部
  • kafka常用命令

    启动zookeeper

    nohup bin/zookeeper -server-start.sh config/zookeeper.properties &

    启动server

    nohup /bin/kafka-server-start.sh config/server.properties &

    查看topic

    bin/kafa-topics.sh --list --zookeeper localhost:2181

    创建一个topic

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    发送数据

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    消费数据

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning



    http://img4.mukewang.com/5e63350e00013cf507590431.jpg

    查看全部
首页上一页12下一页尾页

举报

0/150
提交
取消
课程须知
开始学习前,需要同学们对实时计算或者Flink框架本身有基本的了解,并且具备一定的Java开发基础。对Flink不了解的同学,可以先学习一下入门课程《Flink入门》 http://www.imooc.com/learn/1047
老师告诉你能学到什么?
1、Flink最新版本的新特性和核心概念 2、Flink Table & SQL编程结构和算子使用 3、生产环境下FlinkSQL的场景应用

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!