为了账号安全,请及时绑定邮箱和手机立即绑定

Spark 2.x项目实战视频教程(实时统计、离线分析和实时ETL)

标签:
Spark

Spark 2.x项目实战视频教程(实时统计、离线分析和实时ETL)

课程学习地址:http://www.xuetuwuyou.com/course/309

课程出自学途无忧网:http://www.xuetuwuyou.com

讲师:轩宇老师

本门课程大量生产上的较佳实践,不仅能为技术选型提供参考, 也能大幅度提升个人的知识和技术水平, 学完可以胜任PB级大数据的开发和优化,面试中说出来都是亮点, 是跳槽、转型、加薪的利器,让你轻松实现华丽转身。 只要你有一点Hadoop、Spark和Scala基础,并且能保持学习的热情, 那么就跟随老师来吧。

本门课程全程实操,不用担心基础不好, 讲师将会从每个项目的演进过程详细分析, 手把手搭建开发环境, 每个功能点都有代码实操, 拿到生产上可以直接使用。

本门课程来源于一线生产项目, 所有代码都是在现网大数据集群上稳定运行, 拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景,通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Kafka、Redis、MySQL等相关大数据技术,并实际落地 。

第一章:流式数据实时分析(Kafka+SparkStreaming+Redis)

1、流式实时数据分析项目实战内容提纲(企业级开发、仿双十一订单实时统计及性能优化)

2、SparkStreaming实时状态统计应用引出容灾恢复(高可用)和更新状态性能问题

3、SparkStreaming应用代码初步重构及引出实时累加应用高可用性(设置检查点及恢复)

4、StreamingContext创建优化(非第一次启动应用从检查点目录构建)及代码演示(高可用性)

5、SparkStreaming中mapWithState实时状态更新函数使用说明

6、模拟电商购物节订单分析:订单分析需求说明及准备(创建Topic及开发环境)

7、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(一)

8、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(二)

9、模拟电商购物节订单分析:针对SparkStreaming实时流式应用数据分析利用Scala贷出模式编写应用开发模块

10、模拟电商购物节订单分析:采用Direct方式获取KAFKA数据并解析JSON格式

11、模拟电商购物节订单分析:updateStateByKey实时累加统计各省份销售额(重载函数使用)

12、模拟电商购物节订单分析:Redis内存数据库介绍、下载和配置、启动服务及CLI基本使用

13、模拟电商购物节订单分析:实时累加统计各省份销售额保存Redis 数据库哈希Hash

14、模拟电商购物节订单分析:最近窗口数据Top5省份订单量(集成SparkSQL,注册临时视图,SQL分析)

15、模拟电商购物节订单分析:实时应用性能优化(设置分区最大数目、数据本地性等待时间、反压机制、内存GC等)

第二章:离线日志分析项目(SparkCore+HBase+MySQL)

16、某旅游电商用户行为分析系统数据、业务调研深入剖析

17、某旅游电商用户行为分析系统项目架构设计(技术架构)-架构三原则

18、基于SparkCore实现用户行为分析环境准备

19、数据ETL:SparkCore读取数据及解析日志数据

20、数据ETL:过滤不合格的数据(解析异常或事件类型不对)和引出广播变量

21、数据ETL:使用广播变量优化程序过滤数据

22、数据ETL:如何设计HBase表及RowKey组成设计

23、数据ETL:实现RowKey拼接及构建Put对象

24、数据ETL:定义函数依据传递处理日期参数来创建HBase表(先判断,再删除)

25、数据ETL:指定预分区、设置压缩等创建表及测试保存数据至HBase表

26、数据ETL:ETL操作时程序代码优化点详细剖析(预分区、广播变量及批量加载数据:跳过WAL和转换HFile)

27、新增用户分析:需求调研的说明(不同维度分析)及读取HBase表的不同字段值

28、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(一)

29、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(二)

30、新增用户分析:转换读取HBase表数据并进行维度数据组合

31、新增用户分析:基本维度分析和浏览器维度分析

32、读写HBase表数据引出优化:针对HFile数据文件进行读写操作(提高性能、减轻集群负载)

33、优化数据ETL:阅读ImportTsv源码找出HFile数据变换、修改数据转换格式为KeyValue及细节处理

34、优化数据ETL:完成数据写入至HFile文件、加载HFiles至HBase表中及本地测试

35、提交运行:将数据ETL程序打JAR包,编写Shell脚本,提交运行(查找程序依赖第三方JAR包)

36、提交运行:增加属性文件配置,针对本地测试和集群测试读取IP地址解析仿真数据文件进行优化

37、使用SparkSQL针对新增用户业务编程分析:将RDD转换为DataFrame

38、使用SparkSQL针对新增用户业务编程分析:分别使用DSL和SQL进行指标分析和引出如何保存结果数据至MySQL表中

39、综合回顾复习Spark读取HBase数据三种方式(Scan、HFile、HBaseContext)及优缺点剖析

40、HBase中快照SnapShot使用及采用TableSnapshotInputFormat读取HBase表中数据(以销售订单表为例,读取HFile文件)

41、优化新增用户分析:修改程序读取表的HFiles进行数据分析(创建快照,使用TableSnapshotInputFormat)

42、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)一

43、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)二

第三章:企业数据实时ETL(Kafka+SparkStreaming+HBase+Redis)

44、实时数据ETL:分析需求(实时将数据ETL到不同HBase表中)及准备开发环境(模拟测试数据,创建Topic等)

45、实时数据ETL:SparkStreaming读取Kafka Topic数据,解析orderType,自定义分区器将同类型数据重分区到一个分区

46、实时数据ETL:不同支付类型订单数据创建不同HBase表(封装插入数据方法)

47、实时数据ETL:编写代码数据插入HBase表、联动测试(模拟实时产生数据,实时消费,分区数据,插入表中)

48、SparkStreaming采用Direct方式读取Kafka Topic数据的自动管理Offsets方法深入剖析、使用Redis或Zookeeper等管理偏移量

49、优化实时数据ETL:从Redis中读取Topic的各个分区消费偏移量信息(使用哈希Hash存储)及编码测试

50、优化实时数据ETL:当每批次数据插入HBase表以后,将Topic各个分区数据消费偏移量保存Redis中

51、监控扩展:Zookeeper Cluster常见监控工具及zkUI监控工具使用详解

52、监控扩展:Kafka Cluster常见监控工具及Kafka Eagle监控工具使用详解



作者:菜花小噗噗
链接:https://www.jianshu.com/p/6c127a658afc


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消