简介:本课程中内容涵盖 Hadoop安装、HDFS分布式存储详解、MapReduce分布式计算详解、Yarn资源调度详解等知识,并最终通过直播平台开播数据统计分析案例帮助大家进一步活学活用。希望通过本课程,帮助大家对Hadoop有一个初步认识,理解Hadoop的一些核心思想和适用场景,以及如何使用Hadoop来进行海量数据的存储和计算分析。
第1章 课程介绍
本章中会介绍学习内容,演示项目效果,梳理课程中使用到的工具,软件,以及本课涵盖的技术栈、重难点。
第2章 Hadoop整体概述
本章主要是从整体层面上对Hadoop中的核心组件进行了分析,以及Hadoop在整个大数据生态圈中的作用,这样可以帮助学员快速了解Hadoop的核心作用和功能,为后面的深入学习打下基础。
第3章 Hadoop集群部署
本章主要分析了目前企业中大数据集群的选型以及如何使用原生Apache Hadoop搭建集群,还会分析一下Hadoop客户端这个角色的作用,通过本章的学习,学员可以掌握实际企业中如何使用Hadoop集群。
第4章 分布式存储(HDFS)详解
本章主要针对Hadoop中的分布式存储(HDFS)模块进行详细分析,通过本章的学习,学员可以掌握HDFS的工作原理和常见的操作。
第5章 分布式计算(MapReduce)详解
本章针对Hadoop中的MapReduce计算框架进行了详细分析,结合具体案例一步一步分析Map阶段和Reduce阶段的执行流程以及数据变化。通过原理和案例的结合,可以加深学员对MapReduce执行原理的理解和认识。
第6章 资源调度器(Yarn)详解
本章主要介绍了Yarn的三种资源调度器,通过本章的学习,学员可以掌握实际生产环境下大数据集群中资源调度器的选择依据。
第7章 案例:直播平台开播数据统计分析
本章结合互联网公司中的直播平台相关业务数据进行分析统计,可以将前面学习到的理论性知识应用在具体的业务场景中,提高代码实战能力,通过一个完整的项目开发流程来实现,也增加了任务的外围监控、故障重启、失败预警等功能,使项目更加完整,通过本章的学习,可以让学员真正掌握实际企业中大数据任务的开发流程。
第8章 课程回顾与总结
结合思维导图,回顾课程中用到的技术,总结一下经验,提出项目中可以进一步完善的功能。
解锁即可观看《大数据开发工程师》完整课程视频
大数据开发工程师
不用Java初级内容充数!不用与大数据岗位无关内容占课时!我们做的就是“精华版”大数据课程
【第1周】学好大数据先攻克Linux
【第2周】大数据起源之初识Hadoop
【第3周】Hadoop之HDFS的使用
【第4周】Hadoop之HDFS核心进程剖析
【第5周】Hadoop之初识MR
【第6周】拿来就用的企业级解决方案
【第7周】Flume从0到高手一站式养成记
【第8周】数据仓库Hive从入门到小牛
【第9周】7天极速掌握Scala语言
【第10周】Spark快速上手
【第11周】Spark性能优化的道与术
【第12周】综合项目:电商数据仓库之用户行为数仓
【第13周】综合项目:电商数据仓库之商品订单数仓
【第14周】消息队列之Kafka从入门到小牛
【第15周】极速上手内存数据库Redis
【第16周】Flink快速上手篇
【第17周】Flink高级进阶之路
【第18周】直播平台三度关系推荐V1.0
【第19周】直播平台三度关系推荐V2.0
【第20周】数据中台大屏