为了账号安全,请及时绑定邮箱和手机立即绑定

快速入门Hadoop3.0大数据处理

难度初级
时长 5小时30分
学习人数
综合评分9.70
16人评价 查看评价
10.0 内容实用
9.5 简洁易懂
9.6 逻辑清晰
简介:近些年,大数据已经成为各大企业,乃至整个社会关注的重要资源,未来数据管理能力也将成为企业的核心竞争力。正因如此,大数据相关岗位的人员需求和薪资也水涨船高。 如果你是: —计算机专业在校生,未来准备从事大数据相关岗位的同学; —想要转行大数据的Java岗位工作者; —对大数据感兴趣的软件行业从业者,希望在大数据领域有所提升; 那么恭喜,你来对地方了! 想学习大数据,就绕不开Hadoop,它是整个大数据生态体系的基础。本课程为Hadoop3.0入门课程,从0开始,带你手写代码。课程知识点完整详细,采用原理与实践结合的讲解方式,配套互联网企业真实项目进行讲解。 在本门课程中,你可以收获: —了解Hadoop的核心原理及Hadoop3.0中的新特性 —掌握Hadoop集群的安装部署 —掌握PB级海量日志数据的存储方法 —掌握企业中海量数据的计算方法 —掌握Sqoop在HDFS导出数据至MySQL中的使用 —掌握Hadoop中自定义序列化数据类型在数据分析中的应用 —掌握大数据任务自动化执行脚本的封装和监控 通过本课程的学习,你可以了解Hadoop中的三大核心组件及原理;独立完成Hadoop分布式集群的安装部署;实现大数据中的海量数据存储和海量数据计算。 目前各行各业都处于数据的快速增长期,特别是互联网行业,企业中对大数据的需求会越来越多,本门课程可以帮助大家快速入门大数据,提升自身技术能力。

第1章 课程介绍

本章中会介绍学习内容,演示项目效果,梳理课程中使用到的工具,软件,以及本课涵盖的技术栈、重难点。

第2章 Hadoop整体概述

本章主要是从整体层面上对Hadoop中的核心组件进行了分析,以及Hadoop在整个大数据生态圈中的作用,这样可以帮助学员快速了解Hadoop的核心作用和功能,为后面的深入学习打下基础。

第3章 Hadoop集群部署

本章主要分析了目前企业中大数据集群的选型以及如何使用原生Apache Hadoop搭建集群,还会分析一下Hadoop客户端这个角色的作用,通过本章的学习,学员可以掌握实际企业中如何使用Hadoop集群。

第4章 分布式存储(HDFS)详解

本章主要针对Hadoop中的分布式存储(HDFS)模块进行详细分析,通过本章的学习,学员可以掌握HDFS的工作原理和常见的操作。

第5章 分布式计算(MapReduce)详解

本章针对Hadoop中的MapReduce计算框架进行了详细分析,结合具体案例一步一步分析Map阶段和Reduce阶段的执行流程以及数据变化。通过原理和案例的结合,可以加深学员对MapReduce执行原理的理解和认识。

第6章 资源调度器(Yarn)详解

本章主要介绍了Yarn的三种资源调度器,通过本章的学习,学员可以掌握实际生产环境下大数据集群中资源调度器的选择依据。

第7章 案例:直播平台开播数据统计分析

本章结合互联网公司中的直播平台相关业务数据进行分析统计,可以将前面学习到的理论性知识应用在具体的业务场景中,提高代码实战能力,通过一个完整的项目开发流程来实现,也增加了任务的外围监控、故障重启、失败预警等功能,使项目更加完整,通过本章的学习,可以让学员真正掌握实际企业中大数据任务的开发流程。

第8章 课程回顾与总结

结合思维导图,回顾课程中用到的技术,总结一下经验,提出项目中可以进一步完善的功能。

解锁即可观看《大数据工程师2022版》完整课程视频

大数据工程师2022版

2022版焕新升级!实战热点商业项目,从入门直达中级工程师水平,掌握DT时代的淘金利器!

【第1周】学好大数据先攻克Linux
【第2周】大数据起源之初识Hadoop
【第3周】Hadoop之HDFS的使用
【第4周】Hadoop之HDFS核心进程剖析
【第5周】Hadoop之初识MR
【第6周】拿来就用的企业级解决方案
【第7周】Flume从0到高手一站式养成记
【第8周】数据仓库Hive从入门到小牛
【第9周】Hive扩展内容
【第10周】快速上手NoSQL数据库HBase
【第11周】数据分析引擎之Impala
【第12周】7天极速掌握Scala语言
【第13周】Spark快速上手
【第14周】Spark性能优化的道与术
【第15周】Spark3.x扩展内容
【第16周】综合项目:电商数据仓库之用户行为数仓
【第17周】综合项目:电商数据仓库之商品订单数仓
【第18周】消息队列之Kafka从入门到小牛
【第19周】极速上手内存数据库Redis
【第20周】Flink快速上手篇
【第21周】Flink高级进阶之路
【第22周】Flink1.15新特性及状态的使用
【第23周】Flink1.15之状态的容错与一致性
【第24周】FlinkSQL(1.15)快速上手
【第25周】FlinkSQL双流JOIN详解
【第26周】全文检索引擎Elasticsearch
【第27周】Es+HBase仿百度搜索引擎项目
【第28周】直播平台三度关系推荐V1.0
【第29周】直播平台三度关系推荐V2.0
【第30周】数据中台大屏
课程须知
学习中需要用到这些工具: —Linux —IDEA —Hadoop —MySQL —Sqoop —Echarts(图表展示) 你需要有这些基础: —熟悉Java语言和IDEA开发工具 —有一定的Linux基础和Shell编程基础 —有一定的MySQL基础
老师告诉你能学到什么?
1、Hadoop3.0集群安装部署 2、Hadoop三大核心组件(HDFS+MapReduce+Yarn)的核心原理和使用 3、使用Hadoop进行海量数据存储和分析

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!