为了账号安全,请及时绑定邮箱和手机立即绑定

认识Hadoop--基础篇

Kit_Ren Linux系统工程师
难度初级
时长 1小时22分
学习人数
综合评分9.17
211人评价 查看评价
9.4 内容实用
9.1 简洁易懂
9.0 逻辑清晰
优势:高扩展;低成本;成熟的生态圈
人才需求:开发,运维
Hadoop的两个核心组成:

1、HDFS:分布式文件系统,存储海量的数据。

2、MapReduce:并行处理框架,实现任务分解和调度。
客户端发送文件读请求——>namenode返回元数据(从哪些datanode找到)——>客户端读取block,下载下来之后组装;
客户端文件拆分成block——>通知namenode返回可用的 有足够磁盘空间的datanode——>客户端对block进行写入——>流水线复制——>更新元数据
书签 20180413
没有例子非常不好理解,看了那么久只看懂了怎么按装Hadoop~
我一个没学过Java的跑来听干嘛
看到一个带公网ip的云主机荷包就抖了抖
准备学习hive前来打个卡
很不错,感谢老师!
大量小文件会造成namenode压力大。
有些地方讲的不清
讲的挺好,打好基础。
稳定版
https://archive.apache.org/dist/hadoop/common/stable2/hadoop-2.9.0.tar.gz
大致了解了HDFS和MapReduce的工作原理,是不错的入门课程,当然,后面还有很多东西需要我们自己继续学习
centos6.3下的文件从windows传到虚拟机的亲测有效的方法(使用VMware tools),链接:
http://blog.csdn.net/tongyuehong137/article/details/45075943

centos安装jdk方法:
http://blog.csdn.net/xinxin19881112/article/details/46816385

jdk1.8 rpm版下载
http://blog.csdn.net/doupeihua/article/details/51831947

以上方法亲测有效,本人centos6.3
课程须知
本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋,可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼~~
老师告诉你能学到什么?
1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消