为了账号安全,请及时绑定邮箱和手机立即绑定

讲师回答 / 徐老师
你到8088界面中查看了吗,能不能看到任务信息很奇怪,没有任何输出信息你这样执行一下试试,使用hadoop内置的wordcount案例hadoop jar   hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar   wordcount /input /output你可以加一下慕课的大数据学习qun  938632081  方便沟通
老师的思路很清晰,更好的理解分布式计算及移动数据和移动计算具体是什么了;

已采纳回答 / 徐老师
核心日志在这File /README.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operatio意思是说从节点没有启动成功,现在没有正常的datanode

最新回答 / weidong_伟东
禁用selinux:编辑 /etc/selinux/config文件,设置“SELINUX=disabled” 

已采纳回答 / 慕粉1232246429
客户端通过命令比如hdfs,访问、提交相关任务到集群

已采纳回答 / 徐老师
使用这个国内源下载会快https://mirrors.tuna.tsinghua.edu.cn/apache
思路很清晰点赞

讲师回答 / 徐老师
一样的效果,你在/etc/profile里面设置也是可以的/etc/profile里面是设置的全局的环境变量,在执行那4个脚本的时候就可以识别到那些配置了
十分感谢,终于安装配置好了

讲师回答 / 徐老师
是一样的,hadoop fs这种用法是在hadoop1.x的时候提供的在hadoop2.x的时候提供了新的用法,hdfs dfs,同时也兼容了hadoop1.x中的写法,所以两个效果是一样的。
如果集群规模比较大时,要在每一个节点上面启动 jobhistorysever岂不是很麻烦?

讲师回答 / 徐老师
针对你提的这个疑问:【如果集群规模比较大时,要在每一个节点上面启动 jobhistorysever岂不是很麻烦?】在生产环境下搭建大数据集群的时候,建议使用CDH或者HDP进行搭建,方便运维管理,主需要通过页面操作就可以实现hadoop集群的搭建,这些进程也都会自动启动,不需要单独手工操作。

讲师回答 / 徐老师
针对你说的这种场景,会出现这种结果:有2个节点读取本地节点中的数据进行本地计算,另外2个节点上没有数据的,则会跨节点拉取数据进行计算。默认情况下会优先读取本节点的数据,这是最优的策略,如果由于各种原因无法满足这种策略,会退而求其次,进行跨节点数据传输
课程须知
学习中需要用到这些工具: —Linux —IDEA —Hadoop —MySQL —Sqoop —Echarts(图表展示) 你需要有这些基础: —熟悉Java语言和IDEA开发工具 —有一定的Linux基础和Shell编程基础 —有一定的MySQL基础
老师告诉你能学到什么?
1、Hadoop3.0集群安装部署 2、Hadoop三大核心组件(HDFS+MapReduce+Yarn)的核心原理和使用 3、使用Hadoop进行海量数据存储和分析

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消