为了账号安全,请及时绑定邮箱和手机立即绑定

快速入门Hadoop3.0大数据处理

难度初级
时长 5小时30分
学习人数
综合评分9.70
16人评价 查看评价
10.0 内容实用
9.5 简洁易懂
9.6 逻辑清晰

讲师回答 / 徐老师
Hadoop里面其实包含了HDFS集群和YARN集群。根据你的意思来看应该是说的HDFS的主节点NameNode把,如果NameNode节点对应的内存满了,可以考虑使用federation联邦机制(需要用到多个NameNode节点),这样可以提高NameNode节点的存储能力。此时每个NameNode负责维护一个命名空间,命名空间简单理解就是一个HDFS目录,这个HDFS目录下文件的元数据信息就存储在对应的这个NameNode内存中。其他的NameNode负责维护其他的命名空间,这样整个HDFS集群的存储...

讲师回答 / 徐老师
看起来像是没有格式化成功。最直接的定位方法是查看/data/hadoop_repo目录下的日志文件,进程没有成功启动的话在对应的日志文件中会有报错信息

已采纳回答 / 徐老师
sqoop底层会生成mapreduce任务,所以在控制台看不到错误的具体信息,需要到YARN界面中查看任务的具体报错信息。根据你这个业务来分析的话,是从hdfs中将数据导出到mysql中,大概率是由于hdfs中数据的mysql中表的字段个数、或者字段类型不匹配导致的问题,想要定位到具体问题,还是要到YARN上查看这个任务的具体错误日志才能真正定位

讲师回答 / 徐老师
不好意思,刚看到,解决了就好,这种情况基本上都是集群配置层面的问题

已采纳回答 / 徐老师
核心错误日志是这一句:Caused by: java.net.UnknownHostException: hadoop100表示不认识hadoop100这个主机名,需要配置hostname以及/etc/hosts

讲师回答 / 徐老师
客户端机器的配置和集群机器的配置保持完全一样即可,唯一的区别是,客户端节点上不需要启动任何进程。其实最简单的做法就是把集群中修改好配置的hadoop安装包直接拷贝到客户端节点即可

最新回答 / 帝国大学
需要使用 WordCount-1.0-SNAPSHOT-jar-with-dependencies.jar包

讲师回答 / 徐老师
课程代码在这链接:https://pan.baidu.com/s/1JJ5AHDOd3gIXJmo6g08Btg 提取码:ghbt 

讲师回答 / 徐老师
空格和制表符直接看起来不好区分,在videoinfowritable的tostring方法中使用的制表符你要是想验证的话,可以把tostring方法中的制表符改为逗号,再跑一下代码就会发现结果中是用逗号分割的了

讲师回答 / 徐老师
mapreduce代码默认不支持直接在本地调试

讲师回答 / 徐老师
你到8088界面中查看了吗,能不能看到任务信息很奇怪,没有任何输出信息你这样执行一下试试,使用hadoop内置的wordcount案例hadoop jar   hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar   wordcount /input /output你可以加一下慕课的大数据学习qun  938632081  方便沟通
首页上一页12345下一页尾页
课程须知
学习中需要用到这些工具: —Linux —IDEA —Hadoop —MySQL —Sqoop —Echarts(图表展示) 你需要有这些基础: —熟悉Java语言和IDEA开发工具 —有一定的Linux基础和Shell编程基础 —有一定的MySQL基础
老师告诉你能学到什么?
1、Hadoop3.0集群安装部署 2、Hadoop三大核心组件(HDFS+MapReduce+Yarn)的核心原理和使用 3、使用Hadoop进行海量数据存储和分析

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消