为了账号安全,请及时绑定邮箱和手机立即绑定

讲师回答 / 徐老师
如果想要构造某种格式的大量数据,可以自己写一个代码循环进行迭代即可,在循环内部按照一定格式组装数据,最后通过输出日志或者直接写文件的方式就可以得到对应的大量数据了。

讲师回答 / 徐老师
课程中需要用到的软件安装包、以及相关代码都在网盘中了:链接:https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA 提取码:1234 

讲师回答 / 徐老师
json数据的资料、sqoop相关的资料已经上传到这个网盘链接中了链接:https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ 提取码:dy6j
数据去哪里拿呀

讲师回答 / 徐老师
这个课程中的问题无法实时推送给我这个账号,所以回复的比较晚,一般我会隔几天来看一下大家提的问题,最近比较忙,中间耽搁的时间就长了一些,抱歉

讲师回答 / 徐老师
Hadoop里面其实包含了HDFS集群和YARN集群。根据你的意思来看应该是说的HDFS的主节点NameNode把,如果NameNode节点对应的内存满了,可以考虑使用federation联邦机制(需要用到多个NameNode节点),这样可以提高NameNode节点的存储能力。此时每个NameNode负责维护一个命名空间,命名空间简单理解就是一个HDFS目录,这个HDFS目录下文件的元数据信息就存储在对应的这个NameNode内存中。其他的NameNode负责维护其他的命名空间,这样整个HDFS集群的存储...

讲师回答 / 徐老师
看起来像是没有格式化成功。最直接的定位方法是查看/data/hadoop_repo目录下的日志文件,进程没有成功启动的话在对应的日志文件中会有报错信息
收获颇多,徐老师技术过硬。

已采纳回答 / 徐老师
sqoop底层会生成mapreduce任务,所以在控制台看不到错误的具体信息,需要到YARN界面中查看任务的具体报错信息。根据你这个业务来分析的话,是从hdfs中将数据导出到mysql中,大概率是由于hdfs中数据的mysql中表的字段个数、或者字段类型不匹配导致的问题,想要定位到具体问题,还是要到YARN上查看这个任务的具体错误日志才能真正定位
.分布式存储 分布式计算 集群的集中管理
没有下载资料啊
资料里面没有该案列的数据呀

讲师回答 / 徐老师
不好意思,刚看到,解决了就好,这种情况基本上都是集群配置层面的问题

已采纳回答 / 徐老师
核心错误日志是这一句:Caused by: java.net.UnknownHostException: hadoop100表示不认识hadoop100这个主机名,需要配置hostname以及/etc/hosts
首页上一页1234567下一页尾页
课程须知
学习中需要用到这些工具: —Linux —IDEA —Hadoop —MySQL —Sqoop —Echarts(图表展示) 你需要有这些基础: —熟悉Java语言和IDEA开发工具 —有一定的Linux基础和Shell编程基础 —有一定的MySQL基础
老师告诉你能学到什么?
1、Hadoop3.0集群安装部署 2、Hadoop三大核心组件(HDFS+MapReduce+Yarn)的核心原理和使用 3、使用Hadoop进行海量数据存储和分析

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消