为了账号安全,请及时绑定邮箱和手机立即绑定

Hadoop进阶

mooc小牧 JAVA开发工程师
难度中级
时长 3小时 3分
学习人数
综合评分9.77
31人评价 查看评价
9.9 内容实用
9.5 简洁易懂
9.9 逻辑清晰
没有代码下载吗? 那我贴一个 https://github.com/nameistw/BigData/tree/master/hadoop/matrix
The method addInputPath(JobConf, Path) in the type FileInputFormat is not applicable for the arguments (Job, Path)
报这个错误时需要将旧版的 API org.apache.hadoop.mapred.FileInputFormat;
换成 org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
hadoop 1.2.1版本
conf.set("fs.defaultDF,hdfs")改成
conf.set("fs.default.name", hdfs);
建议大家可以先看一下这个博客
主要讲解如何配置虚拟机centos,安装配置hadoop环境,将eclipse与hadoop连接
http://www.cnblogs.com/xia520pi/category/346943.html
老师讲的很不错啊,普通话1级
谢谢老师 讲的很清晰明了 赞赞!
在Shuffle(洗牌)阶段,key如果是字母会自动根据字典的顺序进行排序,如果是数字则升序。
请问分片是怎么分的,按文件内容还是二进制?

最新回答 / jackXu2017
根据相似度矩阵作为修改用户评分矩阵的权重,等式结果为6*3矩阵是用户对于6个物品的针对于物品相似度的评分矩阵。不知道我有没有说清楚……
map3的时候转出来的是反的,不过没有影响
老师讲的非常好,不过需要各位有基础,等大家把矩阵相乘学完,再对比这个图,能够清晰的讲解出map-shuffle-reduce对应的区段,以及颜色块内对应的键值对的集合,那就学到了!我也是回头反过来才一一对应起来的。
看到后面的又反过来看前面,才开始明白,map实际代码只用处理一行,而且可以重复写相同的key,比如<1,Deer Bear Deer><2,Deer Bear Car>,map实际代码写的时候只需要处理<1,Deer Bear Deer>,并且可以写两次context.write("Deer", 1);也就是这个map在写的时候,实际上代码是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);
其实我觉得完全可以用二位 数组来实现,没必要搞这么麻烦,但是作为一个教程倒是不错,学到了很多
课程须知
1、在学习本课程之前,需要学习hadoop课程基础篇,即掌握MapReduce作业的基本步骤。 2、需要掌握线性代数、向量等的基本数学知识
老师告诉你能学到什么?
1、hadoop新旧版本的基本架构 2、mapreduce作业的内部原理 3、mapreduce作业重要参数的调优 4、利用hadoop缓存实现矩阵相乘 5、简单的推荐算法

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消