Hadoop进阶_技术问答

首页免费课 Hadoop进阶问答

Hadoop进阶

全部评论问答未解决精华

Reduce1中数据整合算法问题

+ 我来回答回答最高可+2积分

1 回答 867 浏览 4-3 基于物品的推荐算法（代码）

2019-02-15

慕慕3214026

代码： https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop/src/main/java/com/skilly/bigdata/matrix

2 3-2 mapreduce实现矩阵相乘(1)

2018-12-19

慕慕3214026

https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop 代码

1 4-3 基于物品的推荐算法（代码）

2018-12-19

matrix1.txt文件内容老师没发

最新回答 / 陆米

懒不死你1 1_1,2_2,3_-2,4_02 1_3,2_3,3_4,4_-33 1_-2,2_0,3_2,4_34 1_5,2_3,3_-1,4_25 1_-4,2_2,3_0,4_2

1 回答 923 浏览 3-4 mapreduce实现矩阵相乘(3)

2018-12-19

慕慕3214026

mdzz 说用二维数组实现的那个，你懂这个教程的意义了吗。

1 3-4 mapreduce实现矩阵相乘(3)

2018-12-19

多年以后A

内容不能少于5个字符

0 2-1 WordCount实例回顾

2018-12-13

Shuffle就是combiner吗？

最新回答 / qq_世人如此功利_0

不是的，Combine在Shuffle之前Combine：在Map阶段，当所有数据处理完成后，Map Task对所有临时文件进行一次合并Shuffle：也称Copy阶段。Reduce Task从各个Map Task上远程复制一片数据，并针对某一片数据进行判断，如果其大小超过一定阀值，则写到磁盘上，否则直接放入内存中

1 回答 1089 浏览 2-3 Map—Shuffle—Reduce

2018-12-13

攻城湿123

老师真牛比

2 4-6 基于用户的推荐算法（理论）

2018-11-28

爱旅游的Henry

所谓的wordcount从词面意思直接理解就是对一个单词出现的次数进行统计，首先使用split将单词给分好行，然后用map方法做一个统计，接下来shuffle就是把相同的单词放在一起，最后的reduce就是同一个单词出现的总数

1 2-1 WordCount实例回顾

2018-11-28

运行失败了没有报错怎么回事

最新回答 / 陆米

main里面加这一行

BasicConfigurator.configure();

看输出日志

1 回答 937 浏览 3-4 mapreduce实现矩阵相乘(3)

2018-11-19

圣所

怎么办感觉看不懂？

0 5-1 课程总结

2018-11-08

小白问一句，左侧矩阵是怎么循环遍历的呀，只看到了左侧矩阵第一行的处理，但最后是每一行都有

最新回答 / marvelousgirl

mapreduce框架会自动循环读文本的每一行

1 回答 1037 浏览 4-4 基于物品的推荐算法（代码）

2018-10-22

蓝色和绿色是两种不同的key值，为什么会进到同一个parition （2-3 Map-Shuffle-Reduce）

已采纳回答 / _这个昵称已被占用了_

因为老师的例子种reduce的partition只有两个，输入有3个key，所以其中必须有两个key落到同一个partition内。所有相同的key汇聚到一个partition，没毛病。所有蓝色的key都在一个partition内，所有绿色的key都在一个partition内，所有黄色的也一样。只是可能有多个key公用一个partition而已。为什么蓝色和绿色的两个key会进入到一个partition呢，这个要看具体的key的值和shuffer算法。比如：蓝色key=1，绿色key=3，黄色key=2，...

3 回答 1270 浏览 2-3 Map—Shuffle—Reduce

2018-10-07