最赞回答 / Cybtron
一个MapReduce作业由Map阶段和Reduce阶段两部分组成，这两阶段会对数据排序，从这个意义上说，MapReduce框架本质就是一个Distributed Sort。在Map阶段，Map Task会在本地磁盘输出一个按照key排序（采用的是快速排序）的文件（中间可能产生多个文件，但最终会合并成一个），在Reduce阶段，每个Reduce Task会对收到的数据排序，这样，数据便按照Key分成了若干组，之后以组为单位交给reduce（）处理。很多人的误解在Map阶段，如果不使用Combiner便不会...
2018-10-24
讲师回答 / 叁金
使用bash hdfs dfs -ls / 或者 ./hdfs dfs -ls /我视频里面能直接使用hdfs命令是因为我添加了HADOOP_HOME的环境变量，并将其bin目录添加到了PATH内。你也可以在~/.bashrc里面添加export HADOOP_HOME=xxxxexport PATH=xxx/bin:$PATH
2018-08-26
最赞回答 / 静波一世
对，分块结束后是一个块一个块的上传。一个文件只要上传成功一个块就可以了，副本集群会自动备份的。如果还有数据块4,里面还会存文件1和2嘛？这个是因为讲师说了数据块要备份成3份，所有在图例中的情况下，如果还有数据块4的话，不会保存文件1和2了。
2018-07-20
最赞回答 / 鬈崮
http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/ 看过的最好的教程，没有之一。两个网站一起看，都是一个人写的，但是有先后顺序。一次搭建成功。
2018-07-12
已采纳回答 / qq_兵刃_04412779
块的大小设置原则：最小化寻址开小。 块越大寻址时间越短， 传输一个由多个块的组成的文件取决于磁盘传输速率。如寻址时间约为10ms，传输速率为100MB/S，为了使寻址时间仅占传输时间的1%，块的大小设置约为100MB，默认大小是64MB，现在在实际身缠中都是128MB了，随着新一代磁盘去东区传输速率的提升，块的大小将会被设置的更大。注意：块的大小太大的话，一个map任务处理一个块，那任务数就变少了，作业运行速度也就变慢了。
2018-06-02