扣丁学堂大数据开发如何搭建部署一个Hadoop伪分布式

今天扣丁学堂大数据培训老师给大家详细介绍一下关于如何搭建部署一个Hadoop伪分布式（MapReduce+Yarn）详解，下面我们一起来看一下吧。

首先分布式计算必然涉及到资源的调度和分配，所以我们选择MapReduce（分布式计算框架）+Yarn（资源调度和作业平台），资源则涉及到网络、内存、IO等。

1、修改mapred-site.xml

[root@master ~]# cd /usr/module/hadoop-2.7.3/etc/hadoop

[root@master hadoop]# cp mapred-site.xml.template  mapred-site.xml

[root@master hadoop]# vim mapred-site.xml

mapreduce.framework.name

yarn

2、修改yarn-site.xml

[root@master hadoop]# vim yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

3、启动

[root@master hadoop]# cd ../../

[root@master hadoop]# sbin/start-dfs.sh

[root@master hadoop]# sbin/start-yarn.sh

4、关闭

[root@master hadoop]# sbin/stop-yarn.sh

以上就是扣丁学堂大数据培训老师关于部署一个Hadoop伪分布式MapReduce+Yarn的详细介绍，希望对学习大数据开发的同学有所帮助。

作者：扣丁学堂
链接：https://www.jianshu.com/p/82ee9d6eeeac