为了账号安全,请及时绑定邮箱和手机立即绑定

伪分布式(yarn)运行Hadoop案例(二)

标签:
大数据 Hadoop

YARN 上运行 MapReduce 程序

1  首先配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

2 配置 yarn-site.xml

<!-- reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

3 配置 mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

4  对 mapred-site.xml.template 重新命名为   mapred-site.xml 并配置如下:

<!-- 指定 mr 运行在 yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5 启动集群

https://img1.sycdn.imooc.com//5bd49ad20001ca7713450144.jpg

https://img1.sycdn.imooc.com//5bd49af00001108b11410071.jpg

https://img1.sycdn.imooc.com//5bd49b050001acc217790095.jpg

https://img1.sycdn.imooc.com//5bd49b0b0001749019200102.jpg

https://img1.sycdn.imooc.com//5bd49b20000151c209490220.jpg

6 浏览器打开 http://192.168.43.101:8088/cluster/apps 

https://img1.sycdn.imooc.com//5bd49b550001403d18880595.jpg

7 运行mapreduce程序

https://img1.sycdn.imooc.com//5bd49b7f0001fe6a18960066.jpg

8  查看运行结果

https://img1.sycdn.imooc.com//5bd49ba50001576b16670355.jpg

注意: 该案例需要配合Namenode Datanode一起使用,Yarn只负责资源调度等。

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
JAVA开发工程师
手记
粉丝
7796
获赞与收藏
665

关注作者,订阅最新文章

阅读免费教程

  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消