为了账号安全,请及时绑定邮箱和手机立即绑定

py文件路径问题

/***/hadoop jar /usr/***/hadoop-streaming-2.6.0-cdh5.7.0.jar -files "hdfs_map.py,hdfs_reduce.py"  -input /tmp/test.txt -output /tmp/test/wordCount  -mapper "/***/python hdfs_map.py" -files  -reducer "/***/python  hdfs_reduce.py"

这里老师说的把py文件提交到hadoop里,这个过程在哪里呢?如果没有的话,hadoop怎么知道这命令里的py文件的路径呢?

另外,老师可以详细讲解一下这条命令吗?


正在回答

2 回答

是这样的,你也复制了命令出来,你应该有看到命令里面的-mapper  和-reducer参数,这两个参数的值就是Python程序的路径。    整个命令的含义就是启动一个mapreduce任务,在执行命令的时候需要一些参数,比如指定我们的输入输出,指定我们自己编写的mapreduce程序等等。    可以查看相关命令的帮助获取详细信息

0 回复 有任何疑惑可以回复我~

具体什么问题呢?

0 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消

py文件路径问题

我要回答 关注问题
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号