为了账号安全,请及时绑定邮箱和手机立即绑定

关于hadoop 系统是怎样增加节点的?

关于hadoop 系统是怎样增加节点的?

慕桂英546537 2019-09-09 14:10:39
hadoop 系统是怎样增加节点的
查看完整描述

3 回答

?
凤凰求蛊

TA贡献1825条经验 获得超4个赞

直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说。他们还没开始跑wordcount,可能就被这个问题折腾的体无完肤了。而且也不是每个人都有好几台机器对吧。你可以尝试用多个虚拟机搭建,前提是你有个性能杠杠的机器。

我的目标是将Hadoop集群运行在Docker容器中,使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现,但是都不是很理想,他们或者镜像太大,或者使用太慢,或者使用了第三方工具使得使用起来过于复杂。下表为一些已知的Hadoop on Docker项目以及其存在的问题。

项目 镜像大小 问题
sequenceiq/hadoop-docker:latest 1.491GB 镜像太大,只支持单个节点
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB

sequenceiq/ambari:latest 1.782GB 镜像太大,使用太慢,使用复杂
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB

alvinhenrick/hadoop-mutinode 4.331GB 镜像太大,构建太慢,增加节点麻烦,有bug

我的项目参考了alvinhenrick/hadoop-mutinode项目,不过我做了大量的优化和重构。

查看完整回答
反对 回复 2019-09-14
  • 3 回答
  • 0 关注
  • 1254 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信