为了账号安全,请及时绑定邮箱和手机立即绑定

一:Hadoop初始化环境搭建-1

标签:
Hadoop

一:虚拟机和Linux的安装


在搭建Hadoop集群环境之前,我们必须要进行如下的准备工作:

01.安装虚拟机

02.安装3台Linux

03.修改主机名和IP地址对应关系

04.SSH免密码登陆


1.1:虚拟机的安装步骤

        VMware的安装版本是12,大家可以直接百度,下载需要的虚拟机!




webp


webp


webp


webp



webp






webp






webp

 这里虚拟机的内存,也可以使用推荐设置!(如果真机内存够用,可以设置高点)


webp



webp


webp




webp






webp




webp





webp

 这里的声卡和打印机也可以不删除。(强迫症,目前没用的组件删除,不影响我们后续操作)


webp



webp

1.2:LInux安装步骤



webp



webp





webp



webp


 之后点击开始安装,等待。。。。。


二:NAT网络设置

  简单介绍下网络设置的不同:

桥接网络: 虚拟机使用本地网络,和本机ip值 相同!

仅主机:只能和本机进行通讯,无法上网!

NAT:即可以上网,也可以和本机进行通讯!

2.1:本机设置



webp

右键点击网络,选择打开网络和共享中心



webp

找到VMnet8


webp

选择属性



webp

配置真机(windows)中的ip映射


2.2:虚拟机设置


webp

选择虚拟机中的网络设置



webp

点击修改


webp

配置虚拟机中的ip映射


2.3:在真机(windows)中设置网络共享



如果是WIFI就选择WIFI即可


webp

这样,我们的虚拟机就可以连接网络了


三:可能出现的问题


线缆被拔出的解决方案


四:开机自启动网络连接


切换到指定的目录

 cd  /etc/sysconfig/network-scripts/



webp

找到选中的文件




webp

修改onboot为yes即可

五:克隆子机器

  我们最终的hadoop分布式环境是1个master,2个slave。所以还需要把刚才创建的机器,克隆两份!


 5.1:关闭克隆的机器


 5.2:克隆机器



webp




webp


webp



webp

创建完整克隆 



webp

文件名称和位置,自拟,建议和之后的主机名一致


 5.3:安装上诉步骤再克隆slave2机器




六:修改3台虚拟机的IP地址和主机名称

  因为我们的第一台虚拟机的IP已经设置,所以只需要修改克隆的两台机器即可!

6.1:修改slave1的IP地址 

        192.168.27.3



webp


6.2:修改slave2的IP地址

 192.168.27.4


webp


6.3:修改3台虚拟机的ip地址和主机名称的对应关系

1:修改3台电脑的主机名

使用XShell 连接3台虚拟机


webp

修改主机名

hostnamectl  --static set-hostname 主机名



webp

修改master机器


webp

修改slave1机器


webp

修改slave2机器


2:修改3台电脑的主机名和IP地址对应关系


在每台电脑上运行:vim  /etc/hosts  

在文件中都增加:

192.168.27.2  master

192.168.27.3  slave1

192.168.27.4  slave2

七:设置SSH免密码登陆


7.1:生成.ssh文件

在每台电脑中使用ssh命令,让每台电脑中的~目录下生成.ssh文件!

 在master机器上运行  ssh  slave1

在slave1机器上运行  ssh  master

在slave2机器上运行  ssh  master


7.2:master机器上生成密钥


在master机器上生成密钥运行:ssh-keygen -t rsa


webp



7.3:复制密钥


把master机器生成的id_rsa.pub复制到另外两个

子机器中,重命名为authorized_keys


id_rsa.pub的路径在 ~/.ssh/文件夹下面!


 scp id_rsa.pub root@slave1:~/.ssh/authorized_keys


webp

 scp id_rsa.pub root@slave2:~/.ssh/authorized_keys



webp


slave1和slave2分别是另外两台子机器的主机名!


7.4:修改权限

在两个子机器中把authorized_keys

文件的权限改为600

 chmod 600 authorized_keys



webp

7.5:追加授权


在master节点使用下面命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(把id_rsa.pub追加到授权的key里面去)


7.6:修改配置文件



所有机器上使用下面命令

vim /etc/ssh/sshd_config(修改SSH配置文件"/etc/ssh/sshd_config")


RSAAuthentication yes #启用 RSA 认证

PubkeyAuthentication yes #启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)




webp


八:关闭防火墙


firewall-cmd --state                                    查询防火墙状态

systemctl  stop firewalld.service                   关闭防火墙

systemctl  start firewalld.service                    开启防火墙

systemctl  disable firewalld.service              禁止开启启动防火墙




三台Linux电脑的防火墙都需要关闭!本机(windows)防火墙也需要关闭!



作者:小葱_拌豆腐
链接:https://www.jianshu.com/p/937e8a523585


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消