为了账号安全,请及时绑定邮箱和手机立即绑定

从零搭建生产Hadoop集群(一)——离线安装YUM源搭建

标签:
Hadoop

一、概述

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户管理界面,支持大部分Hadoop组件,包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等,简化了大数据平台的安装、监控和管理。

CDH官方提供了三种安装方式:

第一种方式,要求服务器能连外网,由于CDH等国外的网站容易出现超时连接错误,耗时也较长,且一旦失败重装也很麻烦。

第二种方式,使用Tarballs安装,需要下载很多包,而且需要手动操作安装和配置相关程序。

第三种方式,可实现全离线安装,而且重装十分方便,也有利于后期的集群统一包升级,因此这也是比较推荐的安装方式。

本系列主要详细介绍CDH集群的搭建步骤,而本文则主要介绍CDH软件包本地YUM源的搭建。

二、系统要求

本文基于CentOS7进行部署,Cloudera Manager版本选择5.8.1,CDH版本5.8.0。高版本的CM可以管理低版本的CDH,但是前提是minor version需要一致,否则可能出现兼容性及稳定性风险。若与笔者版本不一,安装包需根据实际下载。


webp

三、配置步骤

1.下载Cloudera Manager相关安装包

其相关安装包的下载路径:

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.8.1/RPMS/x86_64/


webp

注:实际最好在自己的yum仓库中将jdk-6u31包替换为所需版本,本例替换为jdk-7u67-linux-x64.rpm

2.下载CDH parcel包

根据服务器的系统版本选择对应的parcel包版本,本例使用CentOS7,对应的parcel包为el7版本,对应下载路径:

https://archive.cloudera.com/cdh5/parcels/5.8.0/


webp

3.创建YUM仓库

1)启动httpd服务

vim /etc/httpd/conf/httpd.conf


webp

2)安装createrepo

1.yum install createrepo


3)配置YUM源

将前面下载的CM Server、parcel安装包复制到/opt/www/html指定目录中(CM Server目录位于/opt/www/html/cloudera-manager-5.8.1,CDH目录位于/opt/www/html/cloudera-parcel-5.8.0),做成源,执行createrepo后会在该目录中生成repodata目录。

1.cd /opt/www/html

2.createrepo cloudera-manager-5.8.1


webp

对于cloudera-parcel-5.8.0做类似操作即可。

配置完后,测试浏览器上是否能够访问响应内容。

4)所有需要安装CDH的服务器更新YUM源配置

/etc/yum.repos.d/cloudera-manager-man.repo

[cloudera-manager]

name=Cloudera Manager

baseurl=http://you-server-ip/cloudera-manager-5.8.1/

enabled = 1

gpgcheck = 0


/etc/yum.repos.d/cloudera-parcel-man.repo

[cloudera-parcel]

name=Cloudera Parcel

baseurl=http://you-server-ip/cloudera-parcel-5.8.0/

enabled = 1

gpgcheck = 0

执行以下命令

yum clean metadata

yum makecache


自此,CDH相关安装包的YUM源已经配置好,为之后的离线安装做好了准备。至于环境的准备及CDH组件的安装,会在接下来的文章中介绍。

大家喜欢多多关注,你的关注是我最大的动力,会不定期更新的。



作者:大数据首席数据师
链接:https://www.jianshu.com/p/543daeab65ed


点击查看更多内容
1人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消