为了账号安全,请及时绑定邮箱和手机立即绑定

CentOS下安装hadoop

标签:
Hadoop

CentOS下安装hadoop

用户配置

添加用户

adduser hadoop
passwd hadoop

权限配置

chmod u+w /etc/sudoers
vi /etc/sudoers
在
root    ALL=(ALL) ALL
下添加
hadoop    ALL=(ALL) ALL
chmod u-w /etc/sudoers

关闭防火墙

查看防火墙状态

service iptables status

关闭防火墙

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭防火墙开机启动

chkconfig iptables off

安装JDK1.7

卸载系统自带OpenJDK

查看目前系统jdk

rpm -qa | grep jdk

得到结果:

java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

卸载:

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

下载JDK1.7

下载地址: jdk-7u79-linux-x64.tar.gz 下载

上传hadoop文件

使用Filezilla client把jdk-7u79-linux-x64.tar.gz放到CentOS目录/usr/lib/jvm中(史上最简单的上传文件到linux系统方法)

修改权限

sudo chmod u+x jdk-7u79-linux-x64.tar.gz

解压JDK1.7

cd /usr/lib/jvm
sudo tar -zxvf ./jdk-7u79-linux-x64.tar.gz  -C /usr/lib/jvm

配置环境

打开profile文件:

sudo gedit /etc/profile

在文件最下边输入:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_4579export JRE_HOME=/usr/lib/jvm/jdk1.7.0_4579/jreexport CLASSPATH=.:$JRE_HOME/lib/tr.jar:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH

使其立刻生效:

source /etc/profile

验证是否成功

java -version

手动设置系统默认JDK

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_79/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_79/bin/javac 300
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.7.0_79/bin/jar 300
sudo update-alternatives --config java

配置SSH免密码登陆

进入用户的根目录下

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证是否安装成功

ssh -version

登陆

ssh localhost

安装Hadoop2.6.0

下载hadoop2.6

hadoop-2.6.0.tar.gz

解压hadoop-2.6.0.tar.gz

进入/usr/local/hadoop

sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/localcd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop
sudo chown -R hadoop:hadoop ./hadoop

配置hadoop2.6.0环境

打开profile

sudo gedit /etc/profile

在最下边添加:

# set hadoop pathexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使其立刻生效:

source /etc/profile

修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

伪分布式Hadoop2.6.0配置

etc / hadoop / core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property></configuration>

etc / hadoop / hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property></configuration>

启动Hadoop2.6.0

进入hadoop的bin目录

cd /usr/local/hadoop/bin

格式化Hadoop的文件系统HDFS

hdfs namenode -format

进入hadoop的sbin目录

cd /usr/local/hadoop/sbin

启动所有进程

start-all.sh

成功的话,会看到 successfully formatted 的提示,且倒数第5行的提示如下,Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。若出错(不该如此,请仔细检查之前步骤),可试着加上 sudo, 既 sudo bin/hdfs namenode -format 再试试看。

关闭命令

stop-all.sh

用jps查看启动的进程

Jps
ResourceManager
NameNode
DataNode
SecondaryNameNode
NodeManager

浏览器访问:http://localhost:50070

hadoop进程管理页面http://localhost:8088

问题

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时出错,不影响使用。

解决:

1、重新编译源码后将新的lib/native替换到集群中原来的lib/native
2、修改hadoop-env.sh ,增加export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"



作者:赤龙绕月
链接:https://www.jianshu.com/p/ca668dd15022


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消