为了账号安全,请及时绑定邮箱和手机立即绑定

docker 容器实现 hadoop分布式集群部署

标签:
Hadoop

在学习hadoop课程中,讲师介绍了hadoop的单机以及集群部署方式,由于本地资源限制,只有一台虚拟机,所以考虑使用docker的方式实现分布式集群搭建。

准备

  1. 下载centos镜像: docker pull centos

  2. 启动一个容器:docker run -td --name base -i centos bash

  3. 进入容器,安装jdk及hadoop,方法和主机一样

  4. 容器中安装ssh:yum install openssh-server openssh-clients

  5. 设置免密登录:

    ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  6. 保存容器修改:docker commit base hadoop:4

配置

新建目录结构如下,只需要创建两个文件:docker-compose.yml以及Dockerfile,其他文件夹是启动后自动生成的

image-20211218150952201

docker-compose.yml

version: '2.0'
services:
  hadoop01:
    build: .
    container_name: "hadoop01"
    volumes:
     - ./hadoop01:/data/hadoop_repo
    tty: true
    privileged: true
    hostname: hadoop01
    ports:
     - "9870:9870"  
     - "8088:8088"
  hadoop02:
    image: "hadoopdockercluster_hadoop01"
    container_name: "hadoop02"
    tty: true
    privileged: true
    hostname: hadoop02
    volumes:
     - ./hadoop02:/data/hadoop_repo
  hadoop03:
    image: "hadoopdockercluster_hadoop01"
    container_name: "hadoop03"
    tty: true
    privileged: true
    hostname: hadoop03
    volumes:
     - ./hadoop03:/data/hadoop_repo

Dokerfile

FROM hadoop:4
ENV JAVA_HOME=/opt/jdk1.8.0_181
ENV HADOOP_HOME=/opt/hadoop-3.2.0-cluster
ENV PATH=.:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin
CMD ["/usr/sbin/sshd","-D"]

启动

docker-compose build
docker-compose up -d
docker exec -it hadoop01 bash
格式化HDFS: hdfs namenode -format
启动: start-all.sh

验证

查看容器列表

image-20211218151117414https://img1.sycdn.imooc.com//61bd8a920001698112580078.jpg

前台访问:

hdfs: http://192.168.56.104:9870/

image-20211218151220217https://img1.sycdn.imooc.com//61bd8aba0001ac6517921001.jpg

yarn: http://192.168.56.104:8088/

image-20211218151237716https://img1.sycdn.imooc.com//61bd8ac500017e4019140591.jpg


点击查看更多内容
2人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
软件测试工程师
手记
粉丝
13
获赞与收藏
11

关注作者,订阅最新文章

阅读免费教程

感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消