-
同过命令直接将结束haddoop任务结束
查看全部 -
如图
查看全部 -
多文件的效果
查看全部 -
map和reduce执行流程
查看全部 -
分布式存储包括map和reduce操作
查看全部 -
文件创建时间,什么啥时候进行的修改等操作。
fsimage: 文件系统镜像 , 源数据镜像文件,某一时刻Namenode内存中的源数据信息,也可理解为快照,是由edit内容信息合并完成,合并卫checkpoint
seondaryNamenode 触发1个小时 100万次操作
edits: 存储用户的操作记录,包括修改,不包括查询
seed_txid: 默认为0, 存储edits 后面的序号,倒序查找,方便恢复
查看全部 -
常见操作
vi 创建文件并编辑,
这里用到了前缀:bin/hdfs dfs -各种命令
查看全部 -
shell介绍
查看全部 -
一台计算机一般存储能力是512G或1t,但数据量扩大之后,就需要将数据放到不同机器上,然而这样导致管理麻烦。所以就需要系统去管理这样的多台机器上的文件hdfs诞生。
通用性:虽然是访问不同机器,但感觉像是访问自己的主机一台机子,和容错性,不适合小文件
查看全部 -
多机器多个个用户通过网络,分享和存储文件
查看全部 -
注意要靠环境变量profile ,只是将安装包考过去。其他没有可拷过去
tar -zxvf 解压
查看全部 -
scp -rp /data/soft/jdk1.8/ hadloop101:/data/soft/
将前面文件拷贝到后面的目录
查看全部 -
ssh-copy-id -i hadoop102设置免密码
查看全部 -
linux命令:wget 下载
tar 解压
查看全部 -
hadoop配置:四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置
修改mapre-site配不要重复格式化,如果因为格式化出问题,删掉hadoop_repo再格式化一次置--》yare相关配置 以上是所有的xml文件;下面修改hadoop-env.sh文件。后面进行启动
查看全部
举报