-
开启yarn日志聚合功能,把散落的nodemanager日志统一收集管理,方便查看日志
查看全部 -
reduce阶段只需要迭代计数,reduce输入的参数是已经经过shuffer进行分组排序的,所以只需要累加求和即可
查看全部 -
map阶段只需要按照规则把每一行数据进行切割即可
查看全部 -
namenode存储的元数据:
1、文件与block的关系
2、block与datanode的关系
查看全部 -
如果一个文件默认大小不足一个block,仍然会占用一个block,但是实际占用的存储空间是文件本身的大小,而不是block的大小
查看全部 -
secondarynamenode:定期把edits文件内容同步到fsimage(某一时刻的文件系统快照)中,默认情况下是一小时同步一次或者修改次数达到100万次时同步一次
查看全部 -
hostname:查看主机名,后面跟上主机名可以设置主机名(重启之后要重新设置,如要永久生效,则需要更改/etc/sysconfig/network)
关闭防火墙(centos6):service iptables stop(可先用service iptables stop查看防火墙状态,要是防火墙永久关闭:chkconfig iptables off)
ssh-keygen -t rsa 一路回车,然后把生成的id_rsa.pub的值复制到家目录(~/)的.ssh/authorized_keys下面即可:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
配置java环境变量:
export JAVA_HOME=/usr/local/jdk1.8.0_144 export PATH=.:$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
查看全部 -
大数据整个生态圈
查看全部 -
X版本:namenode只能有一个节点
X版本namenode只能有两个节点
X版本namenode可以有两个以上节点
查看全部 -
Yarn架构:主节点最多可以有两个,从节点可以有N个
查看全部 -
mapreduce:map局部计算,reduce把map计算的结果汇总聚合
查看全部 -
hdfs分布式存储架构:
namenode维护系统目录,datanode负责存储数据
查看全部 -
限时免费领取资料:
更多福利,欢迎关注微信公众号“大数据1024”
课程配套电子书限时体验地址:https://mp.weixin.qq.com/s/p7IXcdyKSczAg6RSgNS5nA
课程思维导图体验地址:https://mp.weixin.qq.com/s/WQcmymw_q6OkQ3gOduKJDg
查看全部 -
记录一下,
查看全部 -
数据的获取
查看全部
举报