-
Hadoop:开源的分布式存储+分布式计算 核心组成: - DHFS: - MapReduce: 优势: - 高扩展 - 低成本 - 成熟的生态圈(因为开源)查看全部
-
hive:把sql语句转换成Hadoop任务。 hbase:存储结构化数据的分布式数据库。查看全部
-
数据管理策略 1.HDFS每个数据块3个副本,两份在同一个机架,一份在另一个机架 2.心跳检测DataNode定期向NameNode发送心跳信息 3.二级NameNode(Secondary NameNode),定期同步元数据映像文件和修改日志NameNode发生故障时,备胎转正查看全部
-
1.HDFS文件系统的文件分成“块(block)”进行存储 2.HDFS块的默认大小64MB 3.块石文件存储处理的逻辑单元 4.HDFS的两类节点:a.NameNode;b.DataNode a.NameNode是管理节点,存放文件元数据,包括文件与数据块的映射表、数据块与数据节点的映射表 b.DataNode是工作节点,存放数据块查看全部
-
修改 /etc/profile 文件 添加如下4条 1.export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 2.export JRE_HOME=$JAVA_HOME/jre 3.export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 4.export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 注解: 1.Linux下用冒号 : 分割路径 2.$PATH / $JAVA_HOME / $JRE_HOME 是用来引用原来环境变量的值,在设置环境变量时不能把原来的值给覆盖掉 3.$CLASSPATH 中 当前目录 “.”不能丢 4.export 是把这4个变量导出为全局变量 --(摘自 博客园——SamCN)查看全部
-
重复了三分钟,没搞清分区到底是在什么时候进行的,是map分片的时候么,还是map分片存储之后查看全部
-
mapreduce的容错机制是重复执行和推测执行查看全部
-
重复执行4次,如果还出错就不再重复执行了查看全部
-
定期datanode会给namenode汇报自己的情况,是否宕机是否活跃啊查看全部
-
Hadoop的优势: 1.高扩展 2.低成本 3.成熟的生态圈查看全部
-
Hadoop的组成 两个核心部分: HDFS:分布式文件系统,存储海量数据。 MapReduce:并行处理框架,实现任务分解和调度。查看全部
-
文件写入查看全部
-
文件读取查看全部
-
si ge pei zhi wen jian查看全部
-
配置四个文件查看全部
举报
0/150
提交
取消