-
HDFS特点
流式:一次写入多次读取
查看全部 -
HDFS中文件的写操作
查看全部 -
HDFS中文件的读操作
查看全部 -
Secondary NameNode
定期 同步元数据映像文件和修改日志,NameNode发生故障时，备胎转正
查看全部 -
心跳检测：DataNode定期向NameNode发送心跳消息
查看全部 -
数据管理策略
查看全部 -
DataNode是工作节点，存放数据块
查看全部 -
分为NameNode和DataNode
NameNode是管理节点，存放文件元数据
1 文件与数据块的映射表
2 数据块与数据节点的映射表
查看全部 -
块是文件存储处理的逻辑单元
查看全部 -
mapreduce容错机制：
1、重复执行，因为job问题，硬件问题，数据问题等等一起任务异常，导致 重试，默认重复4次失败就会放弃执行
2、所有的map任务执行完成才继续执行reduce任务，如果某一个节点计算特别慢，就新起一个节点和这个慢节点做相同的计算任务，只要其中一个完成即可
查看全部 -
mapreduce作业执行流程
查看全部 -
通常在部署的时候，tasktracker往往和datanode在同一组物理节点
jobtracker：1、作业调度 2、分配任务，监控任务执行进度 3、监控 tasktracker的状态
tasktracker：1、执行任务 2、向jobtracker汇报任务状态
查看全部 -
job拆分为多个task，task分为maptask和reducetask
客户端提交任务（job）到jobtracker，jobtracker将任务放到候选队列，在适当的时候挑选出job拆分为task运行
查看全部 -
mapreduce：一个大任务拆分成多个小任务（map），并行执行完成之后，再合并结果（reduce）
查看全部 -
1、数据大量冗余
2、流式数据访问：一次写入多次读取，一旦写入，无法修改
3、存储大文件
4、吞吐量高，适合批量读写
5、不适合交互式应用，延时性无法满足
6、不支持多用户并发写相同的文件
查看全部
举报