-
MapReduce：分而治之，一个大任务分成多个小的子任务（map）,多个节点并行执行后，合并结果（reduce）（合并的过程称为reduce）
查看全部 -
适合数据批量读写，吞吐量高
不适合交互式应用，低延迟很难满足
适合一次写入多次读取，顺序读写
不支持多用户并发写相文件查看全部 -
1、数据冗余、硬件容错
2、流式的数据访问（一次写入，多次访问）
3、存储大文件
查看全部 -
HDFS写入文件流程
1、文件拆分成块
2、通知NameNode,NameNode会找到一些可用的DataNode,并返回
3、根据返回的DataNode，进行块的写入
4、写入一个块之后，进行流水线复制，将这个块写入到其他的地方
5、更新元数据
6、重复上述步骤，写入其他块
查看全部 -
HDFS读取文件流程
1、客户端发起文件读取请求
2、NameNode查询元数据
3、元数据包含那些块以及元数据分布在那些DataNode中
4、客户端直接找到DataNode读取block
5、下载完成之后进行组装
查看全部 -
二级NameNode：二级NameNode定期同步元数据映像文件和修改日志，当NameNode发生鼓掌是，备胎转正
查看全部 -
判断哪些节点挂了，哪些节点正常
查看全部 -
心跳检测：DataNode定期向NameNode发送状况查看全部
-
硬件容错，所以保存多份数据，防止丢失
查看全部 -
1、客户查询数据
2、在NameNode上查询元数据，返回文件存放在哪些节点上面
3、从节点总读取数据块
4、拼装数据
查看全部 -
DataNode是HDFS的工作节点、存放数据块查看全部
-
NameNode是管理节点，存放文件元数据
1、文件与数据块的映射表
2、数据块与数据节点的映射表
查看全部 -
HDFS中有两类节点
1、NameNode2、DataNode
查看全部 -
块
1、HDFS的文件被分成块进行存储
2、HDFS块的默认大小是64MB
3、块是文件存储处理的逻辑单元
查看全部 -
hdfs基本概念
查看全部
举报
0/150
提交
取消