-
1.编译java文件 javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d 编译后地址 编译文件 2.打包指令 jar -cvf 打包后文件名.jar 某某.class 3.提交输入文件给hadoop hadoop fs -put 文件路径 提交后的路径 例：hadoop fs -put input/* input_wordcount/ 4.提交jar给hadoop执行 hadoop jar jar包路径 执行的主函数名(主类名，main方法所在类名) 输入目录名 输出目录名 例：hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount查看全部
-
hadoop的组成查看全部
-
1.LINUX常用命令查看全部
-
mapred-site.xml 配置任务调度器如何去访问查看全部
-
hdfs-site.xml 配置数据的存放目录查看全部
-
core-site.xml配置文件查看全部
-
HIVE将sql语句转换为Hadoop任务执行查看全部
-
流程图查看全部
-
HDFS的特点： 1.数据冗余，硬件容错 2.流式的数据访问(一次写入，多次读取) 3.存储大文件(存储小文件，NameNode的压力会很大) 适用性和局限性： -适合数据批量读写，吞吐量高 -适合一次写入多次读取，顺序读写 -不适合交互式应用，低延迟很难满足 -不支持多用户并发写相同文件查看全部
-
HDFS写入文件的流程： 1.客户端将文件拆分成块 2.客户端通知NameNode,NameNode返回可用的DataNode节点地址 3.客户端根据返回的DataNode将数据块写入到可用的DataNode中 4.因为数据块要有三份，所以会通过一个复制管道将每个数据块复制出另外两份并保存 5.更新元数据NameNode查看全部
-
HDFS读取文件的流程： 1.客户端向NameNode发送文件读取请求 2.NameNode返回元数据给客户端 3.客户端读取数据块进行数据组装，得到想要的数据查看全部
-
HDFS的架构： -块(存储处理单元，默认64MB) 节点： -NameNode(管理节点，存储文件元数据) ：1.文件与数据块的映射表。2.数据块与数据节点的映射表。 -DataNode(工作节点，存放数据块)：数据块里面可以包括多个DataNode(工作节点)查看全部
-
HDFS的文件被分成块进行存储，HDFS块的默认大小64MB,且块是文件存储处理的逻辑单元查看全部
-
Hadoop作用查看全部
-
Hadoop xml配置修改查看全部
举报
0/150
提交
取消