-
Hadoop的功能和优势： Apache开源的 分布式存储+分布式计算平台。 组成： 两个核心： HDFS：分布式文件系统，存储海量的数据 MapReduce：并行处理框架，实现任务分解和调度 用途： 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务 优势： 高扩展、低成本（普通PC）、成熟的生态圈（开源加快它的发展）查看全部
-
Hadoop： Google大数据技术，MapReduce、BigTable、GFS 革命性的变化： 1、成本降低，能用PC机，就不用大型机和高端存储。 2、软件容错硬件故障视为常态，通过软件保证可靠性。 3、简化并行分布式计算，无需控制节点同步和数据交换。 Hadoop是一个模仿Google大数据技术的开源软件。查看全部
-
1准备linux环境 租用“云主机”，阿狸云，unitedStack等 云主机不受本机性能影响 2安装JDK 3配置hadoop查看全部
-
hadoop=HDFS+MapReduce+开源工具（Hive，Hbase存储结构化数据的database，zookeeper） hadoop版本的选择，最新2.6 2.x和1.x差别比较大 1.2稳定易上手易理解，2.x不稳定查看全部
-
hadoop分布式储存和分布式计算 =HDFS分布式文件系统 +MapReduce并行处理框架 搭建大型数据仓库，PB级数据的存储处理分析 优势：高扩展、低成本、成熟的生态圈 应用情况：很多 业界大数据平台的首选，人才需求越来越大：开发+运维查看全部
-
hadoop模仿google大数据技术的开源实现 三个优点查看全部
-
vim /etc/profile 配置环境变量 export JAVA_HOME=/jdk路径 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH 让配置生效 source /etc/profile查看全部
-
1，编写Wordcount.java，包含Mappper类和reducer类。 2，编译成class文件 3，打成jar包。 4，提交到Hadoop运行查看全部
-
客户端----job任务----jobtracker（作业调度）----拆分成maptask 和reducetask mapreduce 容错 -----重复执行----推测执行查看全部
-
把大的任务分成许多子任务map，并行执行，合并结构reduce。 如：100GB的日志，按时间分成7份，统计ip的次数，用hash映射，在规约，中间合并排序，最后得到访问最多的IP查看全部
-
安装Hadoop查看全部
-
HDFS使用：它提供了 shell 接口，可以进行命令行操作 hadoop namenode -format #格式化namenode hadoop fs -ls / #打印 / 目录文件列表 hadoop fs -mkdir input #创建目录 input hadoop fs -put hadoop-env.sh input/ #上传文件 hadoop-env.sh 到 input 目录下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #从 input 目录中下载文件 hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs报告查看全部
-
$ hadoop namenode -format 节点块格式化 $ hadoop fs -ls 当前目录 $ hadoop fs -put 上传文件 $ hadoop fs -get 下载文件查看全部
-
HDFS 的特点： 1，数据冗余，硬件容错 2，流水线式的数据访问（一次读写多次读取） 3，存储大文件 4）适用性和局限性： 适合数据批量读写，吞吐量高 不适合交互式应用，低延迟很难需求满足 适合一次读写多次读取，顺序读写 不支持多用户并发写相同的文件查看全部
-
文件拆分块----namenode中空的节点---返回datanode----写入blocks----写三份备份------更新元数据查看全部
举报
0/150
提交
取消