-
Hadoop可以用来搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务
优势：
高扩展（基于框架增加硬件实现）
低成本（不依赖于高端机，只需要PC机，利用软件容错确保可靠性）
查看全部 -
一.安装jdk
二.配置hadoop的配置文件
1.mapred-site.xml 配置文件
mapred.job.tracker mapred 访问路径
2.core-site.xml 配置文件 需要修改的
hadoop.tmp.dir 临时工作目录
dfs.name.dir 原数据目录
fs.default.name 文件系统地址和端口号
3.hdfs-site.xml
dfs.data.dir 存放文件块的一个目录
4.hadoop-env.sh
配置java_home的安装路径
三.格式化format
hadoop namenode -format
四.启动hadoop
start-satrt-all.sh
五.用命令jps查看进程
JpbTracker
Jps
SecondaryNameNode
NameNode
DataNode
TaskTracker
查看全部 -
JobTracker
作业调度
分配任务、监控任务执行进度
监控TaskTracker的状态
TaskTrack
执行任务
汇报任务状态
查看全部 -
HDFS MapReduce 开源工具（hive）
hive就是可以把你的sql语句转化成一个hadoop任务执行（降低了使用hadoop的门槛）
hbase是存储结构化数据的分布式数据库（和传统的关系型数据库的区别是放弃事务特性，追求更高的扩展）（和HDFS的区别就是habse提供数据的随机读写和实时访问，实现对表数据的读写功能）
zookeeper是监控hadoop集群的状态，管理节点间的配置，维护数据的一致性。
查看全部 -
Hadoop是一个开源的分布式存储和分布式计算平台
Hadoop的组成：两个核心组成，1.HDFS：分布式文件系统，存储海量数据 2.MapReduce: 并行处理框架，实现任务分解和调度
Hadoop可以用来搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务
Hadoop的优势：1.高扩展，在次级框架下通过硬件提升性能和容量
2.低成本，3.成熟的生态圈，Hadoop工具组成生态圈
查看全部 -
hadoop可以用来搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。
优势：1、高扩展 ， 2、低成本，3、成熟的生态圈
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
查看全部 -
HDFS MapReduce 开源工具（hive）
hive就是可以把你的sql语句转化成一个hadoop任务执行（降低了使用hadoop的门槛）
hbase是存储结构化数据的分布式数据库（和传统的关系型数据库的区别是放弃事务特性，追求更高的扩展）（和HDFS的区别就是habse提供数据的随机读写和实时访问，实现对表数据的读写功能）
zookeeper是监控hadoop集群的状态等
查看全部 -
centos下有所不同
1、下载 ： yum install java-1.7.0-openjdk
2、配置环境变量 vim /etc/profile
export JAVA_HOME=/jdk路径
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH
3、让配置生效source /etc/profile
4、输入 java -version 进行测试查看全部 -
hdfs-site.xml配置 <property> <name>dfs.data.dir</name> <value>/opt/hadoop-1.2.1/data</value> </property>查看全部
-
CentOS 上安装jdk，使用方式yum 1.查看yum库中都有哪些jdk版本(暂时只发现了openjdk) [root@localhost ~]# yum search java|grep jdk 2.选择版本,进行安装 //选择1.7版本进行安装 [root@localhost ~]# yum install java-1.7.0-openjdk* //安装完之后，默认的安装目录是在: /usr/lib/jvm/ 3.设置环境变量 [root@localhost ~]# vi /etc/profile 在profile文件中添加如下内容 #set java environment JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH 让修改生效 [root@localhost java]# source /etc/profile查看全部
-
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz hadoop 下载地址查看全部
-
linux查看全部
-
代码其实在hadoop的安装目录下有example，一般的目录是/hadoop/src/examples//org/apache/hadoop/examples/WordCount.jar 源代码 http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html查看全部
-
HDFS使用：它提供了 shell 接口，可以进行命令行操作 hadoop namenode -format #格式化namenode hadoop fs -ls / #打印 / 目录文件列表 hadoop fs -mkdir input #创建目录 input hadoop fs -put hadoop-env.sh input/ #上传文件 hadoop-env.sh 到 input 目录下 hadoop fs -get input/abc.sh hadoop-envcomp.sh #从 input 目录中下载文件 hadoop fs -cat input/hadoop-env.sh #查看文件 input/hadoop-env.sh hadoop dfsadmin -report #dfs报告查看全部
-
hadoop安装及配置： 1.下载hdoop按照包并进行解压 2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置 3.配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口 4.配置hdfs-site.xml文件：hdoop的文件存储的基本信息与目录 5.配置mapred-site.xml文件：hadoop的计算节点的端口号 6.启动hadoop：start-all.sh 7.查看端口：jps,可以看到五大守护进程说明正确 8.停止hdoop：stop-all.sh ========================================================= 1、安装hadoop wget 安装包路径 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 2、解压hadoop压缩包 tar -zxvf 压缩包全称（包括后缀名） 3、opt目录下 conf 下 vim hadoop-env.sh修改配置： 找到#export JAVA_HOME=路径名 修改为export JAVA_HOME=安装好的JDK(配置的JAVA_HOME) 4、修改配置文件 vim core-site.xml 在<configuration>中添加配置 <property> <name>haddoop.tmp.dir</name> </property>查看全部
举报