-
Google大数据技术: 1.MapReduce 2.BigTable 3.GFS 革命性变化 1.成本降低,能用PC机,不用大型机和高端存储 2.软件容错硬件故障视为常态,通过软件保证可靠性 3.简化并行分布式计算,无须控制节点同步和数据交换 Hadoop:模仿Google大数据技术的开源技术查看全部
-
hadoop 的安装: 1.准备linux环境 2.安装jdk 3.配置hadoop Windows用户如何获取linux环境查看全部
-
hive(小蜜蜂)==>sql==>hadoop任务 hbase:存储结果话数据的分布式数据,放弃事务特性,追求更高的扩展。 提供数据的随机读写和实时访问,实现对表数据的读写功能 zookeper:管理集群的配置,监控节点的状态。 hadoop version 1.2 稳定 2.0 不是很稳定。查看全部
-
Hadoop:开源的分布式存储+分布式计算 核心组成: HDFS:分布式文件系统,存储海量数据。 MapReduce:并行处理框架,实现任务分解和调度。 优势: - 高扩展 - 低成本 - 成熟的生态圈(因为开源)查看全部
-
mapreduce,bigtable,GFS 变化1:成本低,能用pc机,就不用大型机和高端存储 2 软件高可靠性 3.简化并行分布式技术,无须控制节点同步和数据交换 一个模仿Google大数据技术的开源实现。查看全部
-
课程学习建议: 1.结合书本,知识点更加系统全面 对应的书本:hadoop技术详解、hadoop权威指南 2.实践经验很重要,边听课边实践。 课程预备知识: linux常用命令 java编程基础查看全部
-
http://mirror.bit.edu.cn/apache/common/hadooop-1.2.1/hadooop-1.2.1.tar.gz查看全部
-
复制一下 修改 /etc/profile 文件 添加如下4条 1.export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 2.export JRE_HOME=$JAVA_HOME/jre 3.export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 4.export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 注解: 1.Linux下用冒号 : 分割路径 2.$PATH / $JAVA_HOME / $JRE_HOME 是用来引用原来环境变量的值,在设置环境变量时不能把原来的值给覆盖掉 3.$CLASSPATH 中 当前目录 “.”不能丢 4.export 是把这4个变量导出为全局变量 --(摘自 博客园——SamCN) [ 收起全文 ] 2015-07-21 1 1 dddpeter 操作不算很规范,一般不使用系统自导的jdk,而且一般应用也不一股脑儿安装在root用户下查看全部
-
云主机查看全部
-
原理 好 如此查看全部
-
jdk配置查看全部
-
mapred-site.xml配置 <property> <name>mapred.job.tracker</name> <value>weiyt:9001</value> </property>查看全部
-
hdfs-site.xml配置 <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property>查看全部
-
Hadoop ecosystem map查看全部
-
hive:sql->hadoop任务 hbase:存储结构话数据的分布式数据库。放弃事物特性,追求更高的扩展。 zookeper:管理集群的配置,监控节点的状态查看全部
举报
0/150
提交
取消