-
hadoop生态家族: 1.Hive:将sql语句转化成hadoop任务,降低使用hadoop的门槛 2.HBASE:存储结构化数据的分布式数据库,放弃事务特性,追求更高的扩展,它提供数据的随机读写和实时访问,实现对表数据的读写功能 3.zookeeper查看全部
-
map、redure查看全部
-
Hadoop的重要组成部分 MapReduce HDFS查看全部
-
非常重要的一条:linux系统下,/etc/hosts文件中一定要保留 127.0.0.1 localhost这一行,否则启动后执行jps可能看到的不全,也就是没有全部启动查看全部
-
介绍的比较简单查看全部
-
map查看全部
-
hadoop生态家族: 1.Hive:将sql语句转化成hadoop任务,降低使用hadoop的门槛 2.HBASE:存储结构化数据的分布式数据库,放弃事务特性,追求更高的扩展,它提供数据的随机读写和实时访问,实现对表数据的读写功能 3.zookeeper查看全部
-
hadoop=分布式存储(HDFS)+分布式计算(MapReduce) HDFS:分布式文件系统,存储海量数据 MapReduce:并行处理框架,实现任务分解和调度 Hadoop用途:搭建大型数据仓库,PB级数据存储、处理、分析、统计等业务(搜索引擎、日志分析、商业智能、数据挖掘)。 hadoop优势: 1.高扩展 2.低成本 3.成熟的生态圈查看全部
-
Google大数据技术: 1.MapReduce:概念"Map(映射)"和"Reduce(归约)",它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。 2.BigTable:是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库 3.GFS:是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。 hadoop革命性变 1.成本降低,能用PC机,不用大型机和高端存储 2.软件容错硬件故障视为常态,通过软件保证可靠性 3.简化并行分布式计算,无须控制节点同步和数据交换查看全部
-
UnitedStack https://www.ustack.com/查看全部
-
Hadoop家族:HDFS,mapreduse,hive,hbase,zookeeper.查看全部
-
开源的,分布式存储、分布式计算: HDFS:分布式文件系统 mapRedure:分布式的计算 优势:高扩展(无限通过硬件提升)、低成本(廉价机器)、成熟的生态圈、。查看全部
-
hadoop查看全部
-
hadoop安装步骤: 1、安装JDK:apt-get install openjdk-7-jdk; 2、设置环境变量:JAVA_HOME、JRE_HOME、CLASSPATH、PATH 3、下载hadoop安装包并解压到指定目录下; 4、设置环境变量:HADOOP_HOME、PATH查看全部
-
1,linux 2,jdk 3,配置hadoop查看全部
举报
0/150
提交
取消