-
hadoop=分布式存储（HDFS）+分布式计算(MapReduce) HDFS:分布式文件系统，存储海量数据 MapReduce:并行处理框架，实现任务分解和调度 Hadoop用途：搭建大型数据仓库，PB级数据存储、处理、分析、统计等业务（搜索引擎、日志分析、商业智能、数据挖掘）。 hadoop优势： 1.高扩展 2.低成本 3.成熟的生态圈查看全部
-
1.MapReduce：概念"Map（映射）"和"Reduce（归约）"，它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 2.BigTable：是Google设计的分布式数据存储系统，用来处理海量的数据的一种非关系型的数据库 3.GFS：是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。 hadoop革命性变 1.成本降低，能用PC机，不用大型机和高端存储 2.软件容错硬件故障视为常态，通过软件保证可靠性 3.简化并行分布式计算，无须控制节点同步和数据交换查看全部
-
实例程序讲的太简单了，根本没听懂查看全部
-
DataNode存放真正数据块查看全部
-
提交执行任务查看全部
-
准备输入文件查看全部
-
Reduce过程查看全部
-
Map过程查看全部
-
WordCount统计要求查看全部
-
WordCount统计要求查看全部
-
MapReduce作业执行过程查看全部
-
100g日志筛选出访问次数的ip查看全部
-
过MapReduce过程查看全部
-
查看文件系统信息，包括namenode 块等查看全部
-
下载查看全部
举报
0/150
提交
取消