Hadoop基础及演练_技术问答

首页免费课 Hadoop基础及演练问答

Hadoop基础及演练

                
                叁金
            JAVA开发工程师

                    查看讲师更多课程 
                    叁金讲师的其他课程
                
玩转热门框架 用企业级思维 开发通用够硬的大数据平台
实战·中级·477

                                                                                                                                    ￥448.00
                                            
多层次构建企业级大数据平台， 成就全能型大数据开发
实战·中级·118

                                                                                                                                    ￥519.00
                                            
ChatGPT入门实战课 成为AI时代更有竞争力的开发者
实战·初级·206

                                                                                                                                    ￥168.00
                                            
Calcite数据管理与SQL优化实战
初级·900
免费课程
                                
Presto实战与演练
中级·3813
免费课程
                                
                难度初级
            
                时长 1小时 6分
            
                学习人数
            
综合评分9.30
                            51人评价
                        查看评价
                                9.4
                                内容实用
                            
                                9.1
                                简洁易懂
                            
                                9.4
                                逻辑清晰

全部评论问答未解决精华

数据块的大小设置成多大合适？

已采纳回答 / qq_兵刃_04412779

块的大小设置原则：最小化寻址开小。块越大寻址时间越短，传输一个由多个块的组成的文件取决于磁盘传输速率。如寻址时间约为10ms，传输速率为100MB/S，为了使寻址时间仅占传输时间的1%，块的大小设置约为100MB，默认大小是64MB，现在在实际身缠中都是128MB了，随着新一代磁盘去东区传输速率的提升，块的大小将会被设置的更大。注意：块的大小太大的话，一个map任务处理一个块，那任务数就变少了，作业运行速度也就变慢了。

1 回答 3413 浏览 2-1 HDFS概念及优缺点

2018-06-02

Alex凡

感谢分享。编程最重要的还是思想，技术只是手段

1 4-4 Spark简介

2018-06-01

木琴

在hdfs读写过程中的client是指什么

1 2-2 HDFS写流程和读流程

2018-06-01

qq_浪客剑心_5

不错

0 2-3 Shell命令操作HDFS

2018-05-28

慕粉3475047

主要不太熟悉linux系统，这是一大痛点！

1 4-1 Hadoop总结及延伸思考

2018-05-22

hbase和HDFS分工和区别

讲师回答 / 叁金

首先我们还是要明确概念， HDFS是什么，HDFS是分布式文件存储系统。从他的定义里面我们抽出两个词，分布式、文件存储系统。所以HDFS的核心功能就是为用户提供更加稳定合理的文件存储方式。而HBase是什么呢，HBase是一个分布式列式数据库。从它的定义里面我们可以得出分布式、列式、数据库几个关键词。它首先是作为一个依托于HDFS存在的NoSql数据库，既然是一个数据库那里面存什么东西就是我们所决定的了。 HBase本身对于非结构化数据支持良好，我们同样可以将小文件直接存储...

3 回答 5780 浏览 4-4 Spark简介

2018-05-20