为了账号安全,请及时绑定邮箱和手机立即绑定

Hadoop基础及演练

难度初级
时长 1小时 6分
学习人数
综合评分9.30
51人评价 查看评价
9.4 内容实用
9.1 简洁易懂
9.4 逻辑清晰

讲师回答 / 叁金
现在hdfs3这个python模块不再维护了,推荐使用pyarrow,你可以看看相关的文档

讲师回答 / 叁金
配置够的话是可以的,搭建虚拟机搭建即可。https://www.imooc.com/article/25592https://www.imooc.com/article/24911可以参看着两个手记进行尝试。祝顺利~

讲师回答 / 叁金
看一下手记:https://www.imooc.com/article/24911

讲师回答 / 叁金
你不能这么算啊, 每个packet不仅仅是放的chunk的data还有它的checksum以及header。而且它是可以放部分chunk的

讲师回答 / 叁金
hdfs-site.xml<...code...>相关配置你可以查看https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml  不用迷茫了

讲师回答 / 叁金
啥也没有就是你hdfs上就没数据咯。      回复上面同学:  如果添加了环境变量是不需要./的   没添加环境变量才需要./  而且在其他目录会直接报错哦

讲师回答 / 叁金
第一次请求会获取到该文件所有block所有的datanode信息。   获取文件完成之后,向namenode反馈block的状态

讲师回答 / 叁金
你的python是什么版本啊?好像3.7有这个问题,不知道解决了没有。  

讲师回答 / 叁金
种一棵树最好的时间是十年前,其次是现在。与君共勉!

讲师回答 / 叁金
使用bash hdfs dfs -ls /   或者 ./hdfs dfs -ls /我视频里面能直接使用hdfs命令是因为我添加了HADOOP_HOME的环境变量,并将其bin目录添加到了PATH内。你也可以在~/.bashrc里面添加export HADOOP_HOME=xxxxexport PATH=xxx/bin:$PATH

讲师回答 / 叁金
这跟使用场景有关系,它适用于一次写入多次读取的场景。本身的设计就是这样。

讲师回答 / 叁金
我的是ubuntu14.04    自己用习惯了  安装东西太多懒得升级。   可以选用最新的,祝顺利~

讲师回答 / 叁金
上面不是有个链接了  看看有没有详细点的信息。

已采纳回答 / qq_兵刃_04412779
块的大小设置原则:最小化寻址开小。 块越大寻址时间越短, 传输一个由多个块的组成的文件取决于磁盘传输速率。如寻址时间约为10ms,传输速率为100MB/S,为了使寻址时间仅占传输时间的1%,块的大小设置约为100MB,默认大小是64MB,现在在实际身缠中都是128MB了,随着新一代磁盘去东区传输速率的提升,块的大小将会被设置的更大。注意:块的大小太大的话,一个map任务处理一个块,那任务数就变少了,作业运行速度也就变慢了。

讲师回答 / 叁金
首先我们还是要明确概念,  HDFS是什么,HDFS是分布式文件存储系统。   从他的定义里面我们抽出两个词, 分布式、文件存储系统。所以HDFS的核心功能就是为用户提供更加稳定合理的文件存储方式。而HBase是什么呢,HBase是一个分布式列式数据库。从它的定义里面我们可以得出  分布式、列式、数据库几个关键词。    它首先是作为一个依托于HDFS存在的NoSql数据库,既然是一个数据库那里面存什么东西就是我们所决定的了。      HBase本身对于非结构化数据支持良好,我们同样可以将小文件直接存储...
首页上一页123下一页尾页
课程须知
有Linux命令使用基础,有Python编程基础
老师告诉你能学到什么?
大数据到底是个啥,大数据方向到底怎么样 Hadoop基础原理与两个核心 Hadoop的基础应用 Hadoop生态圈简介 Hadoop生态圈常用开源项目介绍

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消