为了账号安全,请及时绑定邮箱和手机立即绑定

已采纳回答 / 徐老师
我确认了一下,这两个版本的目录结构没有变化,本身这两个版本就属于一个大版本3.2.x,不会有特别大的改动的你是不是下载成源码包了  源码包里面都是以Hadoop开头的目录例如:hadoop-3.2.1.tar.gz  可以直接使用的安装包hadoop-3.2.1-src.tar.gz 这个是源码包

讲师回答 / 徐老师
如果搭建集群的那几台云服务器是在一个内网网段的话 建议使用内网ip,如果他们的内网不通的话就只能使用外网了

讲师回答 / 徐老师
可以的,使用mac就不用使用linux虚拟机了,直接在mac上安装hadoop即可,可能个别操作命令会有区别,大部分命令都是一样的例如:关闭防火墙的操作和linux中不一样

讲师回答 / 徐老师
是的  针对这种获取全局topN的案例,reduce任务只能有一个,这样才是全局的?

已采纳回答 / 徐老师
可以有这些方案1:如果内存中存放下,可以考虑增加这个任务的内存2:或者可以考虑外部存储,例如:redis,把这些数据存放到redis中,这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的

讲师回答 / 徐老师
这里没法上传文件,我把数据格式给你发一部分哈,你可以参考这个格式?{"id":"158008900435","uid":"120010010445","nickname":"jack435","gold":445,"watchnumpv":4350,"watchnumuv":870,"hots":1305,"nofollower":435,"looktime":8700,"smlook":2175,"follower":1740,"gifter":870,"length":2610,"area":"A_U...

讲师回答 / 徐老师
恩 使用export是定义环境变量的,针对框架的安装部署一定要仔细检查各种配置哈,稍微不注意就掉坑里面了?

讲师回答 / 徐老师
下载失败一般是由于网络问题导致的首先去本地的maven仓库找到之前下载的hadoop-client,把这个目录直接删除掉,因为有可能有个别jar包之前由于网络原因导致下载的不完整然后可以修改maven的镜像地址,可以改为阿里云的配置文件在apache-maven-3.x.x\conf\settings.xml<mirrors>        <mirror>                <id>alimaven</id>             ...

讲师回答 / 徐老师
在实际开发中可以使用root,当然创建一个独立的新用户,例如:hadoop用户会更好,主要是基于权限控制方面的考虑

讲师回答 / 徐老师
我把项目源码上传到云盘了?链接:https://pan.baidu.com/s/1MGncXsdzEw3LuEL47QLFTQ  密码:axm7

讲师回答 / 徐老师
failed on connection exception: java.net.ConnectException:  是连接拒绝的意思,表示这台机器上的hadoop服务没有启动,或者是启动失败了,你可以jps查看一下,进程是否都在,如果不在的话需要查看日志排查一下为什么启动失败了

讲师回答 / 徐老师
DateUtils代码:package test.top10;import java.text.SimpleDateFormat;import java.util.Date;/** * 日期工具类 */public class DateUtils {    private static SimpleDateFormat sdf1 = new SimpleDateFormat("yyyyMMdd");    private static SimpleDateFormat sdf2 = new SimpleD...
课程须知
学习中需要用到这些工具: —Linux —IDEA —Hadoop —MySQL —Sqoop —Echarts(图表展示) 你需要有这些基础: —熟悉Java语言和IDEA开发工具 —有一定的Linux基础和Shell编程基础 —有一定的MySQL基础
老师告诉你能学到什么?
1、Hadoop3.0集群安装部署 2、Hadoop三大核心组件(HDFS+MapReduce+Yarn)的核心原理和使用 3、使用Hadoop进行海量数据存储和分析

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消