为了账号安全,请及时绑定邮箱和手机立即绑定

Spark从零开始

Terby JAVA开发工程师
难度初级
时长 2小时18分
学习人数
综合评分9.80
56人评价 查看评价
9.8 内容实用
9.7 简洁易懂
9.9 逻辑清晰

最新回答 / 慕斯8795013
视频中宿主机是苹果系统,虚拟机中CentOS。

最赞回答 / 贝加尔湖畔v
c1和c2不是代表只有两个partition,可以把这两个当做输入的参数,类似于reduce函数。c1代表前几个partition已经累计计算到的值,c2代表新partition的值。

最新回答 / 不逃课
原来我路径写错了.运行bin下的spark-shell./bin/spark-shell

最赞回答 / 慕斯2517945
就是同一个东西,只是不同的角度,DAG,是从图论的角度,血统关系图是从数据依赖关系的角度

最新回答 / qq_蜕变_33
不用吧,直接用“”把文件路径括起来就好了,像这样val rdd = sc.textFile("C:\\Users\\Desktop\\Test.txt")

最新回答 / 巴黎嫩的香柏树
要配置一下 build.sbt 然后保存,idea会自动下载(配置的时候还要看自己的版本进行配置)

最赞回答 / Leco
内个需要自己添加 ...   也可以不使用SBT添加依赖jar,打开你spark安装目录下/spark-2.1.1/jars检索spark-core.jar这个名字就会找到对应的jar包将这个jar包导入到工程里就可以了 

最新回答 / 执着的青蛙
你创建的是JAVA项目才会生成JAVA目录,现在创建的是Scala项目,所以生成的是Scala目录。这个是正确的

最新回答 / mickeychen
用textFile加载本地文件时你试试这样写sc.textFile("/home/hadoop/2.txt")路径前面就别加 " file:// " 试试,我写的时候就没加,可以读取到本地文件
课程须知
1、 简单Linux的操作
老师告诉你能学到什么?
1、了解Spark到底是什么 2、了解Spark和Hadoop的区别 3、了解Spark的基础知识和概念 4、掌握Spark RDD的基本操作和特性 5、掌握Spark程序的开发和部署流程

微信扫码,参与3人拼团

微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消