为了账号安全,请及时绑定邮箱和手机立即绑定

Spark Java API:如何将JavaRDD转换为RDD类型

Spark Java API:如何将JavaRDD转换为RDD类型

倚天杖 2021-05-05 17:28:20
我正在尝试将使用编写的代码转换Dataframe为DataSetAPI。问题是我将JavaRDD创建为:final JavaRDD<String> abcJavaRdd= jsc.textFile("/path/to/textfile");但是createDatasetsqlContext类的方法期望RDD<T>类型而不是JavaRDD<T>类型。SQLContext sqlc = new SQLContext(jsc);........Encoder<Abc> abcEncoder= Encoders.bean(Abc.class);Dataset<Abc> abcDataset= sqlc.createDataset(abcJavaRdd, abcEncoder);上面的代码中的最后一行无效。我想知道如何org.apache.spark.rdd.RDD从' org.apache.spark.api.java.JavaRDD'类型创建' '类型吗?我在Mapr群集上将Java 1.8与apache spark 1.6.1一起使用。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 204 浏览

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号