为了账号安全,请及时绑定邮箱和手机立即绑定

Spark 从零到开发(七)Spark SQL和DataFrame

标签:
Spark

话不多说,直接代码。概念还是spark sql中的概念。

方式一:使用java反射来推断RDD元数据

从文本文件拿到RDD对象->利用反射机制将RDD转换为DataFrame->注册为一个临时表->执行sql语句->再次转换为RDD->将RDD中的数据进行映射->收集数据

先创建一个实体类:Student.java

public class Student implements Serializable {    private int id;    private String name;    private int age;    public int getId() {        return id;
    }    public void setId(int id) {        this.id = id;
    }    public String getName() {        return name;
    }    public void setName(String name) {        this.name = name;
    }    public int getAge() {        return age;
    }    public void setAge(int age) {        this.age = age;
    }    @Override
    public String toString() {        return "Student{" +                "id=" + id +                ", name='" + name + '\'' +                ", age=" + age +                '}';
    }
}
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("RDD2DataFrameReflection").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        sc.setLogLevel("ERROR");

        SQLContext sqlContext = new SQLContext(sc);

        JavaRDD<String> lines = sc.textFile("C:\\Users\\84407\\Desktop\\student.txt");
        JavaRDD<Student> students = lines.map((Function<String, Student>) line -> {            String[] lineSplited = line.split(",");
            Student student = new Student();
            student.setId(Integer.parseInt(lineSplited[0].trim()));
            student.setAge(Integer.parseInt(lineSplited[2].trim()));
            student.setName(lineSplited[1].trim());            return student;
        });        /**
         * 使用反射方式,将RDD转换为DataFrame
         * 将student.class 传入进去,其实就是用反射的方式来创建DataFrame
         * 因为Student.class本身就是反射的一个应用
         * 然后底层还得通过对Student.class进行反射,来获取其中的field
         * 这里要求,JavaBean必须实现Serializable接口,可序列化
         */
        DataFrame studentDF = sqlContext.createDataFrame(students,Student.class);        /**
         * 拿到一个DataFrame之后,就可以将其注册为一个临时表,然后针对其中的数据执行sql语句
         */
        studentDF.registerTempTable("students");        /**
         * 针对students 临时表执行sql语句,查询年龄小于等于18岁的学生,就是excellent
         */
        DataFrame excellentDF = sqlContext.sql("select * from students where age <= 18");        /**
         * 将查询出来的DataFrame ,再次转换为RDD
         */
        JavaRDD<Row> excellentRDD = excellentDF.javaRDD();        /**
         * 将RDD中的数据进行映射,映射为Student
         */
        JavaRDD<Student> excellentStudentRDD = excellentRDD.map((Function<Row, Student>) row -> {            //row 中的数据的顺序,可能和我们期望的不一样
            Student student = new Student();
            student.setAge((Integer) row.get(0));
            student.setId(row.getInt(1));
            student.setName(row.getString(2));            return student;
        });        /**
         * 将数据collect回来,然后打印
         */
        List<Student> studentList = excellentStudentRDD.collect();        for (Student stu:studentList){
            System.out.println(stu);
        }
    }

执行结果:

Student{id=1, name='FantJ', age=18}
Student{id=2, name='Fantj2', age=18}
Student{id=3, name='Fantj3', age=18}
Student{id=4, name='FantJ4', age=18}
Student{id=5, name='FantJ5', age=18}
Student{id=6, name='FantJ6', age=18}

方式二:通过编程接口来创建DF:在程序中构建元数据

从文本中拿到JavaRDD<Row> --> 动态构造元数据 -->  将RDD转换成DF --> 注册临时表 --> 执行sql --> 收集数据

    public static void main(String[] args) {        /**
         * 创建sparkConf、javaSparkContext、SqlContext
         */
        SparkConf conf = new SparkConf().setAppName("RDD2DataFrameProgrammatically").setMaster("local");

        JavaSparkContext sc = new JavaSparkContext(conf);

        SQLContext sqlContext = new SQLContext(sc);        /**
         * 第一步:创建一个普通的,但是必须将其转换成RDD<row>的形式
         */
        JavaRDD<String> lines = sc.textFile("C:\\Users\\84407\\Desktop\\student.txt");

        JavaRDD<Row> studentRDD = lines.map(new Function<String, Row>() {
            @Override
            public Row call(String line) {                String[] split = line.split(",");                return RowFactory.create(Integer.valueOf(split[0]), String.valueOf(split[1]), Integer.valueOf(split[2]));
            }
        });        /**
         * 第二步:动态构造元数据
         * 字段的数据可能都是在程序运行中才能知道其类型
         * 所以我们需要用编程的方式来动态构造元数据
         */
        List<StructField> structFields = new ArrayList<>();
        structFields.add(DataTypes.createStructField("id",DataTypes.IntegerType,true));
        structFields.add(DataTypes.createStructField("name",DataTypes.StringType,true));
        structFields.add(DataTypes.createStructField("age",DataTypes.IntegerType,true));

        StructType structType = DataTypes.createStructType(structFields);        /**
         * 第三步:将RDD转换成DF
         */
        DataFrame studentDF = sqlContext.createDataFrame(studentRDD, structType);
        studentDF.registerTempTable("students");

        DataFrame excellentDF = sqlContext.sql("select * from students where name='FantJ'");

        List<Row> rows = excellentDF.collectAsList();        for (Row row:rows){
            System.out.println(row);
        }


    }

执行结果:

[1,FantJ,18]

总结

方式一和方式二最大的区别在哪呢,通俗点说就是获取字段类型的手段不同。

方式一通过java反射,但是要有javabean当字段模版。
方式二通过手动编码设置line的split对象的每个数据段的类型,不用创建javabean。



作者:PlayInJava
链接:https://www.jianshu.com/p/322a9d031924


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消