天富娱乐登录 怎样操作DataFrame？不同操作风格有什么区别？

DataFrame提供了两种语法风格，即DSL风格语法和SQL风格语法，二者在功能上并无区别，仅仅是根据用户习惯，自定义选择操作方式。接下来，我们通过两种语法风格，分别讲解DataFrame操作的具体方法。

1．DSL风格操作

DataFrame提供了一个领域特定语言（DSL）以方便操作结构化数据，下面将针对DSL操作风格，讲解DataFrame常用操作示例。

show()：查看DataFrame中的具体内容信息。printSchema()：查看DataFrame的Schema信息。select()：查看DataFrame中选取部分列的数据。

下面演示查看personDF对象的name字段数据，具体代码如下所示。

 scala > personDF.select(personDF.col("name")).show() +--------+| name | +--------+|zhangsan| | lisi| | wangwu| | zhaoliu| | tianqi|| jerry| +--------+

上述代码中，查询name字段的数据还可以直接使用“personDF.select(“name”).show”代码直接查询。

select()操作还可以实现对列名进行重命名，具体代码如下所示。

 scala > personDF.select(personDF("name").as("username"), personDF("age")).show() +--------+---+ |username|age| +--------+---+ |zhangsan| 20| | lisi| 29| | wangwu| 25| | zhaoliu| 30| | tianqi| 35| | jerry| 40| +--------+---+

从返回结果看出，原name字段重命名为username字段。

filter()：实现条件查询，过滤出想要的结果。

下面演示过滤age大于等于25的数据，具体代码如下所示。

从上述返回结果可以看出，成功过滤出符合大于等于25岁的条件数据。

groupBy()：对记录进行分组。

下面演示按年龄进行分组并统计相同年龄的人数，具体代码如下所示。

 scala > personDF.groupBy("age").count().show() +---+-----+ |age|count| +---+-----+ | 20| 1| | 40| 1| | 35| 1| | 25| 1| | 29| 1| | 30| 1| +---+-----+

从上述返回结果看出，groupBy()成功统计相同年龄的人数信息。

sort()：对特定字段进行排序操作。

下面演示按年龄降序排列，具体代码如下所示。

 scala > personDF.sort(personDF("age").desc).show() +---+---------+---+ | id| name |age| +---+---------+---+ | 6| jerry | 40| | 5| tianqi | 35| | 4| zhaoliu | 30| | 2| lisi | 29| | 3| wangwu | 25| | 1|zhangsan | 20| +---+--------+---+

从上述返回结果看出，数据成功按照年龄降序排列。

2．SQL风格操作

DataFrame的强大之处就是我们可以将它看作是一个关系型数据表，然后可以在程序中直接使用spark.sql()的方式执行SQL查询，结果将作为一个DataFrame返回。使用SQL风格操作的前提是需要将DataFrame注册成一个临时表，代码如下所示。

 scala > personDF.registerTempTable("t_person")

下面通过多个示例，演示使用SQL风格方式操作DataFrame。

（1） 查询年龄最大的前两名人的信息，具体执行代码如下所示。

 scala > spark.sql("select * from t_person order by age desc limit 2").show() +---+------+---+ | id| name|age| +---+------+---+ | 6| jerry| 40| | 5|tianqi| 35| +---+------+---+

（2） 查询年龄大于25的人的信息，具体代码如下所示。

 scala > spark.sql("select * from t_person where age > 25").show() +---+-------+---+ | id| name|age| +---+-------+---+ | 2| lisi| 29| | 4|zhaoliu| 30| | 5| tianqi| 35| | 6| jerry| 40| +---+-------+---+

DataFrame操作方式简单，并且功能强大，熟悉SQL语法的开发者都能够快速地掌握DataFrame的操作，本小节只讲解了部分常用的操作方式，读者可通过Spark官方文档http://spark.apache.org/docs/latest/sql-programming-guide.html详细学习DataFrame的操作方式。

猜你喜欢：

DataFrame是什么意思?与RDD相比有哪些优点？

多种方法创建DataFrame【大数据技术文章】

怎样操作Spark SQL性能调优？

传智教育大数据培训