当需要把DataFrame中所有列的类型转换成另外一种类型,并且这个DataFrame中字段很多,一个一个地转换要写很多冗余代码,那么就可以使用如下这两种转换方式。
方式一:foldLeft() 函数
1. 转化所有列类型
通过foldLeft()函数从左到右依次处理集合中的每个元素,代码如下:
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.col
val df: DataFrame = ...
val columns: Array[String] = df.columns
val df2: DataFrame = columns.foldLeft(df){(currentDF, column) => currentDF.withColumn(column, col(column).cast("string"))}
-
变量columns
:是一个String类型的数组,数组中的元素为df中的列名。 -
f
oldLeft函数
:此函数以df为初始值,从左向右遍历columns数组,并把df的每一行和columns的每个元素作为参数传入foldLeft后面的函数中(也就是foldLeft后面的大括号中)。 -
withColumn()
:将每一列转换成String类型并赋值给当前列。如果存在同名的列,withColumn函数默认会进行覆盖。
2. 转化部分列类型
例如:将Date类型的列转成String类型。
val df: DataFrame = ...
val columns: Array[String] = df.columns
val df2: DataFrame = columns.foldLeft(df){(currentDF, column) => if ("date".equals(df.schema(column).dataType.typeName)) currentDF.withColumn(column, col(column).cast("string")) else currentDF}
方式二:map() 函数
1. 转化所有列类型
使用Scala中的map()函数处理集合中的每个元素,代码如下:
import org.apache.spark.sql.{Column, DataFrame}
import org.apache.spark.sql.functions.col
val df: DataFrame = ...
val columns: Array[String] = df.columns
val arrayColumn: Array[Column] = columns.map(column => col(column).cast("string"))
val df2: DataFrame = df.select(arrayColumn: _*)
通过map函数将columns中的每一列转换成String类型,并返回一个Column类型的数组,然后,将arrayColumn数组中的每个元素作为参数传入select函数中,就相当于df.select(col1, col2, col3, …)。
除此之外,这种写法还有一个很有用的场景:比如要在一个DataFrame中select出很多列(假如有几十个几百个),如果要一个个显示写出来,既不方便又会让代码显得很冗余,那么就可以使用这种写法:
- 先通过df.columns得到这个DataFrame中的所有列,返回一个包含所有列的数组;
- 再使用Scala中的这种语法进行查询df.select(arrayColumn :_*),非常简洁明了。
2. 转化部分列类型
例如:将Date类型的列转成String类型。
val df: DataFrame = ...
val columns: Array[String] = df.columns
val arrayColumn: Array[Column] = columns.map(column => if ("date".equals(df.schema(column).dataType.typeName)) col(column).cast("string") else col(column))
val df2: DataFrame = df.select(arrayColumn: _*)
版权声明:本文为lovetechlovelife原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。