ApacheSparkDataFrame中的级联列

Question

ApacheSparkDataFrame中的级联列如何在ApacheSparkDataFrame中连接两列？SparkSQL中有我们可以使用的函数吗？

Answer 1

在SparkScala中连接字符串列的一个选项是：concat.

有必要检查空值..因为如果其中一列为空，即使其他列中有一列有信息，结果也将为空。

使用concat和withColumn:

val newDf =
  df.withColumn(
    "NEW_COLUMN",
    concat(
      when(col("COL1").isNotNull, col("COL1")).otherwise(lit("null")),
      when(col("COL2").isNotNull, col("COL2")).otherwise(lit("null"))))

使用concat和select:

val newDf = df.selectExpr("concat(nvl(COL1, ''), nvl(COL2, '')) as NEW_COLUMN")

使用这两种方法，您将有一个新_Column，它的值是来自原始DF的列：col1和COL 2的连接。