Создать новый Dataframe с пустым/нулевым значением поля

Я создаю новый Dataframe из существующего фрейма данных, но вам нужно добавить новый столбец ( "field1" в нижнем коде) в этот новый DF. Как мне это сделать? Пример примера примерного примера будет оценен.

val edwDf = omniDataFrame 
  .withColumn("field1", callUDF((value: String) => None)) 
  .withColumn("field2",
    callUdf("devicetypeUDF", (omniDataFrame.col("some_field_in_old_df")))) 

edwDf
  .select("field1", "field2")
  .save("odsoutdatafldr", "com.databricks.spark.csv");

Ответы

Ответ 1

Можно использовать lit(null):

import org.apache.spark.sql.functions.{lit, udf}

case class Record(foo: Int, bar: String)
val df = Seq(Record(1, "foo"), Record(2, "bar")).toDF

val dfWithFoobar = df.withColumn("foobar", lit(null: String))

Одна из проблем заключается в том, что тип столбца null:

scala> dfWithFoobar.printSchema
root
 |-- foo: integer (nullable = false)
 |-- bar: string (nullable = true)
 |-- foobar: null (nullable = true)

и он не сохраняется писателем csv. Если это жесткое требование, вы можете присвоить столбцу конкретному типу (скажем, String), либо с помощью DataType

import org.apache.spark.sql.types.StringType

df.withColumn("foobar", lit(null).cast(StringType))

или описание строки

df.withColumn("foobar", lit(null).cast("string"))

или используйте UDF следующим образом:

val getNull = udf(() => None: Option[String]) // Or some other type

df.withColumn("foobar", getNull()).printSchema
root
 |-- foo: integer (nullable = false)
 |-- bar: string (nullable = true)
 |-- foobar: string (nullable = true)