Как преобразовать столбец WrappedArray в световой блок данных в строку?
Я пытаюсь преобразовать столбец, содержащий Array [String] в String, но я последовательно получаю эту ошибку
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;
Здесь фрагмент кода
val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
mkString($"arrayCol"))
Ответы
Ответ 1
WrappedArray
не является Array
(это простая старая Java Array
не коллекция natve Scala). Вы можете либо сменить подпись на:
import scala.collection.mutable.WrappedArray
(arrayCol: WrappedArray[String]) => arrayCol.mkString(",")
или используйте один из супертипов типа Seq
:
(arrayCol: Seq[String]) => arrayCol.mkString(",")
В недавних версиях Spark вы можете использовать concat_ws
вместо:
import org.apache.spark.sql.functions.concat_ws
df.select(concat_ws(",", $"arrayCol"))
Ответ 2
Код работает для меня:
df.select("wifi_ids").rdd.map(row =>row.get(0).asInstanceOf[WrappedArray[WrappedArray[String]]].toSeq.map(x=>x.toSeq.apply(0)))
В вашем случае, я думаю, это:
val mkString = udf(arrayCol=>arrayCol.asInstanceOf[WrappedArray[String]].toArray.mkString(","))
val dfWithString=df.select($"arrayCol").withColumn("arrayString",mkString($"arrayCol"))