У меня есть следующее значение Scala:
val values: List[Iterable[Any]] = Traces().evaluate(features).toList
и я хочу преобразовать его в DataFrame.
Когда я попробую следующее:
sqlContext.createDataFrame(values)
Я получил эту ошибку:
error: overloaded method value createDataFrame with alternatives:
[A <: Product](data: Seq[A])(implicit evidence$2: reflect.runtime.universe.TypeTag[A])org.apache.spark.sql.DataFrame
[A <: Product](rdd: org.apache.spark.rdd.RDD[A])(implicit evidence$1: reflect.runtime.universe.TypeTag[A])org.apache.spark.sql.DataFrame
cannot be applied to (List[Iterable[Any]])
sqlContext.createDataFrame(values)
Почему?
Как упоминалось zero323, нам нужно сначала преобразовать List[Iterable[Any]] в List[Row], а затем поместить строки в RDD и подготовить схему для искровых данных кадр.
Чтобы преобразовать List[Iterable[Any]] в List[Row], мы можем сказать
val rows = values.map{x => Row(x:_*)}
а затем, имея схему типа schema, мы можем сделать RDD
val rdd = sparkContext.makeRDD[RDD](rows)
и, наконец, создать световой кадр
val df = sqlContext.createDataFrame(rdd, schema)
То, для чего предназначен объект spark implicits. Он позволяет конвертировать ваши общие типы коллекции scala в DataFrame/DataSet/RDD. Вот пример с Spark 2.0, но он существует и в более старых версиях.
import org.apache.spark.sql.SparkSession
val values = List(1,2,3,4,5)
val spark = SparkSession.builder().master("local").getOrCreate()
import spark.implicits._
val df = values.toDF()
Изменить: просто понял, что вы после 2d-списка. Вот что я попробовал на искровой оболочке. Я преобразовал 2-й список в список кортежей и использовал неявное преобразование в DataFrame:
val values = List(List("1", "One") ,List("2", "Two") ,List("3", "Three"),List("4","4")).map(x =>(x(0), x(1)))
import spark.implicits._
val df = values.toDF
Edit2: Первоначальный вопрос MTT состоял в том, как создать световой блок данных из списка scala для списка 2d, для которого это правильный ответ. Оригинальный вопрос: https://stackoverflow.com/revisions/38063195/1 Затем вопрос был изменен в соответствии с принятым ответом. Добавление этого редактирования так, что если кто-то ищет что-то похожее на исходный вопрос, он может его найти.
Самый простой подход:
val newList = yourList.map(Tuple1(_))
val df = spark.createDataFrame(newList).toDF("stuff")
В Spark 2 мы можем использовать DataSet путем простого преобразования списка в DS с помощью API-интерфейсов
val ds = list.flatMap(_.split(",")).toDS() // Records split by comma
или
val ds = list.toDS()
Это более удобно, чем rdd или df