Spark: какие опции могут быть переданы с помощью DataFrame.saveAsTable или DataFrameWriter.options?

Ни разработчик, ни документация API не содержат ссылок на какие опции могут быть переданы в DataFrame.saveAsTable или DataFrameWriter.options, и это повлияет на сохранение таблицы Hive.

Я надеюсь, что в ответах на этот вопрос мы сможем собрать информацию, которая была бы полезной для разработчиков Spark, которые хотят больше контролировать, как Spark сохраняет таблицы и, возможно, создает основу для улучшения документации Spark.

Ответы

Ответ 1

saveAsTable (String tableName)

Сохраняет содержимое DataFrame как указанную таблицу.

К вашему сведению → https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/DataFrameWriter.html

Ответ 2

Я считаю, что это то, что вы ищете: https://github.com/databricks/spark-csv

Ответ 3

Разница между версиями.

У нас есть следующее в spark2:

createOrReplaceTempView()
createTempView()
createOrReplaceGlobalTempView()
createGlobalView()

saveAsTable is deprecated in spark 2.

В основном они делятся в зависимости от наличия таблицы. Пожалуйста, обратитесь к ссылке