Как показать полное содержимое столбца в фреймворке Spark?

Я использую spark-csv для загрузки данных в DataFrame. Я хочу сделать простой запрос и отобразить содержимое:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv")
df.registerTempTable("tasks")
results = sqlContext.sql("select col from tasks");
results.show()

Колл кажется усеченным:

scala> results.show();
+--------------------+
|                 col|
+--------------------+
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:15:...|
|2015-11-06 07:15:...|
|2015-11-16 07:15:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
|2015-11-16 07:21:...|
+--------------------+

Как показать полное содержимое столбца?

Ответы

Ответ 1

results.show(20, false) не будет усекаться. Проверьте источник

Ответ 2

Если вы поставите results.show(false), результаты не будут усечены

Ответ 3

Другие решения хороши. Если это ваши цели:

Нет усечения столбцов,
Без потери строк,
Быстро и
эффективное

Эти две строки полезны...

    df.persist
    df.show(df.count, false) // in Scala or 'False' in Python

Благодаря сохранению 2 действия исполнителя - подсчет и отображение - выполняются быстрее и эффективнее при использовании persist или cache для поддержки временной структуры данных в исполнителях. Смотрите больше о сохранении и кеше.

Ответ 4

Ниже код поможет просмотреть все строки без усечения в каждом столбце

df.show(df.count(), False)

Ответ 5

results.show(20, False) или results.show(20, False) в зависимости от того, запускаете ли вы его на Java/ Scala/Python

Ответ 6

results.show(false) покажет вам все содержимое столбца.

Покажите метод по умолчанию, ограничивающий до 20, и добавление числа перед false покажет больше строк.

Ответ 7

попробуйте выполнить эту команду:

df.show(df.count())

Ответ 8

results.show(20,false) помог мне в Scala.

Ответ 9

Внутри Databricks вы можете визуализировать фрейм данных в табличном формате. С помощью команды:

display(results)

Это будет выглядеть

Ответ 10

Я использую плагин, расширение Chrome работает довольно хорошо:

[ https://userstyles.org/styles/157357/jupyter-notebook-wide][1]

Ответ 11

У меня был тот же запрос, и я просмотрел много материалов, доступных в Интернете, и обнаружил кое-что интересное, которое убирает все сомнения. Так что я подумал поделиться с вами, ребята, также. Попробуйте этот код, он работает:

results.show(results.count.toInt)

Ответ 12

Попробуйте следующее: df.show(some no) будет работать, но df.show(df.count()) не будет работать. df.count дает тип вывода long, который не принимается df.show(), поскольку он принимает целочисленный тип.