Получить более 20 строк и отобразить полное значение столбца в искровой оболочке

Я использую CassandraSQLContext из spark-shell для запроса данных от Cassandra. Итак, я хочу знать две вещи: как извлечь более 20 строк с помощью CassandraSQLContext а во-вторых, как Id отображает полное значение столбца. Как вы можете видеть ниже, по умолчанию он добавляет точки в строковые значения.

Код:

val csc = new CassandraSQLContext(sc)
csc.setKeyspace("KeySpace")
val maxDF = csc.sql("SQL_QUERY" )
maxDF.show

Выход:

+--------------------+--------------------+-----------------+--------------------+
|                  id|               Col2|              Col3|                Col4| 
+--------------------+--------------------+-----------------+--------------------+
|8wzloRMrGpf8Q3bbk...|             Value1|                 X|                  K1|
|AxRfoHDjV1Fk18OqS...|             Value2|                 Y|                  K2|
|FpMVRlaHsEOcHyDgy...|             Value3|                 Z|                  K3|
|HERt8eFLRtKkiZndy...|             Value4|                 U|                  K4|
|nWOcbbbm8ZOjUSNfY...|             Value5|                 V|                  K5|

Ответы

Ответ 1

Если вы хотите напечатать все значение столбца в scala, вам просто нужно установить усечение аргумента из метода show в false:

maxDf.show(false)

и если вы хотите показать более 20 строк:

// example showing 30 columns of 
// maxDf untruncated
maxDf.show(30, false)

Для pyspark вам нужно указать имя аргумента:

maxDF.show(truncate = False)

Ответ 2

Вы не получите красивую табличную форму, вместо этого она будет преобразована в объект scala.

maxDF.take(50)