Как использовать несколько условий с помощью pyspark.sql.funtions.when()?

У меня есть dataframe с несколькими столбцами. Теперь я хочу получить новый столбец из двух других столбцов:

from pyspark.sql import functions as F
new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0 & df["col-2"] > 0.0, 1).otherwise(0))

С этим я получаю только исключение:

py4j.Py4JException: Method and([class java.lang.Double]) does not exist

Он работает только с одним из таких условий:

new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0, 1).otherwise(0))

Кто-нибудь знает, чтобы использовать несколько условий?

Я использую Spark 1.4.

Ответы

Ответ 1

Используйте скобки, чтобы обеспечить желаемый приоритет оператора:

F.when( (df["col-1"]>0.0) & (df["col-2"]>0.0), 1).otherwise(0)

Ответ 2

вы также можете использовать from pyspark.sql.functions import col F.when(col("col-1")>0.0) & (col("col-2")>0.0), 1).otherwise(0)

Ответ 3

когда в искре можно использовать с && и || оператор для построения нескольких условий

val dataDF = Seq(
      (66, "a", "4"), (67, "a", "0"), (70, "b", "4"), (71, "d", "4"
      )).toDF("id", "code", "amt")
dataDF.withColumn("new_column",
       when(col("code") === "a" || col("code") === "d", "A")
      .when(col("code") === "b" && col("amt") === "4", "B")
      .otherwise("A1"))
      .show()

Выход:

+---+----+---+----------+
| id|code|amt|new_column|
+---+----+---+----------+
| 66|   a|  4|         A|
| 67|   a|  0|         A|
| 70|   b|  4|         B|
| 71|   d|  4|         A|
+---+----+---+----------+