Ошибка в интеграции теста Apache Spark Streaming

Ответ 1

Взгляд на исходный код SparkContext, строка, вызывающая ваше исключение, при попытке получить текущее имя пользователя. В версии 1.2 был резервный по умолчанию SparkContext.SPARK_UNKNOWN_USER, и он не требовал корректного входа в систему:

 // Set SPARK_USER for user who is running SparkContext.
 val sparkUser = Option {
     Option(System.getenv("SPARK_USER")).getOrElse(System.getProperty("user.name"))
  }.getOrElse {
      SparkContext.SPARK_UNKNOWN_USER
  }

Этот код, представленный в версии 1.3, теперь не имеет пользователя по умолчанию, поэтому вы не получите эту ошибку с более ранними версиями:

// Set SPARK_USER for user who is running SparkContext.
val sparkUser = Utils.getCurrentUserName()

Это вызывает следующий код в Utils:

/**
   * Returns the current user name. This is the currently logged in user, unless that been
   * overridden by the `SPARK_USER` environment variable.
   */
  def getCurrentUserName(): String = {
    Option(System.getenv("SPARK_USER"))
      .getOrElse(UserGroupInformation.getCurrentUser().getShortUserName())
  }

Если вы установите переменную окружения SPARK_USER, вы должны иметь возможность предотвратить ветвление в UserGroupInformation, что приведет к вашему исключению.

UserGroupInformation - это класс безопасности Hadoop, и похоже, что использование PowerMock препятствует правильной работе.