Проработав долгое время, как установить SparkR, я думаю, что могут возникнуть проблемы с пакетом...
Пожалуйста, имейте в виду, что я очень новичок в искру, поэтому не уверен, что я сделал правильную вещь или нет.
Из нового 64-битного экземпляра EC2 ubuntu я установил R и JDK
I git клонировал искровое репо apache и построил его с помощью
git clone https://github.com/apache/spark.git
cd spark
build/mvn -DskipTests -Psparkr package
Затем я изменил свой .Rprofile на ссылку на каталог R, включив следующие строки....
Sys.setenv(SPARK_HOME="/home/ubuntu/spark")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
Затем, после запуска R, я попытаюсь выполнить краткое руководство по началу работы, данное здесь
Ниже приведены следующие шаги, которые я предпринял...
R> library(SparkR)
R> sc <- sparkR.init(master="local")
R> textFile <- SparkR:::textFile(sc, "/home/ubuntu/spark/README.md")
R> cc <- SparkR:::count(textFile)
R> t10 <- SparkR:::take(textFile,10)
Все работает нормально до сих пор... нижние строки не работают...
R> SparkR:::filterRDD(textFile, function(line){ grepl("Spark", line)})
Error: class(objId) == "jobj" is not TRUE
R> traceback()
7: stop(sprintf(ngettext(length(r), "%s is not TRUE", "%s are not all TRUE"),
ch), call. = FALSE, domain = NA)
6: stopifnot(class(objId) == "jobj")
5: callJMethod([email protected], "toString")
4: paste(callJMethod([email protected], "toString"), "\n", sep = "")
3: cat(paste(callJMethod([email protected], "toString"), "\n", sep = ""))
2: function (object)
standardGeneric("show")(x)
1: function (object)
standardGeneric("show")(x)
Другой пример, который не работает, приведен ниже.
R> SparkR:::flatMap(textFile,
function(line) {
strsplit(line, " ")[[1]]
})
Error: class(objId) == "jobj" is not TRUE
Ниже представлена моя информация о сеансе...
R> > sessionInfo()
R version 3.2.0 (2015-04-16)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 14.04.2 LTS
locale:
[1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C
[3] LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8
[5] LC_MONETARY=en_US.UTF-8 LC_MESSAGES=en_US.UTF-8
[7] LC_PAPER=en_US.UTF-8 LC_NAME=C
[9] LC_ADDRESS=C LC_TELEPHONE=C
[11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] SparkR_1.4.0
Любая помощь здесь будет очень признательна....
Так что это на самом деле ошибка в методе show RDD в SparkR, и я документировал это на https://issues.apache.org/jira/browse/SPARK-7512
Однако эта ошибка не должна влиять на ваши вычисления каким-либо образом. Поэтому, если вы вместо этого использовали
filteredRDD <- SparkR:::filterRDD(textFile, function(line){ grepl("Spark", line)})
тогда сообщение об ошибке должно исчезнуть