Использование Rcpp в параллельном коде через снег для создания кластера

Я написал функцию в Rcpp и скомпилировал ее с помощью inline. Теперь я хочу запустить его параллельно на разных ядрах, но я получаю странную ошибку. Здесь минимальный пример, где функция funCPP1 может быть скомпилирована и хорошо работает сама по себе, но не может быть вызвана функцией snow clusterCall. Функция работает хорошо как один процесс, но дает следующую ошибку при параллельном запуске:

Error in checkForRemoteErrors(lapply(cl, recvResult)) : 
  2 nodes produced errors; first error: NULL value passed as symbol address

И вот какой код:

## Load and compile
library(inline)
library(Rcpp)
library(snow)
src1 <- '
     Rcpp::NumericMatrix xbem(xbe);
     int nrows = xbem.nrow();
     Rcpp::NumericVector gv(g);
     for (int i = 1; i < nrows; i++) {
      xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
     }
     return xbem;
'
funCPP1 <- cxxfunction(signature(xbe = "numeric", g="numeric"),body = src1, plugin="Rcpp")

## Single process
A <- matrix(rnorm(400), 20,20)
funCPP1(A, 0.5)

## Parallel
cl <- makeCluster(2, type = "SOCK") 
clusterExport(cl, 'funCPP1') 
clusterCall(cl, funCPP1, A, 0.5)

Ответы

Ответ 1

Подумайте об этом - что делает inline? Он создает для вас функцию C/С++, затем компилирует и связывает ее с динамически загружаемой общей библиотекой. Где он сидит? В каталоге R temp.

Итак, вы попробовали правильную вещь, отправив R-интерфейс, который вызвал эту общую библиотеку другому процессу (у которого есть другой каталог temp!), но он не получает файл dll/so.

Следовательно, совет должен создать локальный пакет, установить его и загрузить как снежные процессы, так и вызвать его.

(И как всегда: более качественные ответы могут быть получены в списке rcpp-devel, который читается больше конструкторами Rcpp, чем SO.)

Ответ 2

Старый вопрос, но я наткнулся на него, просматривая верхние теги Rcpp, поэтому, возможно, этот ответ будет полезен.

Я думаю, что ответ Dirk правилен, когда написанный вами код полностью отключен и делает то, что вы хотите, но это может быть проблемой для написания нового пакета, такого как небольшой фрагмент кода, как в примере. Вместо этого вы можете экспортировать блок кода, экспортировать "вспомогательную" функцию, которая компилирует исходный код и запускает помощник. Это сделает функцию CXX доступной, а затем воспользуемся другой вспомогательной функцией для ее вызова. Например:

# Snow must still be installed, but this functionality is now in "parallel" which ships with base r.
library(parallel)

# Keep your source as an object
src1 <- '
     Rcpp::NumericMatrix xbem(xbe);
     int nrows = xbem.nrow();
     Rcpp::NumericVector gv(g);
     for (int i = 1; i < nrows; i++) {
      xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
     }
     return xbem;
'
# Save the signature
sig <- signature(xbe = "numeric", g="numeric")

# make a function that compiles the source, then assigns the compiled function 
# to the global environment
c.inline <- function(name, sig, src){
    library(Rcpp)
    funCXX <- inline::cxxfunction(sig = sig, body = src, plugin="Rcpp")
    assign(name, funCXX, envir=.GlobalEnv)
}
# and the function which retrieves and calls this newly-compiled function 
c.namecall <- function(name,...){
    funCXX <- get(name)
    funCXX(...)
}

# Keep your example matrix
A <- matrix(rnorm(400), 20,20)

# What are we calling the compiled funciton?
fxname <- "TestCXX"

## Parallel
cl <- makeCluster(2, type = "PSOCK") 

# Export all the pieces
clusterExport(cl, c("src1","c.inline","A","fxname")) 

# Call the compiler function
clusterCall(cl, c.inline, name=fxname, sig=sig, src=src1)

# Notice how the function now named "TestCXX" is available in the environment
# of every node?
clusterCall(cl, ls, envir=.GlobalEnv)

# Call the function through our wrapper
clusterCall(cl, c.namecall, name=fxname, A, 0.5)
# Works with my testing

Я написал пакет ctools (бесстыдная самореклама), которая завершает много функциональность, которая находится в параллельных и Rhpc-пакетах для кластерных вычислений, как с PSOCK, так и с MPI. У меня уже есть функция под названием "c.sourceCpp", которая вызывает "Rcpp:: sourceCpp" на каждом node почти так же, как описано выше. Я собираюсь добавить в "c.inlineCpp", который делает выше, теперь, когда я вижу его полезность.

Изменить:

В свете комментариев Coatless, Rcpp::cppFunction() фактически отрицает необходимость помощника c.inline здесь, хотя c.namecall по-прежнему необходим.

src2 <- '
 NumericMatrix TestCpp(NumericMatrix xbe, int g){
        NumericMatrix xbem(xbe);
        int nrows = xbem.nrow();
        NumericVector gv(g);
        for (int i = 1; i < nrows; i++) {
            xbem(i,_) = xbem(i-1,_) * gv[0] + xbem(i,_);
        }
        return xbem;
 }
'

clusterCall(cl, Rcpp::cppFunction, code=src2, env=.GlobalEnv)

# Call the function through our wrapper
clusterCall(cl, c.namecall, name="TestCpp", A, 0.5)

Ответ 3

Я решил это путем поиска на каждом узле кластера кластера файла R с нужной встроенной функцией C:

clusterEvalQ(cl, 
    {
     library(inline)
     invisible(source("your_C_func.R"))
    })

И ваш файл your_C_func.R должен содержать определение функции C:

c_func <- cfunction(...)