Предложения по ускорению случайных лесов

Ответ 1

В руководстве пакета foreach имеется раздел "Параллельные случайные леса" (Использование пакета foreach, раздел 5.1):

> library("foreach")
> library("doSNOW")
> registerDoSNOW(makeCluster(4, type="SOCK"))

> x <- matrix(runif(500), 100)
> y <- gl(2, 50)

> rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar%
+    randomForest(x, y, ntree = ntree)
> rf
Call:
randomForest(x = x, y = y, ntree = ntree)
Type of random forest: classification
Number of trees: 1000

Если мы хотим создать случайную модель леса с 1000 деревьями, а наш компьютер имеет четыре ядра, мы можем разделить проблему на четыре части, выполнив функцию randomForest четыре раза, с аргументом ntree, установленным в 250. Конечно, мы должны объединить полученные объекты randomForest, но randomForest пакет поставляется с функцией combine.

Ответ 2

Есть две опции "из коробки", которые решают эту проблему. Во-первых, пакет caret содержит метод parRF, который обрабатывает это элегантно. Я обычно использую это с 16 ядрами. Пакет randomShrubbery также использует преимущества нескольких ядер для RF на Revolution R.

Ответ 3

Почему бы вам не использовать уже параллельную и оптимизированную реализацию Random Forest? Посмотрите на SPRINT, используя MPI. http://www.r-sprint.org/

Ответ 4

Есть ли какая-то особая причина, почему вы не используете Python (а именно модули для чтения и многопроцессорности) для реализации этого? Используя joblib, я тренировал случайные леса на наборах данных такого же размера за долю времени, затрачиваемое на R. Даже без многопроцессорности, случайные леса значительно быстрее в Python. Вот краткий пример обучения RF-классификатора и перекрестной проверки в Python. Вы также можете легко извлечь функции и визуализировать деревья.

import numpy as np
from sklearn.metrics import *
from sklearn.cross_validation import StratifiedKFold
from sklearn.ensemble import RandomForestClassifier

#assuming that you have read in data with headers
#first column corresponds to response variable 
y = data[1:, 0].astype(np.float)
X = data[1:, 1:].astype(np.float)

cm = np.array([[0, 0], [0, 0]])
precision = np.array([])
accuracy = np.array([])
sensitivity = np.array([])
f1 = np.array([])
matthews = np.array([])

rf = RandomForestClassifier(n_estimators=100, max_features = 5, n_jobs = 2)

#divide dataset into 5 "folds", where classes are equally balanced in each fold
cv = StratifiedKFold(y, n_folds = 5)
for i, (train, test) in enumerate(cv):
        classes = rf.fit(X[train], y[train]).predict(X[test])
        precision = np.append(precision, (precision_score(y[test], classes)))
        accuracy = np.append(accuracy, (accuracy_score(y[test], classes)))
        sensitivity = np.append(sensitivity, (recall_score(y[test], classes)))
        f1 = np.append(f1, (f1_score(y[test], classes)))
        matthews = np.append(matthews, (matthews_corrcoef(y[test], classes)))
        cm = np.add(cm, (confusion_matrix(y[test], classes)))

print("Accuracy: %0.2f (+/- %0.2f)" % (accuracy.mean(), accuracy.std() * 2))
print("Precision: %0.2f (+/- %0.2f)" % (precision.mean(), precision.std() * 2))
print("Sensitivity: %0.2f (+/- %0.2f)" % (sensitivity.mean(), sensitivity.std() * 2))
print("F1: %0.2f (+/- %0.2f)" % (f1.mean(), f1.std() * 2))
print("Matthews: %0.2f (+/- %0.2f)" % (matthews.mean(), matthews.std() * 2))
print(cm)