Память эффективная альтернатива rbind - на месте rbind?

Ответ 1

Сейчас я разработал следующее решение:

nextrow = nrow(df)+1
df[nextrow:(nextrow+nrow(df.extension)-1),] = df.extension
# we need to assure unique row names
row.names(df) = 1:nrow(df)

Теперь у меня не хватает памяти. Я думаю, потому что я храню

object.size(df) + 2 * object.size(df.extension)

в то время как с rbind R потребуется

object.size(rbind(df,df.extension)) + object.size(df) + object.size(df.extension). 

После этого я использую

rm(df.extension)
gc(reset=TRUE)

чтобы освободить память, в которой я больше не нуждаюсь.

Это решило мою проблему на данный момент, но я чувствую, что есть более продвинутый способ сделать эффективную работу с памятью. Я ценю любые комментарии по этому решению.

Ответ 2

Прежде всего: используйте решение из другого вопроса, на который вы ссылаетесь, если хотите быть в безопасности. Поскольку R является по умолчанию, забудьте о методе "на месте", который не копирует ваши данные в памяти.

Один из небезобезопасных способов сэкономить немалую память - это притвориться, что ваши файлы данных являются списками, принуждение списка с помощью цикла for (применение будет использовать память, как ад), и заставить R полагать, что на самом деле это dataframe.

Я еще раз предупрежу: использование этого на более сложных фреймах данных требует проблем и труднодоступных ошибок. Поэтому убедитесь, что вы достаточно хорошо проверите, и, если возможно, избегайте этого как можно больше.

Вы можете попробовать следующий подход:

n1 <- 1000000
n2 <- 1000000
ncols <- 20
dtf1 <- as.data.frame(matrix(sample(n1*ncols), n1, ncols))
dtf2 <- as.data.frame(matrix(sample(n2*ncols), n1, ncols))

dtf <- list()

for(i in names(dtf1)){
  dtf[[i]] <- c(dtf1[[i]],dtf2[[i]])
}

attr(dtf,"row.names") <- 1:(n1+n2)
attr(dtf,"class") <- "data.frame"

Он удаляет имена ростов, которые вы на самом деле имели (вы можете их восстановить, но проверьте наличие повторяющихся типов ростов!). Он также не выполняет все другие тесты, включенные в rbind.

Сохраняет половину памяти в моих тестах, и в моем тесте оба dtfcomb и dtf равны. Красный прямоугольник - rbind, желтый - мой подход на основе списка.

Тест script:

n1 <- 3000000
n2 <- 3000000
ncols <- 20

dtf1 <- as.data.frame(matrix(sample(n1*ncols), n1, ncols))
dtf2 <- as.data.frame(matrix(sample(n2*ncols), n1, ncols))

gc()
Sys.sleep(10)
dtfcomb <- rbind(dtf1,dtf2)
Sys.sleep(10)
gc()
Sys.sleep(10)
rm(dtfcomb)
gc()
Sys.sleep(10)
dtf <- list()
for(i in names(dtf1)){
  dtf[[i]] <- c(dtf1[[i]],dtf2[[i]])
}
attr(dtf,"row.names") <- 1:(n1+n2)
attr(dtf,"class") <- "data.frame"
Sys.sleep(10)
gc()
Sys.sleep(10)
rm(dtf)
gc()

Ответ 3

data.table - ваш друг!

C.f. http://www.mail-archive.com/[email protected]/msg175877.html

Следуя комментарию nikola, вот описание ?rbindlist (новое в v1.8.2):

То же, что и do.call("rbind",l), но гораздо быстрее.

Ответ 4

Это идеальный кандидат для bigmemory. Для получения дополнительной информации см. сайт. Вот три аспекта использования:

• Хорошо использовать HD: отображение памяти на HD намного быстрее, чем практически любой другой доступ, поэтому вы можете не видеть замедление. Время от времени я полагаюсь нa > 1 ТБ матриц с отображением памяти, хотя большинство из них составляет от 6 до 50 ГБ. Более того, поскольку объект является матрицей, для использования этого объекта не требуется никаких реальных накладных расходов на переписывание кода.
• Если вы используете матрицу с файловой поддержкой или нет, вы можете использовать separated = TRUE для разделения столбцов. Я не использовал это много, из-за моего третьего совета:
• Вы можете перераспределить пространство HD, чтобы обеспечить больший размер потенциальной матрицы, но загружать только подматрицу, представляющую интерес. Таким образом, не нужно делать rbind.

Примечание. Хотя исходный вопрос, посвященный кадры данных и bigmemory, подходит для матриц, можно легко создать разные матрицы для разных типов данных, а затем объединить объекты в ОЗУ, чтобы создать фрейм данных, если это действительно необходимо.