Когда я должен использовать оператор: = в data.table?

Объекты

data.table теперь имеют оператор: =. Что делает этот оператор отличным от всех других операторов присваивания? Кроме того, каково его использование, насколько оно быстрее, и когда его следует избегать?

Ответы

Ответ 1

Вот пример, показывающий 10 минут, сокращенных до 1 секунды (из НОВОСТИ на странице ). Это как переназначение на data.frame, но не копирует всю таблицу каждый раз.

m = matrix(1,nrow=100000,ncol=100)
DF = as.data.frame(m)
DT = as.data.table(m)

system.time(for (i in 1:1000) DF[i,1] <- i)
     user  system elapsed 
  287.062 302.627 591.984 

system.time(for (i in 1:1000) DT[i,V1:=i])
     user  system elapsed 
    1.148   0.000   1.158     ( 511 times faster )

Ввод := в j, как это позволяет больше идиом:

DT["a",done:=TRUE]   # binary search for group 'a' and set a flag
DT[,newcol:=42]      # add a new column by reference (no copy of existing data)
DT[,col:=NULL]       # remove a column by reference

и:

DT[,newcol:=sum(v),by=group]  # like a fast transform() by group

Я не могу придумать никаких причин, чтобы избежать :=! Кроме, внутри цикла for. Поскольку := появляется внутри DT[...], он поставляется с небольшими накладными расходами метода [.data.table; например, S3 отправки и проверки наличия и типа аргументов, таких как i, by, nomatch и т.д. Итак, для внутренних циклов for существует небольшая служебная, прямая версия :=, называемая set. См. ?set для получения более подробной информации и примеров. Недостатки set включают в себя, что i должны быть номерами строк (без бинарного поиска), и вы не можете объединить его с by. Сделав эти ограничения set, можно значительно уменьшить накладные расходы.

system.time(for (i in 1:1000) set(DT,i,"V1",i))
     user  system elapsed 
    0.016   0.000   0.018