Согласование временных данных в ближайшее время в другом наборе данных. Правильно векторизован? Быстрее?

У меня есть метка времени в одном фрейме данных, который я пытаюсь сопоставить с ближайшей меткой времени во втором фрейме данных, с целью извлечения данных из второго блока данных. Ниже приведен общий пример моего подхода:

library(lubridate)

data <- data.frame(datetime=ymd_hms(c('2015-04-01 12:23:00 UTC', '2015-04-01 13:49:00 UTC', '2015-04-01 14:06:00 UTC' ,'2015-04-01 14:49:00 UTC')),
                   value=c(1,2,3,4))
reference <- data.frame(datetime=ymd_hms(c('2015-04-01 12:00:00 UTC', '2015-04-01 13:00:00 UTC', '2015-04-01 14:00:00 UTC' ,'2015-04-01 15:00:00 UTC', '2015-04-01 16:00:00 UTC')),
                        refvalue=c(5,6,7,8,9))

data$refvalue <- apply(data, 1, function (x){
  differences <- abs(as.numeric(difftime(ymd_hms(x['datetime']), reference$datetime)))
  mindiff <- min(differences)
  return(reference$refvalue[differences == mindiff])
})

data
#              datetime value refvalue
# 1 2015-04-01 12:23:00     1        5
# 2 2015-04-01 13:49:00     2        7
# 3 2015-04-01 14:06:00     3        7
# 4 2015-04-01 14:49:00     4        8

Это отлично работает, за исключением очень медленного, потому что эталонный фреймворк довольно большой в моем реальном приложении. Является ли этот код правильно векторизованным? Есть ли более быстрый и элегантный способ выполнения этой операции?

Ответы

Ответ 1

Я задавался вопросом, сможет ли это соответствовать решению data.table для скорости, но это векторное решение base-R, которое должно превзойти вашу версию apply. И поскольку на самом деле он никогда не вычисляет расстояние, это может быть быстрее, чем приближение данных. Это добавляет длину средних точек интервалов либо к наименьшему возможному значению, либо к начальной точке интервалов для создания набора "средних разрывов", а затем использует функцию findInterval для обработки времени. Это создает подходящий индекс в строках набора данных reference, а "refvalue" может быть "перенесен" в data -объект.

 data$reefvalue <- reference$refvalue[
                      findInterval( data$datetime, 
                                     c(-Inf, head(reference$datetime,-1))+
                                     c(0, diff(as.numeric(reference$datetime))/2 )) ]
 # values are [1] 5 7 7 8

Ответ 2

Вы можете попробовать скользящее соединение data.table, используя "ближайший" вариант

library(data.table) # v1.9.6+
setDT(reference)[data, refvalue, roll = "nearest", on = "datetime"]
# [1] 5 7 7 8