Кросс-корреляция (временная корреляция) с пандами?

У меня есть различные временные ряды, которые я хочу скоррелировать, точнее, перекрестно коррелировать друг с другом, чтобы узнать, в какое время отстает коэффициент корреляции, самый большой.

Я нашел различные вопросы и ответы/ссылки, в которых обсуждалось, как это сделать с помощью numpy, но это будет означать, что я должен превратить свои dataframes в массивы numpy. И поскольку мои временные ряды часто охватывают разные периоды, я боюсь, что столкнусь с хаосом.

Проблема, которую я испытываю при использовании всех методов numpy/scipy, заключается в том, что они, как представляется, не знают о природе моих данных. Когда я сопоставляю временные ряды, начинающиеся с 1940 года, начиная с 1970 года, pandas corr знает об этом, тогда как np.correlate просто производит 1020 записей (длина более длинной серии), полный nan.

Различные Q по этому вопросу указывают на то, что должен быть способ решить проблему с разной длиной, но до сих пор я не видел никаких указаний о том, как использовать его для определенных периодов времени. Мне просто нужно сдвинуться на 12 месяцев с шагом 1, чтобы увидеть время максимальной корреляции в течение одного года.

Из-за различных этапов обработки эти dfs превращаются в df, индексированные с 1940 по 2015 год. Это должно воспроизвести это:

Это то, что я получаю, когда я коррелирую с пандами и переношу один набор данных:

Идея, которую я придумал, заключается в том, чтобы реализовать корреляцию времени-времени, например:

Но это, вероятно, медленно, и я, вероятно, пытаюсь изобрести колесо здесь. Редактировать Этот подход, похоже, работает, и я поставил его в цикл, чтобы пройти через все 12 месяцев в году, но я все же предпочел бы встроенный метод.

Ответы

Ответ 1

Насколько я могу судить, нет встроенного метода, который делает именно то, что вы просите. Но если вы посмотрите на исходный код для метода панды серии autocorr, вы можете увидеть, что у вас есть правильная идея:

def autocorr(self, lag=1):
    """
    Lag-N autocorrelation

    Parameters
    ----------
    lag : int, default 1
        Number of lags to apply before performing autocorrelation.

    Returns
    -------
    autocorr : float
    """
    return self.corr(self.shift(lag))

Таким образом, простая функция кросс-ковариации с временной привязкой будет

def crosscorr(datax, datay, lag=0):
    """ Lag-N cross correlation. 
    Parameters
    ----------
    lag : int, default 0
    datax, datay : pandas.Series objects of equal length

    Returns
    ----------
    crosscorr : float
    """
    return datax.corr(datay.shift(lag))

Затем, если вы хотели посмотреть на кросс-корреляции в каждый месяц, вы могли бы сделать

 xcov_monthly = [crosscorr(datax, datay, lag=i) for i in range(12)]

Ответ 2

Существует более эффективный подход: вы можете создать функцию, которая сначала переместила ваш фреймворк, прежде чем вызывать corr().

Получить этот файл данных как пример:

d = {'prcp': [0.1,0.2,0.3,0.0], 'stp': [0.0,0.1,0.2,0.3]}
df = pd.DataFrame(data=d)

>>> df
   prcp  stp
0   0.1  0.0
1   0.2  0.1
2   0.3  0.2
3   0.0  0.3

Ваша функция сдвинуть другие столбцы (кроме цели):

def df_shifted(df, target=None, lag=0):
    if not lag and not target:
        return df       
    new = {}
    for c in df.columns:
        if c == target:
            new[c] = df[target]
        else:
            new[c] = df[c].shift(periods=lag)
    return  pd.DataFrame(data=new)

Предположим, что ваша цель сравнивает prcp (переменная осадка) с stp (атмосферное давление)

Если вы в настоящее время будете:

>>> df.corr()
      prcp  stp
prcp   1.0 -0.2
stp   -0.2  1.0

Но если вы переместили 1 (один) период на все остальные столбцы и сохранили цель (prcp):

df_new = df_shifted(df, 'prcp', lag=-1)

>>> print df_new
   prcp  stp
0   0.1  0.1
1   0.2  0.2
2   0.3  0.3
3   0.0  NaN

Обратите внимание, что теперь столбец stp сдвигается на одну позицию вверх в период, поэтому, если вы вызываете corr(), будет:

>>> df_new.corr()
      prcp  stp
prcp   1.0  1.0
stp    1.0  1.0

Итак, вы можете сделать с задержкой -1, -2, -n !!

Ответ 3

Чтобы развить ответ Андре - если вы заботитесь только о (отстающей) корреляции с целью, но хотите проверить различные лаги (например, чтобы увидеть, какая из задержек дает самые высокие корреляции), вы можете сделать что-то вроде этого:

lagged_correlation = pd.DataFrame.from_dict(
    {x: [df[target].corr(df[x].shift(-t)) for t in range(max_lag)] for x in df.columns})

Таким образом, каждая строка соответствует разному значению задержки, а каждый столбец соответствует своей переменной (один из них является самой целью, дающей автокорреляцию).