Pandas за пределами наносекундной метки времени после смещения rollforward плюс добавление смещения в месяц

Я запутался, как pandas вырвался за пределы для объектов datetime с этими строками:

import pandas as pd
BOMoffset = pd.tseries.offsets.MonthBegin()
# here some code sets the all_treatments dataframe and the newrowix, micolix, mocolix counters
all_treatments.iloc[newrowix,micolix] = BOMoffset.rollforward(all_treatments.iloc[i,micolix] + pd.tseries.offsets.DateOffset(months = x))
all_treatments.iloc[newrowix,mocolix] = BOMoffset.rollforward(all_treatments.iloc[newrowix,micolix]+ pd.tseries.offsets.DateOffset(months = 1))

Здесь all_treatments.iloc[i,micolix] - это datetime, установленное pd.to_datetime(all_treatments['INDATUMA'], errors='coerce',format='%Y%m%d'), а INDATUMA - это дата в формате 20070125.

Эта логика, похоже, работает с макетными данными (никаких ошибок, дат не имеет смысла), поэтому на данный момент я не могу воспроизвести, пока он не сработает во всех моих данных со следующей ошибкой:

pandas.tslib.OutOfBoundsDatetime: Out of bounds nanosecond timestamp: 2262-05-01 00:00:00

Ответы

Ответ 1

Поскольку pandas представляет временные метки в разрешении наносекунд, время, которое может быть представлено с использованием 64-битного целого, ограничено примерно 584 годами

pd.Timestamp.min
Out[54]: Timestamp('1677-09-22 00:12:43.145225')

In [55]: pd.Timestamp.max
Out[55]: Timestamp('2262-04-11 23:47:16.854775807')

И ваше значение вне этого диапазона 2262-05-01 00:00:00 и, следовательно, ошибка outofbounds

Прямо из: http://pandas-docs.github.io/pandas-docs-travis/timeseries.html#timestamp-limitations

Ответ 2

Установка параметра errors в pd.to_datetime - 'coerce' приводит к замене значений вне границ на NaT. Цитирование docs:

Если "принуждение", то неверный синтаксический анализ будет установлен как NaT

например:.

datetime_variable = pd.to_datetime(datetime_variable, errors = 'coerce')

Это не фиксирует данные (очевидно), но все же позволяет обрабатывать точки данных, отличные от NaT.