Может ли pandas автоматически распознавать даты?

Ответ 1

Вы должны добавить parse_dates=True или parse_dates=['column name'] при чтении, что обычно достаточно, чтобы магически разобрать его. Но всегда есть странные форматы, которые нужно определить вручную. В этом случае вы также можете добавить функцию парсера даты, что является наиболее гибким способом.

Предположим, что у вас есть столбец "datetime" с вашей строкой, а затем:

dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(infile, parse_dates=['datetime'], date_parser=dateparse)

Таким образом, вы можете объединить несколько столбцов в один столбец datetime, это объединяет столбец "дата" и "время" в один столбец "datetime":

dateparse = lambda x: pd.datetime.strptime(x, '%Y-%m-%d %H:%M:%S')

df = pd.read_csv(infile, parse_dates={'datetime': ['date', 'time']}, date_parser=dateparse)

Вы можете найти директивы (то есть буквы, которые будут использоваться для разных форматов) для strptime и strftime на этой странице.

Ответ 2

Возможно, интерфейс pandas изменился с тех пор, как ответил @Rutger, но в версии, которую я использую (0.15.2), функция date_parser получает список дат вместо одного значения. В этом случае его код должен быть обновлен следующим образом:

dateparse = lambda dates: [pd.datetime.strptime(d, '%Y-%m-%d %H:%M:%S') for d in dates]

df = pd.read_csv(infile, parse_dates=['datetime'], date_parser=dateparse)

Ответ 3

pandas Метод read_csv отлично подходит для парсинга дат. Полная документация на http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html

вы можете даже иметь разные части даты в разных столбцах и передать параметр:

parse_dates : boolean, list of ints or names, list of lists, or dict
If True -> try parsing the index. If [1, 2, 3] -> try parsing columns 1, 2, 3 each as a
separate date column. If [[1, 3]] -> combine columns 1 and 3 and parse as a single date
column. {‘foo’ : [1, 3]} -> parse columns 1, 3 as date and call result ‘foo’

По умолчанию чувствительность дат отлично работает, но, похоже, она предвзято относится к форматам даты в северной Америке. Если вы живете в другом месте, вы иногда можете быть пойманы результатами. Насколько я помню, 1/6/2000 означает 6 января в США, а не 1 июня, где я живу. Он достаточно умен, чтобы качать их, если используются даты, такие как 23/6/2000. Вероятно, безопаснее оставаться с вариантами даты YYYYMMDD. Извиняюсь перед разработчиками pandas, но я недавно не тестировал его с локальными датами.

вы можете использовать параметр date_parser для передачи функции для преобразования вашего формата.

date_parser : function
Function to use for converting a sequence of string columns to an array of datetime
instances. The default uses dateutil.parser.parser to do the conversion.

Ответ 4

При объединении двух столбцов в один столбец datetime принятый ответ генерирует ошибку (pandas версия 0.20.3), так как столбцы отправляются отдельно для функции date_parser.

Следующие работы:

def dateparse(d,t):
    dt = d + " " + t
    return pd.datetime.strptime(dt, '%d/%m/%Y %H:%M:%S')

df = pd.read_csv(infile, parse_dates={'datetime': ['date', 'time']}, date_parser=dateparse)

Ответ 5

Да - согласно документации pandas.read_csv:

Примечание. Для дат в формате iso8601 существует быстрый путь.

Поэтому, если ваш csv имеет столбец с именем datetime и даты выглядят как 2013-01-01T01:01 например, запуск этого будет делать pandas (я на v0.19.2) автоматически выбирает дату и время:

df = pd.read_csv('test.csv', parse_dates=['datetime'])

Обратите внимание, что вам нужно явно передать parse_dates, без работы.

Проверить с помощью:

df.dtypes

Вы должны увидеть, что тип данных столбца равен datetime64[ns]

Ответ 6

Вы можете использовать pandas.to_datetime(), как рекомендовано в документации для pandas.read_csv():

Если столбец или индекс содержит неразборчивую дату, весь столбец или индекс будет возвращен неизменным как тип данных объекта. За нестандартный разбор даты и времени, используйте pd.to_datetime после pd.read_csv.

Демонстрация:

>>> D = {'date': '2013-6-4'}
>>> df = pd.DataFrame(D, index=[0])
>>> df
       date
0  2013-6-4
>>> df.dtypes
date    object
dtype: object
>>> df['date'] = pd.to_datetime(df.date, format='%Y-%m-%d')
>>> df
        date
0 2013-06-04
>>> df.dtypes
date    datetime64[ns]
dtype: object

Ответ 7

Если производительность имеет значение для вас, убедитесь, что вы время:

import sys
import timeit
import pandas as pd

print('Python %s on %s' % (sys.version, sys.platform))
print('Pandas version %s' % pd.__version__)

repeat = 3
numbers = 100

def time(statement, _setup=None):
    print (min(
        timeit.Timer(statement, setup=_setup or setup).repeat(
            repeat, numbers)))

print("Format %m/%d/%y")
setup = """import pandas as pd
import io

data = io.StringIO('''\
ProductCode,Date
''' + '''\
x1,07/29/15
x2,07/29/15
x3,07/29/15
x4,07/30/15
x5,07/29/15
x6,07/29/15
x7,07/29/15
y7,08/05/15
x8,08/05/15
z3,08/05/15
''' * 100)"""

time('pd.read_csv(data); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"]); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'infer_datetime_format=True); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'date_parser=lambda x: pd.datetime.strptime(x, "%m/%d/%y")); data.seek(0)')

print("Format %Y-%m-%d %H:%M:%S")
setup = """import pandas as pd
import io

data = io.StringIO('''\
ProductCode,Date
''' + '''\
x1,2016-10-15 00:00:43
x2,2016-10-15 00:00:56
x3,2016-10-15 00:00:56
x4,2016-10-15 00:00:12
x5,2016-10-15 00:00:34
x6,2016-10-15 00:00:55
x7,2016-10-15 00:00:06
y7,2016-10-15 00:00:01
x8,2016-10-15 00:00:00
z3,2016-10-15 00:00:02
''' * 1000)"""

time('pd.read_csv(data); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"]); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'infer_datetime_format=True); data.seek(0)')
time('pd.read_csv(data, parse_dates=["Date"],'
     'date_parser=lambda x: pd.datetime.strptime(x, "%Y-%m-%d %H:%M:%S")); data.seek(0)')

печатает:

Python 3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 03:13:28) 
[Clang 6.0 (clang-600.0.57)] on darwin
Pandas version 0.23.4
Format %m/%d/%y
0.19123052499999993
8.20691274
8.143124389
1.2384357139999977
Format %Y-%m-%d %H:%M:%S
0.5238807110000039
0.9202787830000005
0.9832778819999959
12.002349824999996

Таким образом, с датой в формате iso8601 (%Y-%m-%d %H:%M:%S по-видимому, является датой в формате iso8601, я думаю, что T можно удалить и заменить пробелом), вы не должны указывать infer_datetime_format (что не имеет никакого отношения к более распространенным или, по-видимому,) и прохождение вашего собственного анализатора только в качестве производительности калеки. С другой стороны, date_parser действительно имеет значение с нестандартными форматами дня. Будьте уверены, чтобы время, прежде чем вы оптимизировали, как обычно.

Ответ 8

df = pd.read_csv ( "/home/manoj/Desktop/train_aWnotuB.csv", parse_dates = ['DateTime'])

Функции = список (map (lambda x: [x.hour, x.day, x.weekday(), x.month, x.year], df ['DateTime']))

Ответ 9

Во время загрузки CSV файла содержит столбец даты. У нас есть два подхода к столбец распознавания даты, т.е.

1. Панды явно распознают формат по arg date_parser=mydateparser

2. Панды неявно распознают формат по agr infer_datetime_format=True

Некоторые данные столбца даты

01/01/18

01/02/18

Здесь мы не знаем первых двух вещей. Это может быть месяц или день. Так что в этом случае мы должны использовать Способ 1: - Явная передача в формате

    mydateparser = lambda x: pd.datetime.strptime(x, "%m/%d/%y")
    df = pd.read_csv(file_name, parse_dates=['date_col_name'],
date_parser=mydateparser)

Метод 2: - неявное или автоматическое распознавание формата

df = pd.read_csv(file_name, parse_dates=[date_col_name],infer_datetime_format=True)