Создание словаря из файла CSV

Я пытаюсь написать python script, который будет вводить данные из файла CSV, а затем вставлять его в формат словаря (я использую Python 3.x).

Я использую следующий код для чтения в CSV файле и который работает:

import csv

reader = csv.reader(open('C:\\Users\\Chris\\Desktop\\test.csv'), delimiter=',', quotechar='|')

for row in reader:
    print(', '.join(row))

Но теперь я хочу поместить результаты в словарь. Я хотел бы, чтобы первая строка файла CSV использовалась как "ключевое" поле для словаря с последующими строками в файле CSV, заполняющим часть данных.

Пример данных:

     Date        First Name     Last Name     Score
12/28/2012 15:15        John          Smith        20
12/29/2012 15:15        Alex          Jones        38
12/30/2012 15:15      Michael       Carpenter      25

Есть дополнительные вещи, которые я хотел бы сделать с этим кодом, но пока просто заставить словарь работать - это то, что я ищу.

Может ли кто-нибудь помочь мне с этим?

EDITED Версия 2:

import csv
reader = csv.DictReader(open('C:\\Users\\Chris\\Desktop\\test.csv'))

result = {}

for row in reader:
    for column, value in row.items():
        result.setdefault(column, []).append(value)
        print('Column -> ', column, '\nValue -> ', value)
print(result)

fieldnames = result.keys()

csvwriter = csv.DictWriter(open('C:\\Users\\Chris\\Desktop\\test_out.csv', 'w'), delimiter=',', fieldnames=result.keys())

csvwriter.writerow(dict((fn,fn) for fn in fieldnames))

for row in result.items():
    print('Values -> ', row)
    #csvwriter.writerow(row)

'''
Test output

'''
test_array = []
test_array.append({'fruit': 'apple', 'quantity': 5, 'color': 'red'});
test_array.append({'fruit': 'pear', 'quantity': 8, 'color': 'green'});
test_array.append({'fruit': 'banana', 'quantity': 3, 'color': 'yellow'});
test_array.append({'fruit': 'orange', 'quantity': 11, 'color': 'orange'});
fieldnames = ['fruit', 'quantity', 'color']
test_file = open('C:\\Users\\Chris\\Desktop\\test_out.csv','w')
csvwriter = csv.DictWriter(test_file, delimiter=',', fieldnames=fieldnames)
csvwriter.writerow(dict((fn,fn) for fn in fieldnames))
for row in test_array:
    print(row)
    csvwriter.writerow(row)
test_file.close()

Ответы

Ответ 1

Создайте словарь, затем повторите результат и заполните строки в словаре. Обратите внимание: если вы столкнулись со строкой с повторяющейся датой, вам придется решить, что делать (поднять исключение, заменить предыдущую строку, отбросить более позднюю строку и т.д.)

Здесь test.csv:

Date,Foo,Bar
123,456,789
abc,def,ghi

и соответствующей программы:

import csv
reader = csv.reader(open('test.csv'))

result = {}
for row in reader:
    key = row[0]
    if key in result:
        # implement your duplicate row handling here
        pass
    result[key] = row[1:]
print result

дает:

{'Date': ['Foo', 'Bar'], '123': ['456', '789'], 'abc': ['def', 'ghi']}

или, с DictReader:

import csv
reader = csv.DictReader(open('test.csv'))

result = {}
for row in reader:
    key = row.pop('Date')
    if key in result:
        # implement your duplicate row handling here
        pass
    result[key] = row
print result

приводит к:

{'123': {'Foo': '456', 'Bar': '789'}, 'abc': {'Foo': 'def', 'Bar': 'ghi'}}

Или, возможно, вы хотите сопоставить заголовки столбцов со списком значений для этого столбца:

import csv
reader = csv.DictReader(open('test.csv'))

result = {}
for row in reader:
    for column, value in row.iteritems():
        result.setdefault(column, []).append(value)
print result

Это дает:

{'Date': ['123', 'abc'], 'Foo': ['456', 'def'], 'Bar': ['789', 'ghi']}

Ответ 2

Вам нужен класс Python DictReader. Более подробную информацию можно найти в здесь

import csv

with open('file_name.csv', 'rt') as f:
    reader = csv.DictReader(f)
    for row in reader:
        print row

Ответ 3

Рассматривали ли вы использование Apache Solr? Он поддерживает поиск и позволяет легко записывать данные CSV файла. Вы обнаружите, что он масштабируется впечатляюще и имеет множество других возможностей для анализа ваших данных, например, поддержка нескольких языков или неправильные запросы.

Примеры

Ответ 4

Помощь от @phil-frost была очень полезной, именно то, что я искал.

После этого я сделал несколько твиков, поэтому я хотел бы поделиться им здесь:

def csv_as_dict(file, ref_header, delimiter=None):

    import csv
    if not delimiter:
        delimiter = ';'
    reader = csv.DictReader(open(file), delimiter=delimiter)
    result = {}
    for row in reader:
        print(row)
        key = row.pop(ref_header)
        if key in result:
            # implement your duplicate row handling here
            pass
        result[key] = row
    return result

Вы можете назвать это:

myvar = csv_as_dict(csv_file, 'ref_column')

Где ref_colum будет вашим основным ключом для каждой строки.