Я работаю с R в течение нескольких лет. R очень силен в обработке данных. Я изучаю python, и я хотел бы знать, как манипулировать данными с помощью python. В основном мои наборы данных организованы в виде фреймов данных (например, листа excel). Я хотел бы узнать (на примере), как эта задача базового манипулирования данными может быть выполнена с помощью python?
1. Read csv file like the following
var1, var2, var3
1, 2, 3
4, 5, 6
7, 8, 9
2. Subset data where var2 in ('5', '8')
3. Make a new variable --> var4 = var3 * 3
4. Transpose this data
5. Write to csv file
Ваша помощь и пример наиболее ценятся!
import csv
from itertools import izip
with open('source.csv') as f:
reader = csv.reader(f)
# filter data
data = (row for row in reader if row[1].strip() in ('5', '8'))
# make a new variable
data = (row + [int(row[2]) * 3] for row in data)
# transpose data
data = izip(*data)
# write data to a new csv file
with open('destination.csv', 'w') as fw:
csv.writer(fw).writerows(data)
Я не согласен с комментарием Cpfohl - возможно, потому, что сам прошел этот же переход, и неясно, как наивный пользователь сможет более точно сформулировать проблему. На самом деле это проблема активного развития прямо сейчас с рядом проектов, которые все придумали неперекрывающиеся функциональные возможности (например, в мире финансовых расписаний, в мире визуализации мозга и т.д.).
Короткий ответ заключается в том, что различные библиотеки python для работы с таблицами и csv файлами не так хороши для новичков, как те, что в R, которые являются конечным результатом многолетних пользователей разных уровней.
Во-первых, посмотрите на повторы в numpy. Вероятно, это самая близкая структура данных, которая используется в широко используемой библиотеке, которая похожа на файл data.frame в R. В частности, вам, вероятно, понравится функция numpy.recfromcsv, хотя она не такая надежная, как, например, read.csv в R (например, у него будут проблемы с нестандартными концами строк).
Подмножество повторения легко (хотя создание может показаться неуклюжим):
import numpy as np
mydata = np.array([(1.0, 2), (3.0, 4)], dtype=[('x', float), ('y', int)])
mydata = mydata.view(np.recarray)
mydata[mydata.x > 2]
Изменение характера массива numpy обычно не так просто, как в R, но есть хорошая библиотека функций в numpy.lib.recfunctions (которую необходимо импортировать отдельно - она не приходит вместе с простым import numpy). В частности, проверьте, чтобы rec_append_fields и rec_join добавляли столбцы.
У Numpy есть функция numpy.savetxt, которая примет простой аргумент разделителя для создания файла csv, но печатает имена столбцов печально (по крайней мере, я не вижу, что это так). Поэтому, когда я препятствую добавлению ненужных библиотек (поскольку он дает менее портативный код), вы можете просто использовать matplotlib.mlab.rec2csv (вы также найдете некоторые другие подобные функции в этом районе - сообщество numpy пытается портировать в целом полезные числовые/код управления данными для нумерации. Кто знает, может быть, вы это сделаете?).
Вы заметите, что я не ответил (4), потому что это не имеет смысла. Таблицы не транспонируются в python или R. Массивы или матрицы. Итак, преобразуйте свои данные в массив с однородным dtype, а затем просто используйте myarray.T.
Другие инструменты, на которые вы можете обратить внимание, - это pytables (и связанный с ними пакетный ракурс), larry, datarray, pandas и табличные. В частности, datarray стремится создать систему для меченых массивов данных, которая послужила бы основой для других проектов (и я думаю, что разработчики также из проектов larry и pandas).
Надеюсь, что это поможет! Дав
Простой ответ: используйте pandas
In [2]: df = read_csv('foo.csv', index_col=None)
In [3]: df
Out[3]:
var1 var2 var3
0 1 2 3
1 4 5 6
2 7 8 9
In [4]: df[df['var2'].isin([5, 8])]
Out[4]:
var1 var2 var3
1 4 5 6
2 7 8 9
In [5]: df['var4'] = df['var3'] * 2
In [6]: df
Out[6]:
var1 var2 var3 var4
0 1 2 3 6
1 4 5 6 12
2 7 8 9 18
In [7]: df.T
Out[7]:
0 1 2
var1 1 4 7
var2 2 5 8
var3 3 6 9
var4 6 12 18
In [8]: df.to_csv('foo2.csv')
In [9]: !cat foo2.csv
index,var1,var2,var3,var4
0,1,2,3,6
1,4,5,6,12
2,7,8,9,18
Там есть модуль для анализа CSV в стандартной библиотеке. Чтобы получить список строк, каждый из которых содержит список ячеек, вы можете использовать list(csv.reader(...)).
Шаг 2 и 3 могут быть записаны в одном понимании списка: [(var1, var2, var3, var3 * 3) for var1, var2, var3 in data if var2 in ('5', '8')].
Я ничего не знаю в стандартной библиотеке для переноса списков списков. Возможно, у NumPy или SciPy есть что-то. Быстрый и грязный способ будет застегивать строки (zip(*lists)).
Запись в файл должна быть такой же простой, как и конструкция csv.writer и передать ее каждой строке в цикле.