Храните numpy.array в ячейках Pandas.DataFrame

У меня есть dataframe, в котором я хотел бы хранить 'raw' numpy.array:

df['COL_ARRAY'] = df.apply(lambda r: np.array(do_something_with_r), axis=1)

но кажется, что pandas пытается "распаковать" numpy.array.

Есть ли обходной путь? Помимо использования обертки (см. Ниже)?

Я пробовал reduce=False без успеха.

ИЗМЕНИТЬ

Это работает, но я должен использовать класс 'dummy' Data для обертывания массива, что неудовлетворительно и не очень элегантно.

class Data:
    def __init__(self, v):
        self.v = v

meas = pd.read_excel(DATA_FILE)
meas['DATA'] = meas.apply(
    lambda r: Data(np.array(pd.read_csv(r['filename'])))),
    axis=1
)

Ответы

Ответ 1

Используйте обертку вокруг массива numpy, то есть передайте массив numpy в виде списка

a = np.array([5, 6, 7, 8])
df = pd.DataFrame({"a": [a]})

Вывод:

             a
0  [5, 6, 7, 8]

Или вы можете использовать apply(np.array), создав кортежи, то есть если у вас есть dataframe

df = pd.DataFrame({'id': [1, 2, 3, 4],
                   'a': ['on', 'on', 'off', 'off'],
                   'b': ['on', 'off', 'on', 'off']})

df['new'] = df.apply(lambda r: tuple(r), axis=1).apply(np.array)

Выход:

     a    b  id            new
0   on   on   1    [on, on, 1]
1   on  off   2   [on, off, 2]
2  off   on   3   [off, on, 3]
3  off  off   4  [off, off, 4]

df['new'][0]

Выход:

array(['on', 'on', '1'], dtype='<U2')

Ответ 2

Вы можете обернуть аргументы данных Data Frame в квадратных скобках, чтобы поддерживать np.array в каждой ячейке:

one_d_array = np.array([1,2,3])
two_d_array = one_d_array*one_d_array[:,np.newaxis]
two_d_array

array([[1, 2, 3],
       [2, 4, 6],
       [3, 6, 9]])


pd.DataFrame([
    [one_d_array],
    [two_d_array] ])

                                   0
0                          [1, 2, 3]
1  [[1, 2, 3], [2, 4, 6], [3, 6, 9]]

Ответ 3

Предположим, у вас есть DataFrame ds и у него есть столбец с именем 'class'. Если ds ['class'] содержит строки или числа, и вы хотите изменить их с помощью numpy.ndarray или list s, поможет следующий код. В коде class2vector - это numpy.ndarray или list а ds_class - это условие фильтра.

ds['class'] = ds['class'].map(lambda x: class2vector if (isinstance(x, str) and (x == ds_class)) else x)