Как преобразовать указатель в массив c в массив python

У меня есть функция обратного вызова С++, которая вызывает Python с использованием ctypes. Эти параметры функции представляют собой указатель на массив из double и количество элементов.

Есть много элементов, приблизительно 2 000 000. Мне нужно отправить это в scipy функции.

Проблема заключается в том, что print datalist возвращает:

что неверно (данные заполняются множеством других чисел при проверке на стороне С++.

Кроме того, если я использую этот код для преобразования данных в список python, он блокирует компьютер на этапе выделения.

Можно ли загрузить данные из массива С++ и затем преобразовать его в массив, подходящий для scipy?

Ответы

Ответ 1

Если Data были массивом (c_double*DataLength.value), вы могли бы:

a = np.frombuffer(Data) # no copy. Changes in `a` are reflected in `Data`

Если Data является POINTER(c_double), вы можете получить массив numpy с помощью numpy.fromiter(). Это тот же цикл, что и в вашем вопросе, но быстрее:

a = np.fromiter(Data, dtype=np.float, count=DataLength.value) # copy

Чтобы создать массив numpy из экземпляра POINTER(c_double) без копирования, вы можете использовать метод .from_address():

ArrayType = ctypes.c_double*DataLength.value
addr = ctypes.addressof(Data.contents)
a = np.frombuffer(ArrayType.from_address(addr))

или

array_pointer = ctypes.cast(Data, ctypes.POINTER(ArrayType))
a = np.frombuffer(array_pointer.contents)

Оба метода конвертируют POINTER(c_double) instance в (c_double*DataLength) перед тем, как передать его в numpy.frombuffer().

Решение на основе Cython

Можно ли загрузить данные из массива С++ и затем преобразовать его в массив, подходящий для scipy?

Здесь C-модуль расширения для Python (написанный в Cython), который предоставляет в качестве C API функцию преобразования:

cimport numpy as np
np.import_array() # initialize C API to call PyArray_SimpleNewFromData

cdef public api tonumpyarray(double* data, long long size) with gil:
    if not (data and size >= 0): raise ValueError
    cdef np.npy_intp dims = size
    #NOTE: it doesn't take ownership of `data`. You must free `data` yourself
    return np.PyArray_SimpleNewFromData(1, &dims, np.NPY_DOUBLE, <void*>data)

Его можно использовать с ctypes следующим образом:

from ctypes import (PYFUNCTYPE, py_object, POINTER, c_double, c_longlong,
                    pydll, CFUNCTYPE, c_bool, cdll)

import pointer2ndarray
tonumpyarray = PYFUNCTYPE(py_object, POINTER(c_double), c_longlong)(
    ("tonumpyarray", pydll.LoadLibrary(pointer2ndarray.__file__)))

@CFUNCTYPE(c_bool, POINTER(c_double), c_longlong)
def callback(data, size):
    a = tonumpyarray(data, size)
    # call scipy functions on the `a` array here
    return True

cpplib = cdll.LoadLibrary("call_callback.so") # your C++ lib goes here
cpplib.call_callback(callback)

Где call_callback: void call_callback(bool (*)(double *, long long)).