Вызов метода python из С++ (или C) обратного вызова

Я пытаюсь вызвать методы в классе python из С++. Метод С++, из которого он вызван, является обратным вызовом С++.

В этом методе, когда я пытаюсь вызвать метод python, он давал segmentation fault.

Я сохранил экземпляр функции python в глобальной переменной, например

// (pFunc is global variable of type PyObject*)
pFunc = PyDict_GetItemString(pDict, "PlxMsgWrapper");

где PlxMsgWrapper - это метод python, который будет использоваться в обратном вызове.

В обратном вызове аргументы создаются как

PyObject* args = PyTuple_Pack(2, PyString_FromString(header.c_str()),
                                 PyString_FromString(payload.c_str()));

При создании

PyObject * pInstance = PyObject_CallObject(pFunc, args);

В этой строке дается ошибка сегментации. После этого фактический метод python вызывается как

PyObject* recv_msg_func = PyObject_GetAttrString(module, (char *)"recvCallback");
args = PyTuple_Pack(1, pInstance);
PyObject_CallObject(recv_msg_func, args);

Ответы

Ответ 1

Есть несколько вещей, которые вам нужно сделать, если вы вызываете функцию Python из обратного вызова C/С++. Сначала, когда вы сберете свой объект функции python, вам нужно увеличить счетчик ссылок с помощью:

Py_INCREF(pFunc)

В противном случае Python не имеет понятия, что вы держите привязку к объекту, и он может мусор собирать его, что приводит к ошибке сегментации при попытке использовать его из вашего обратного вызова.

Затем следующая вещь, о которой вам нужно беспокоиться, - это то, что поток запускается при вызове обратного вызова C/С++. Если вы получаете обратный вызов из другого потока, созданного не в Python (т.е. Поток C/С++, получающий данные в сокете), тогда вы MUST получаете Python Global Interpreter Lock (GIL) перед вызовом любого Python API функции. В противном случае ваше поведение программы undefined. Чтобы приобрести GIL, вы делаете:

void callback() {
    PyGILState_STATE gstate;
    gstate = PyGILState_Ensure();

    // Get args, etc.

    // Call your Python function object
    PyObject * pInstance = PyObject_CallObject(pFunc, args);

    // Do any other needed Python API operations

    // Release the thread. No Python API allowed beyond this point.
    PyGILState_Release(gstate);
}

Кроме того, в вашей функции инициализации модуля расширения вы должны сделать следующее, чтобы гарантировать правильную инициализацию потоков:

// Make sure the GIL has been created since we need to acquire it in our
// callback to safely call into the python application.
if (! PyEval_ThreadsInitialized()) {
    PyEval_InitThreads();
}

В противном случае могут возникнуть сбои и странное поведение при попытке получить GIL из потока, отличного от Python.

Подробнее см. темы, не связанные с Python.

Ответ 2

Python должен искать модуль в каталоге, в котором он запускается от, однако, если вы считаете, что проблема в том, что python не находит ваш файл, вы можете добавить произвольный каталог на свой компьютер к путь поиска модуля в вашей программе:

// Initialize the Python Interpreter
Py_Initialize();

// The following two lines to the trick:
// add path to your module to python search paths
PyRun_SimpleString("import sys");
PyRun_SimpleString("sys.path.append(\"/path/to/python/module/here\")");

// Build the name object
pName = PyString_FromString("your_module");

// Load the module object
pModule = PyImport_Import(pName);

// pDict is a borrowed reference 
pDict = PyModule_GetDict(pModule);

// pFunc is also a borrowed reference 
pFunc = PyDict_GetItemString(pDict, "PlxMsgWrapper");

pArgs = ... 

if (PyCallable_Check(pFunc)) 
{
   PyObject_CallObject(pFunc, pArgs);
} else {
   PyErr_Print();
}

Ответ 3

Это точно не отвечает на ваш вопрос, но вы можете значительно упростить свой код и избежать проблем с подсчетом ссылок с помощью Boost:: Python.

#include "boost/python.hpp"

using namespace boost::python;

int main()
{
  Py_Initialize();

  object pyFunPlxMsgWrapper = import("your_module").attr("PlxMsgWrapper");
  pyFunPlxMsgWrapper(2, "string", "data");
  return 0;
}