Межпроцессное взаимодействие в Python

Ответ 1

Библиотека multiprocessing предоставляет слушателям и клиентам которые обертывают сокеты и позволяют передавать произвольные объекты python.

Ваш сервер может прослушивать получение объектов python:

from multiprocessing.connection import Listener

address = ('localhost', 6000)     # family is deduced to be 'AF_INET'
listener = Listener(address, authkey='secret password')
conn = listener.accept()
print 'connection accepted from', listener.last_accepted
while True:
    msg = conn.recv()
    # do something with msg
    if msg == 'close':
        conn.close()
        break
listener.close()

Ваш клиент может отправлять команды как объекты:

from multiprocessing.connection import Client

address = ('localhost', 6000)
conn = Client(address, authkey='secret password')
conn.send('close')
# can also send arbitrary objects:
# conn.send(['a', 2.5, None, int, sum])
conn.close()

Ответ 2

Nah, zeromq - это путь. Вкусный, не так ли?

import argparse
import zmq

parser = argparse.ArgumentParser(description='zeromq server/client')
parser.add_argument('--bar')
args = parser.parse_args()

if args.bar:
    # client
    context = zmq.Context()
    socket = context.socket(zmq.REQ)
    socket.connect('tcp://127.0.0.1:5555')
    socket.send(args.bar)
    msg = socket.recv()
    print msg
else:
    # server
    context = zmq.Context()
    socket = context.socket(zmq.REP)
    socket.bind('tcp://127.0.0.1:5555')
    while True:
        msg = socket.recv()
        if msg == 'zeromq':
            socket.send('ah ha!')
        else:
            socket.send('...nah')

Ответ 3

По моему опыту rpyc - это самый простой и изящный способ сделать это.

(Я знаю, что это старый вопрос, но я только что наткнулся на него.)

Ответ 4

Я бы использовал сокеты; локальная связь была сильно оптимизирована, поэтому у вас не должно быть проблем с производительностью, и это дает вам возможность распространять ваше приложение на разные физические узлы, если это необходимо.

Что касается "низкоуровневого" подхода, вы правы. Но вы всегда можете использовать обертку более высокого уровня в зависимости от ваших потребностей. XMLRPC может быть хорошим кандидатом, но, возможно, это слишком сложно для задачи, которую вы пытаетесь выполнить.

Twisted предлагает некоторые хорошие простые простые протоколы, такие как LineReceiver (для простых текстовых сообщений) или более элегантный AMP (который, кстати, был стандартизован и реализован на разных языках).

Ответ 5

Я бы использовал сокеты, но использовал Twisted, чтобы дать вам некоторую абстракцию и сделать все просто. Их простой пример Echo Client/Server - это хорошее место для начала.

Вам просто нужно объединить файлы и создать экземпляр и запустить клиент или сервер в зависимости от переданных аргументов.

Ответ 6

Проверьте кросс-платформенную библиотеку/сервер под названием RabbitMQ. Может быть слишком тяжелым для двухпроцессорной связи, но если вам нужна многопроцессорная или многокодовая база данных (с различными различными способами, например, один-ко-многим, очереди и т.д.), Это хороший вариант.

Требования:

$ pip install pika
$ pip install bson # for sending binary content
$ sudo apt-get rabbitmq-server # ubuntu, see rabbitmq installation instructions for other platforms

Издатель (отправляет данные):

import pika, time, bson, os

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs', type='fanout')

i = 0
while True:
    data = {'msg': 'Hello %s' % i, b'data': os.urandom(2), 'some': bytes(bytearray(b'\x00\x0F\x98\x24'))}
    channel.basic_publish(exchange='logs', routing_key='', body=bson.dumps(data))
    print("Sent", data)
    i = i + 1
    time.sleep(1)

connection.close()

Абонент (принимает данные, может быть несколько):

import pika, bson

connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='logs', type='fanout')

result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

channel.queue_bind(exchange='logs', queue=queue_name)

def callback(ch, method, properties, body):
    data = bson.loads(body)
    print("Received", data)

channel.basic_consume(callback, queue=queue_name, no_ack=True)
channel.start_consuming()

Примеры на основе https://www.rabbitmq.com/tutorials/tutorial-two-python.html