Я использую Keras с тензорным потоком в качестве backend. У меня есть одна скомпилированная/обучаемая модель.
Мой цикл предсказания медленный, поэтому я хотел бы найти способ распараллеливать вызовы predict_proba для ускорения работы.
Я хотел бы взять список партий (данных), а затем за доступный gpu, запустите model.predict_proba() над подмножеством этих партий.
По существу:
data = [ batch_0, batch_1, ... , batch_N ]
on gpu_0 => return predict_proba(batch_0)
on gpu_1 => return predict_proba(batch_1)
...
on gpu_N => return predict_proba(batch_N)
Я знаю, что в чистом Tensorflow можно назначить ops заданному gpu (https://www.tensorflow.org/tutorials/using_gpu). Тем не менее, я не знаю, как это переводится в мою ситуацию, поскольку я создал/скомпилировал/обучил мою модель, используя api Keras.
Я подумал, что, возможно, мне просто нужно использовать модуль многопроцессорности python и запустить процесс на gpu, который будет запускать predict_proba(batch_n). Я знаю, что это теоретически возможно с учетом другой моей должности: Keras + Tensorflow и Multiprocessing в Python. Тем не менее, это все еще оставляет мне дилемму не знать, как на самом деле "выбрать" gpu для управления процессом.
Мой вопрос сводится к следующему: как распараллеливать предсказание для одной модели в Keras через несколько gpus при использовании Tensorflow как бэкэнд Keras?
Кроме того, мне любопытно, возможно ли подобное распараллеливание для предсказания только с одним gpu.
Приветствуется описание высокого уровня или пример кода!
Спасибо!
Я создал один простой пример, чтобы показать, как запустить keras-модель через несколько gpus. В принципе, создается несколько процессов, и каждый из процессов владеет gpu. Чтобы указать id gpu в процессе, установка переменной env CUDA_VISIBLE_DEVICES является очень простым способом (os.environ [ "CUDA_VISIBLE_DEVICES" ]). Надеюсь, что этот git репо может вам помочь.
https://github.com/yuanyuanli85/Keras-Multiple-Process-Prediction
Вы можете использовать эту функцию для параллелизации модели Keras (кредиты kuza55).
https://github.com/kuza55/keras-extras/blob/master/utils/multi_gpu.py
.
from keras.layers import merge
from keras.layers.core import Lambda
from keras.models import Model
import tensorflow as tf
def make_parallel(model, gpu_count):
def get_slice(data, idx, parts):
shape = tf.shape(data)
size = tf.concat([ shape[:1] // parts, shape[1:] ],axis=0)
stride = tf.concat([ shape[:1] // parts, shape[1:]*0 ],axis=0)
start = stride * idx
return tf.slice(data, start, size)
outputs_all = []
for i in range(len(model.outputs)):
outputs_all.append([])
#Place a copy of the model on each GPU, each getting a slice of the batch
for i in range(gpu_count):
with tf.device('/gpu:%d' % i):
with tf.name_scope('tower_%d' % i) as scope:
inputs = []
#Slice each input into a piece for processing on this GPU
for x in model.inputs:
input_shape = tuple(x.get_shape().as_list())[1:]
slice_n = Lambda(get_slice, output_shape=input_shape, arguments={'idx':i,'parts':gpu_count})(x)
inputs.append(slice_n)
outputs = model(inputs)
if not isinstance(outputs, list):
outputs = [outputs]
#Save all the outputs for merging back together later
for l in range(len(outputs)):
outputs_all[l].append(outputs[l])
# merge outputs on CPU
with tf.device('/cpu:0'):
merged = []
for outputs in outputs_all:
merged.append(merge(outputs, mode='concat', concat_axis=0))
return Model(input=model.inputs, output=merged)