Как реализовать пользовательскую метрику в keras?

Ответ 1

Этот код не работает, потому что y_pred и y_true не являются массивами numpy, а также тензорами Theano или Tensor Flow. Вот почему вы получили эту ошибку.

Вы можете определить свои собственные показатели, но вы должны помнить, что его аргументами являются те тензоры, а не массивы numpy.

Ответ 2

Здесь я отвечаю на вопрос темы OP, а не на его точную проблему. Я делаю это, так как вопрос появляется в верхней части, когда я гуглю тему проблемы.

Вы можете реализовать собственную метрику двумя способами.

1. Как упомянуто в документе Keras.

   import keras.backend as K
   
   def mean_pred(y_true, y_pred):
       return K.mean(y_pred)
   
   model.compile(optimizer='sgd',
             loss='binary_crossentropy',
             metrics=['accuracy', mean_pred])
   

   Но здесь вы должны помнить, как упоминалось в ответе Марцина Могейко, что y_true и y_pred являются тензорами. Поэтому, чтобы правильно рассчитать метрику, вам нужно использовать функциональность keras.backend. Пожалуйста, посмотрите на этот SO вопрос для деталей. Как рассчитать F1 Макро в Керасе?

2. Или вы можете реализовать это хакерским способом, как упомянуто в выпуске Keras GH. Для этого вам нужно использовать аргумент callbacks для model.fit.

   import keras as keras
   import numpy as np
   from keras.optimizers import SGD
   from sklearn.metrics import roc_auc_score
   
   model = keras.models.Sequential()
   # ...
   sgd = SGD(lr=0.001, momentum=0.9)
   model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy'])
   
   
   class Metrics(keras.callbacks.Callback):
       def on_train_begin(self, logs={}):
           self._data = []
   
       def on_epoch_end(self, batch, logs={}):
           X_val, y_val = self.validation_data[0], self.validation_data[1]
           y_predict = np.asarray(model.predict(X_val))
   
           y_val = np.argmax(y_val, axis=1)
           y_predict = np.argmax(y_predict, axis=1)
   
           self._data.append({
               'val_rocauc': roc_auc_score(y_val, y_predict),
           })
           return
   
       def get_data(self):
           return self._data
   
   metrics = Metrics()
   history = model.fit(X_train, y_train, epochs=100, validation_data=(X_val, y_val), callbacks=[metrics])
   metrics.get_data()
   

Ответ 3

вы можете передать model.predict() в своей метрической функции AUC. [это будет итерация на bacthes, поэтому вам может быть лучше использовать model.predict_on_batch(). Предполагая, что у вас есть что-то вроде слоя softmax в качестве вывода (что-то, что выводит вероятности), тогда вы можете использовать это вместе с sklearn.metric для получения AUC.

from sklearn.metrics import roc_curve, auc

из здесь

def sklearnAUC(test_labels,test_prediction):
    n_classes = 2
    # Compute ROC curve and ROC area for each class
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(n_classes):
        # ( actual labels, predicted probabilities )
        fpr[i], tpr[i], _ = roc_curve(test_labels[:, i], test_prediction[:, i])
        roc_auc[i] = auc(fpr[i], tpr[i])

    return round(roc_auc[0],3) , round(roc_auc[1],3)

теперь сделайте свой показатель

# gives a numpy array like so [ [0.3,0.7] , [0.2,0.8] ....]    
Y_pred = model.predict_on_batch ( X_test  ) 
# Y_test looks something like [ [0,1] , [1,0] .... ]
# auc1 and auc2 should be equal
auc1 , auc2 = sklearnAUC(  Y_test ,  Y_pred )