LabelPropagation - Как избежать деления на ноль?

При использовании LabelPropagation я часто сталкиваюсь с этим предупреждением (imho это должна быть ошибка, потому что она полностью не позволяет распространение):

Поэтому, после нескольких попыток с ядром RBF, я обнаружил влияние paramater gamma.

РЕДАКТИРОВАТЬ:

Я не понимаю, как label_distributions_ могут быть всеми нулями, особенно когда его определение:

Гамма влияет на graph_matrix (потому что graph_matrix является результатом _build_graph(), который вызывает функцию ядра). ХОРОШО. Но до сих пор. Что-то не так

OLD POST (перед редактированием)

Я напоминаю вам, как вычисляются веса графа для распространения: W = exp (-gamma * D), D - матрица попарного расстояния между всеми точками набора данных.

Проблема в следующем: np.exp(x) возвращает 0.0, если x очень мало.
Представим себе, что у нас есть две точки i и j такие, что dist(i, j) = 10.

На практике я не настраиваю гамму вручную, но я использую метод, описанный в этой статье (раздел 2.4).

Итак, как бы избежать этого деления на ноль, чтобы получить правильное распространение?

Единственный способ, с помощью которого я могу думать, - нормализовать набор данных в каждом измерении, но мы теряем геометрическое/топологическое свойство набора данных (прямоугольник 2x10 становится квадратом 1x1, например)

Воспроизводимый пример:

В этом примере это худшее: даже с гамма = 20 он терпит неудачу.

Ответы

Ответ 1

В принципе, вы выполняете функцию softmax, не так ли?

Общий способ предотвращения softmax от softmax (отсюда)

# Instead of this . . . 
def softmax(x, axis = 0):
    return np.exp(x) / np.sum(np.exp(x), axis = axis, keepdims = True)

# Do this
def softmax(x, axis = 0):
    e_x = np.exp(x - np.max(x, axis = axis, keepdims = True))
    return e_x / e_x.sum(axis, keepdims = True)

Это ограничивает e_x между 0 и 1 и гарантирует, что одно значение e_x всегда будет 1 (а именно, элемент np.argmax(x)). Это предотвращает переполнение и недополнение (когда np.exp(x.max()) больше или меньше, чем может обрабатывать float64).

В этом случае, поскольку вы не можете изменить алгоритм, я возьму вход D и сделаю D_ = D - D.min() поскольку это должно быть численно эквивалентно приведенному выше, так как W.max() должен быть -gamma * D.min() (поскольку вы просто переворачиваете знак). Сделайте свой алгоритм относительно D_

РЕДАКТИРОВАТЬ:

В соответствии с рекомендациями @PaulBrodersen ниже, вы можете создать "безопасное" RBF ядро на основе sklearn реализации здесь:

def rbf_kernel_safe(X, Y=None, gamma=None): 

      X, Y = sklearn.metrics.pairwise.check_pairwise_arrays(X, Y) 
      if gamma is None: 
          gamma = 1.0 / X.shape[1] 

      K = sklearn.metrics.pairwise.euclidean_distances(X, Y, squared=True) 
      K *= -gamma 
      K -= K.max()
      np.exp(K, K)    # exponentiate K in-place 
      return K

И затем используйте его в своей пропаганде

LabelPropagation(kernel = rbf_kernel_safe, tol = 0.01, gamma = 20).fit(X, Y)

К сожалению, у меня только v0.18, который не принимает пользовательские функции ядра для LabelPropagation, поэтому я не могу его протестировать.

EDIT2:

Проверка вашего источника на то, почему у вас такие большие gamma значения, заставляет меня задаться вопросом, используете ли вы gamma = D.min()/3, что было бы неверным. Определение sigma = D.min()/3 тогда как определение sigma в w является

w = exp(-d**2/sigma**2)  # Equation (1)

что обеспечило бы правильное значение gamma 1/sigma**2 или 9/D.min()**2