Многомерное масштабирование в Numpy, Pandas и Sklearn (ValueError)

Я тестирую многомерное масштабирование с помощью sklearn, pandas и numpy. В файле данных Im используется 10 числовых столбцов и отсутствуют пропущенные значения. Я пытаюсь взять эти десятимерные данные и визуализировать их в двух измерениях с помощью многомерного масштабирования sklearn.manifold следующим образом:

import numpy as np
import pandas as pd
from sklearn import manifold
from sklearn.metrics import euclidean_distances

seed = np.random.RandomState(seed=3)
data = pd.read_csv('data/big-file.csv')

#  start small dont take all the data, 
#  its about 200k records
subset = data[:10000]
similarities = euclidean_distances(subset)

mds = manifold.MDS(n_components=2, max_iter=3000, eps=1e-9, 
      random_state=seed, dissimilarity="precomputed", n_jobs=1)

pos = mds.fit(similarities).embedding_

Но я получаю эту ошибку значения:

Traceback (most recent call last):
  File "demo/mds-demo.py", line 18, in <module>
    pos = mds.fit(similarities).embedding_
  File "/Users/dwilliams/Desktop/Anaconda/lib/python2.7/site-packages/sklearn/manifold/mds.py", line 360, in fit
    self.fit_transform(X, init=init)
  File "/Users/dwilliams/Desktop/Anaconda/lib/python2.7/site-packages/sklearn/manifold/mds.py", line 395, in fit_transform
eps=self.eps, random_state=self.random_state)
  File "/Users/dwilliams/Desktop/Anaconda/lib/python2.7/site-packages/sklearn/manifold/mds.py", line 242, in smacof
eps=eps, random_state=random_state)
  File "/Users/dwilliams/Desktop/Anaconda/lib/python2.7/site-packages/sklearn/manifold/mds.py", line 73, in _smacof_single
raise ValueError("similarities must be symmetric")
ValueError: similarities must be symmetric

Я думал, что евклидовые_значения вернули симметричную матрицу. Что я делаю неправильно и как это исправить?

Ответы

Ответ 1

Я столкнулся с одной и той же проблемой; оказалось, что мои данные были массивом np.float32, а уменьшенная точность поплавка заставляла матрицу расстояний быть асимметричной. Я исправил проблему путем преобразования моих данных в np.float64 перед запуском MDS на нем.

Вот пример, который использует случайные данные для иллюстрации проблемы:

import numpy as np
from sklearn.manifold import MDS
from sklearn.metrics import euclidean_distances
from sklearn.datasets import make_classification

data, labels = make_classification()
mds = MDS(n_components=2)

similarities = euclidean_distances(data.astype(np.float64))
print np.abs(similarities - similarities.T).max()
# Prints 1.7763568394e-15
mds.fit(data.astype(np.float64))
# Succeeds

similarities = euclidean_distances(data.astype(np.float32))
print np.abs(similarities - similarities.T).max()
# Prints 9.53674e-07
mds.fit(data.astype(np.float32))
# Fails with "ValueError: similarities must be symmetric"

Ответ 2

Была такая же проблема некоторое время назад. Другим решением, которое, я считаю, гораздо более эффективным, является вычисление расстояния только для верхней треугольной матрицы, а затем копирование в нижнюю часть.

Это можно сделать с помощью scipy следующим образом:

from scipy.spatial.distance import squareform,pdist                                                              
similarities = squareform(pdist(data,'speuclidean'))