Масштабируемые или интерактивные многоядерные классификаторы

Ответ 1

Я бы сделал многозадачную часть вручную. OneVsRestClassifier рассматривает их как независимые проблемы. Вы можете просто создать n_labels много классификаторов, а затем вызвать partial_fit на них. Вы не можете использовать конвейер, если хотите только хэш-код (который я бы посоветовал). Не уверен насчет ускорения векторизатора хэширования. Вы должны спросить @Larsmans и @ogrisel для этого;)

Наличие partial_fit в OneVsRestClassifier было бы хорошим дополнением, и на самом деле я не вижу в нем конкретной проблемы. Вы также можете попытаться реализовать это самостоятельно и отправить PR.

Ответ 2

• Алгоритм, реализуемый OneVsRestClassifier, очень прост: он просто подходит для K-бинарных классификаторов при наличии K-классов. Вы можете сделать это в своем собственном коде вместо того, чтобы полагаться на OneVsRestClassifier. Вы также можете сделать это не более чем на К ядрах параллельно: просто запустите K процессов. Если у вас больше классов, чем процессоров на вашем компьютере, вы можете запланировать обучение с помощью такого инструмента, как GNU parallel.
• Многоядерная поддержка в scikit-learn - это работа; мелкомасштабное параллельное программирование в Python довольно сложно. Существуют потенциальные оптимизации для HashingVectorizer, но я (один из авторов хеширующего кода) еще не пришел к нему.
• Если вы следуете советам моего (и Андреаса), чтобы сделать свой собственный однополый отдых, это больше не должно быть проблемой.
• Трюк в (1.) применяется к любому алгоритму классификации.

Что касается количества функций, это зависит от проблемы, но для крупномасштабной классификации текста 2 ^ 10 = 1024 кажется очень маленьким. Я бы попробовал что-то около 2 ^ 18 - 2 ^ 22. Если вы тренируете модель со штрафом L1, вы можете вызвать sparsify на обученной модели, чтобы преобразовать ее весовую матрицу в более удобный для пространства формат.

Ответ 3

Моим аргументом для масштабируемости является то, что вместо использования OneVsRest, который является просто простейшим базовым уровнем, вы должны использовать более совершенный ансамбль методов преобразования проблем. В моей статье я предлагаю схему разделения пространства меток на подпространства и преобразования подзадач в одноклассовые классификации с несколькими классами с использованием Label Powerset. Чтобы попробовать это, просто используйте следующий код, который использует библиотеку с несколькими метками, созданную поверх scikit-learn - scikit-multilearn:

from skmultilearn.ensemble import LabelSpacePartitioningClassifier
from skmultilearn.cluster import IGraphLabelCooccurenceClusterer
from skmultilearn.problem_transform import LabelPowerset

from sklearn.linear_model import SGDClassifier

# base multi-class classifier SGD
base_classifier = SGDClassifier(loss='log', penalty='l2', n_jobs=-1)

# problem transformation from multi-label to single-label multi-class
transformation_classifier = LabelPowerset(base_classifier)

# clusterer dividing the label space using fast greedy modularity maximizing scheme
clusterer = IGraphLabelCooccurenceClusterer('fastgreedy', weighted=True, include_self_edges=True) 

# ensemble
clf = LabelSpacePartitioningClassifier(transformation_classifier, clusterer)

clf.fit(x_train, y_train)
prediction = clf.predict(x_test)

Ответ 4

Метод partial_fit() был недавно добавлен в sklearn, поэтому, надеюсь, он должен быть доступен в предстоящей версии (он в главной ветки уже есть).

Размер вашей проблемы делает его привлекательным для решения проблемы с нейронными сетями. Посмотрите magpie, он должен дать гораздо лучшие результаты, чем линейные классификаторы.