Проектирование ядра для векторной машины поддержки (XOR)

Ответ 1

Q: "Как создать функцию ядра для проблемы обучения?"

A: "Очень осторожно"

Попытка обычных подозреваемых (линейных, полиномиальных, RBF) и использования того, что работает, лучше всего является хорошим советом для тех, кто пытается получить самую точную прогностическую модель, которую они могут. Для чего стоит общая критика SVM, что у них, похоже, есть много параметров, которые вам нужно настроить эмпирически. Так что, по крайней мере, вы не одиноки.

Если вы действительно хотите создать ядро ​​для конкретной проблемы, тогда вы правы, это проблема машинного обучения сама по себе. Он назывался "проблемой выбора модели". Я не совсем эксперт здесь, но лучшим источником понимания методов ядра для меня была книга " Gaussian Processes от Rasumussen и Уильямс (он свободно доступен онлайн), в особенности главы 4 и 5. Мне жаль, что я не могу сказать гораздо больше, чем" прочитать эту огромную книгу, полную математики", но это сложная проблема, и они действительно хорошо объясняют он.

Ответ 2

(Для тех, кто не знаком с использованием функций ядра в Machine Learning, ядра просто сопоставляют входные векторы (точки данных, которые составляют набор данных), в более высокоразмерное пространство, например, "Feature Space". затем находит разделительную гиперплоскость с максимальным запасом (расстояние между гиперплоскостью и опорными векторами) в этом преобразованном пространстве.)

Ну, начните с ядер, которые, как известно, работают с классификаторами SVM, чтобы решить интересующую проблему. В этом случае мы знаем, что ядро ​​ RBF (радиальная базисная функция) с подготовленным SVM, чисто разделяет XOR. Вы можете написать RBF-функцию в Python следующим образом:

def RBF():
    return NP.exp(-gamma * NP.abs(x - y)**2)

В каком гамма есть 1/количество функций (столбцы в наборе данных), а x, y - декартова пара.

(Радиальный базовый функциональный модуль также находится в scipy.interpolate.Rbf)

Во-вторых, если вы не используете доступные функции ядра для решения задач классификации/регрессии, но вместо этого вы хотите создать свои собственные, я бы предложил сначала изучить, как выбор функции ядра и параметров внутри этих функций влияют на эффективность классификатора. Маленькая группа функций ядра, используемых совместно с SVM/SVC, - лучшее место для начала. Эта группа состоит из (кроме RBF):

• линейное ядро ​​

• Полином

• сигмовидной

Ответ 3

Я ищу работу полиномиального ядра с помощью примеров и наткнулся на этот пост. Несколько вещей, которые могут помочь, если вы все еще ищете, - это инструментарий (http://www2.fml.tuebingen.mpg.de/raetsch/projects/shogun), который использует несколько ядро ​​обучения, где вы можете выбрать широкий выбор а затем обучение выберет наилучшее для проблемы, поэтому вам не нужно.

Более простой и более традиционный метод для вашего выбора ядра - использовать кросс-валидацию с различными методами ядра, чтобы найти лучшее.

Надеюсь, это поможет вам или кому-либо еще читать методы ядра.

Ответ 4

Мой подход состоял бы в изучении данных: как бы я отделял точки в задаче XOR? Когда я начал изучать M.L. в общем, и SVM, в частности, это то, что я сделал, взял игрушечную проблему, нарисую ее вручную и попытаюсь отделить классы.

Когда я посмотрел на проблему XOR в первое время, мне пришло в голову, что и фиолетовые точки (внизу, слева) имеют X и Y одного знака, в одном случае отрицательные в одном положительном, тогда как обе зеленые точки имеют X и Y противоположных знаков. Поэтому квадратная сумма X и Y будет равна 0 (или очень мала с небольшим количеством шума в исходной задаче) для зеленых точек и 2 (или почти 2) для фиолетовых. Следовательно, добавление третьей координаты Z = np.sqrt(np.square(X + Y)) будет приятно разделять два набора:

На стороне примечания Z не является слишком разнородной формулировкой из doug rbf, если вы считаете, что np.sqrt(np.square(X + Y)) по существу совпадает с np.abs(X + Y) в этот случай.

У меня нет доступа к бумаге Crisitanini, но я тоже подхожу к этой проблеме, начиная с версии игрушек (кстати, код шахматной доски благодаря не только doug):

Возможная интуиция заключается в том, что сумма индексов строк и столбцов для черных квадратов всегда была бы четной, тогда как для белых квадратов всегда было бы странно, поэтому добавление в качестве третьего измерения чего-то вроде (row_index + col_index) % 2 могло бы сделать трюк в этой простой версии. В более крупном, более сложном наборе данных шахматной доски, как это я нашел в Интернете:

все не так просто, но, возможно, можно каскадировать кластеризацию, чтобы найти средние X и Y 16 кластеров (возможно, используя кластеризация медоидов), затем примените версию "модульного трюка ядра"?

С выражением о том, что я не работал с тонной проблемой классификации, до сих пор я обнаружил, что при создании игровой версии сложной я обычно получал "численную" интуицию относительно такого решения это может сработать.

Наконец, как указано в комментарии к ответу Дуга, я не нахожу ничего неправильного с эмпирическим подходом как и его, изучая работу всех возможных ядер передавая их в поиск сетки во вложенном перекрестке с тем же алгоритмом (SVC) и изменяя только ядро. Вы можете добавить к этому подходу, построив соответствующие поля в преобразованных пространствах функций: например, для rbf, используя уравнение, предложенное Дугом (и рутиной Себастьяна Рашка для построения областей принятия решений - ячейка 13 здесь).

ОБНОВЛЕНИЕ 27/17 октября В разговоре по моему слабому каналу другой геофизик спросил меня о случае, когда ворота XOR были сконструированы как 0 и 1, а не -1 и 1 (последний похож на классическую проблему в геофизике разведки, поэтому моя первоначальная игрушка пример).

Если бы я должен был решить ворота XOR с 0s и 1s и не имел в распоряжении знания о ядре rbf, в этом случае я тоже сидел бы и думал бы о проблеме с точки зрения координат этих проблем и посмотрим, смогу ли я придумать трансформацию.

Мое первое наблюдение здесь состояло в том, что Os сидит на линии x=y, Xs на линии x=-y, поэтому разность x-y будет 0 (или небольшая с небольшим количеством шума) в случае, +/- 1 в другой, соответственно. Абсолютное значение позаботится о знаке, поэтому Z = np.abs(X-Y) будет работать. Что, кстати, очень похоже на doug's rbf = np.exp(-gamma * np.abs(x - y)**2) (еще одна причина для его ответа); и на самом деле его rbf является более общим решением, работающим во всех случаях XOR.