Что такое индуктивный уклон в машинном обучении? Зачем это нужно?
Каждый алгоритм машинного обучения с любой способностью обобщать помимо обучающих данных, которые он видит, имеет некоторый тип индуктивного смещения, который является предположениями, сделанными моделью для изучения целевой функции и обобщения за пределами обучающих данных.
Например, в линейной регрессии модель предполагает, что выходная или зависимая переменная связана с независимой переменной линейно (в весах). Это индуктивное смещение модели.
Индуктивное смещение - это набор допущений, которые учащийся использует для прогнозирования результатов, учитывая входные данные, с которыми он еще не сталкивался.
Согласно определению Тома Митчелла,
Индуктивный уклон учащегося - это набор дополнительных допущений, достаточных для обоснования его индуктивных выводов как дедуктивных выводов.
Я не мог полностью понять вышеприведенное определение, поэтому я искал Википедию и смог обобщить определение в терминах непрофессионала.
Учитывая набор данных, какую модель обучения (= индуктивное смещение) следует выбрать?
Индуктивный уклон имеет некоторые предварительные предположения о задачах. Нет единого смещения, которое лучше всего подходит для всех проблем, и было предпринято много исследований, чтобы автоматически обнаружить индуктивное смещение.
Ниже приведен список распространенных индуктивных ошибок в алгоритмах машинного обучения.
Максимальная условная независимость: если гипотеза может быть сформулирована в байесовской структуре, попытайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе.
Минимальная ошибка перекрестной проверки: при попытке выбора среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя перекрестная проверка может показаться свободной от предвзятости, теоремы "без бесплатного обеда" показывают, что перекрестная проверка должна быть предвзятой.
Максимальное поле: при рисовании границы между двумя классами старайтесь максимально увеличить ширину границы. Это смещение, используемое в машинах опорных векторов. Предполагается, что различные классы имеют тенденцию разделяться широкими границами.
Минимальная длина описания: при формировании гипотезы попытайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы, скорее всего, будут верными. Смотри бритву Оккама.
Минимальные функции: если нет убедительных доказательств полезности функции, ее следует удалить. Это предположение лежит в основе алгоритмов выбора признаков.
Ближайшие соседи: предположим, что большинство случаев в небольшой окрестности в пространстве признаков принадлежит одному и тому же классу. Учитывая случай, для которого класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритме k-ближайших соседей. Предполагается, что случаи, которые находятся рядом друг с другом, как правило, принадлежат к одному и тому же классу.
Более подробная информация здесь: Индуктивный уклон - Как обобщить новые данные
Я думаю, что это набор предположений, с помощью которых люди могут прогнозировать из исходных данных, которые не находятся в наборе данных, которые мы имеем более правильно. Для модели необходимо иметь некоторое индуктивное смещение, потому что только с ней модель может быть более полезна для большего количества данных. Цель модели состоит в том, чтобы вписаться в большую часть данных, но не только в данные выборки. Поэтому индуктивное смещение важно.
Индуктивное смещение можно рассматривать как набор предположений, которые мы делаем в отношении области, о которой мы пытаемся узнать.
Технически, когда мы пытаемся выучить Y из X и, изначально, пространство гипотез (различные функции для обучения X-> Y) для Y бесконечно. Чтобы чему-то научиться, нам нужно уменьшить сферу. Это делается в форме наших убеждений/предположений о пространстве гипотез, также называемых индуктивным смещением.
Благодаря введению этих допущений мы ограничиваем пространство наших гипотез, а также получаем возможность поэтапного тестирования и улучшения данных в виде гиперпараметров.
Примеры индуктивного смещения -