Ответ 1
Итак, я потратил немного времени на изучение источника sklearn, потому что на самом деле я хотел попытаться понять это сам и на некоторое время. Прошу прощения за длину, но я не знаю, как объяснить это более кратко.
Некоторые быстрые предварительные комментарии:
Скажем, у нас есть проблема классификации с К-классами. В области пространственного пространства, представленной node дерева решений, напомним, что "примесь" области измеряется путем количественной оценки неоднородности с использованием вероятности класса в этой области. Обычно мы оцениваем:
Pr(Class=k) = #(examples of class k in region) / #(total examples in region)
Мера примеси принимает в качестве входных данных массив вероятностей класса:
[Pr(Class=1), Pr(Class=2), ..., Pr(Class=K)]
и выплескивает число, которое говорит вам, как "нечисто" или как неоднородно по классу область пространства объектов. Например, мера gini для задачи двух классов: 2*p*(1-p), где p = Pr(Class=1) и 1-p=Pr(Class=2).
Теперь, в основном, короткий ответ на ваш вопрос:
sample_weight увеличивает оценки вероятности в массиве вероятностей..., который дополняет примесную меру... которая расширяет разделение узлов... что увеличивает количество деревьев., который увеличивает, как пространство объектов нарезается для классификации.
Я считаю, что это лучше всего иллюстрируется на примере.
Сначала рассмотрим следующую проблему 2-класса, где входы 1-мерные:
from sklearn.tree import DecisionTreeClassifier as DTC
X = [[0],[1],[2]] # 3 simple training examples
Y = [ 1, 2, 1 ] # class labels
dtc = DTC(max_depth=1)
Итак, мы будем смотреть деревья с помощью только root node и двух детей. Обратите внимание, что примесь по умолчанию измеряет меру gini.
Случай 1: нет sample_weight
dtc.fit(X,Y)
print dtc.tree_.threshold
# [0.5, -2, -2]
print dtc.tree_.impurity
# [0.44444444, 0, 0.5]
Первое значение в массиве threshold сообщает нам, что 1-й пример обучения отправляется левому дочернему элементу node, а второй и третий примеры обучения отправляются в правый дочерний элемент node. Последние два значения в threshold являются заполнителями и должны игнорироваться. Массив impurity сообщает нам вычисленные значения примесей в родительском, левом и правом узлах соответственно.
В родительском node, p = Pr(Class=1) = 2. / 3., так что gini = 2*(2.0/3.0)*(1.0/3.0) = 0.444..... Вы также можете подтвердить дочерние примеси node.
Случай 2: с sample_weight
Теперь попробуем:
dtc.fit(X,Y,sample_weight=[1,2,3])
print dtc.tree_.threshold
# [1.5, -2, -2]
print dtc.tree_.impurity
# [0.44444444, 0.44444444, 0.]
Вы можете видеть, что порог функции отличается. sample_weight также влияет на примесную меру в каждом node. В частности, в оценках вероятности первый пример обучения считается одним и тем же, второй считается двойным, а третий считается тройным из-за весов выборки, которые мы предоставили.
Примесь в родительской области node такая же. Это просто совпадение. Мы можем вычислить его напрямую:
p = Pr(Class=1) = (1+3) / (1+2+3) = 2.0/3.0
Далее следует показатель gini 4/9.
Теперь вы можете видеть из выбранного порога, что первый и второй примеры обучения отправляются левому дочернему элементу node, а третий отправляется вправо. Мы видим, что примесь вычисляется как 4/9 также в левом дочернем элементе node, потому что:
p = Pr(Class=1) = 1 / (1+2) = 1/3.
Примесь нуля в правом ребёнке обусловлена только одним примером обучения, лежащим в этой области.
Вы можете расширить это с помощью нецелых выборочных масок аналогично. Я рекомендую попробовать что-то вроде sample_weight = [1,2,2.5] и подтвердить вычисленные примеси.
Надеюсь, это поможет!