Я вычислил тестовую статистику, которая распределяется как квадрат хи с 1 степенью свободы, и хочу узнать, какое значение P это соответствует использованию python.
Я новичок в python и maths/stats, поэтому я думаю, что я хочу здесь, это функция denisty для распределения chi2 от SciPy. Однако, когда я использую это так:
from scipy import stats
stats.chi2.pdf(3.84 , 1)
0.029846
Однако некоторые поисковые запросы и разговоры с некоторыми коллегами, которые знают математику, но не питон, сказали, что это должно быть 0,05.
Любые идеи? Ура, Дэви
Быстрое обновление:
Функция плотности вероятности: подумайте об этом как о значении точки; насколько плотна вероятность в данной точке?
Функция кумулятивного распределения: это масса вероятности функции до данной точки; какой процент распределения лежит на одной стороне этого пункта?
В вашем случае вы взяли PDF файл, для которого вы получили правильный ответ. Если вы попробуете 1 - CDF:
>>> 1 - stats.chi2.cdf(3.84, 1)
0.050043521248705147
Чтобы вычислить вероятность нулевой гипотезы при заданной четной сумме и степенях свободы, вы также можете вызвать chisqprob:
>>> from scipy.stats import chisqprob
>>> chisqprob(3.84, 1)
0.050043521248705189
Примечание:
chisqprob устарел! stats.chisqprob устарел в scipy 0.17.0; используйте stats.distributions.chi2.sf вместо
В то время как stats.chisqprob() и 1-stats.chi2.cdf() кажутся сопоставимыми для небольших значений хи-квадрата, для больших значений хи-квадрат предпочтительнее первое. Последнее не может обеспечить p-значение меньше машинного эпсилона и даст очень неточные ответы, близкие к машинным эпсилон. Как показывают другие, сопоставимые значения приводятся для небольших значений хи-квадрат с помощью двух методов:
>>>from scipy.stats import chisqprob, chi2
>>>chisqprob(3.84,1)
0.050043521248705189
>>>1 - chi2.cdf(3.84,1)
0.050043521248705147
Здесь используется 1-chi2.cdf():
>>>1 - chi2.cdf(67,1)
2.2204460492503131e-16
>>>1 - chi2.cdf(68,1)
1.1102230246251565e-16
>>>1 - chi2.cdf(69,1)
1.1102230246251565e-16
>>>1 - chi2.cdf(70,1)
0.0
В то время как chisqprob() дает точные результаты для гораздо большего диапазона значений хи-квадрата, создавая значения p, почти такие же маленькие, как наименьший поплавок больше нуля, до тех пор, пока он слишком не пройдет:
>>>chisqprob(67,1)
2.7150713219425247e-16
>>>chisqprob(68,1)
1.6349553217245471e-16
>>>chisqprob(69,1)
9.8463440314253303e-17
>>>chisqprob(70,1)
5.9304458500824782e-17
>>>chisqprob(500,1)
9.505397766554137e-111
>>>chisqprob(1000,1)
1.7958327848007363e-219
>>>chisqprob(1424,1)
1.2799986253099803e-311
>>>chisqprob(1425,1)
0.0
Обновление: как отмечено, chisqprob() устарел для версии scipy 0.17.0 и далее. Высокоточные значения хи-квадрата теперь можно получить через scipy.stats.distributions.chi2.sf(), например:
>>>from scipy.stats.distributions import chi2
>>>chi2.sf(3.84,1)
0.050043521248705189
>>>chi2.sf(1424,1)
1.2799986253099803e-311
Вы хотели сделать:
>>> 1 - stats.chi2.cdf(3.84, 1)
0.050043521248705147
Некоторые из других решений устарели. Используйте scipy.stats.chi2 Функция выживания. Это то же самое, что 1 - cdf(chi_statistic, df)
Пример:
from scipy.stats import chi2
p_value = chi2.sf(chi_statistic, df)
Если вы хотите понять математику, p-значение образца x (фиксированное),
P [P (X) <= P (x)] = P [m (X) >= m (x)] = 1 - G (m (x) ^ 2)
где <
Итак, если вы вычисляете p-значение фиксированного наблюдения x, тогда вы вычисляете m (x) (обобщенный z-балл) и 1-G (m (x) ^ 2).
например, хорошо известно, что если x отбирается из одномерного (k = 1) нормального распределения и имеет z-score = 2 (это 2 стандартных отклонения от среднего), то p-значение составляет около 0,046 (см. таблицу z-score)
In [7]: from scipy.stats import chi2
In [8]: k = 1
In [9]: z = 2
In [10]: 1-chi2.cdf(z**2, k)
Out[10]: 0.045500263896358528