Стандартные оценки ошибок R glm для SAS PROC GENMOD
Я преобразовываю пример SAS PROC GENMOD в R, используя glm в R. Код SAS был:
proc genmod data=data0 namelen=30;
model boxcoxy=boxcoxxy ~ AGEGRP4 + AGEGRP5 + AGEGRP6 + AGEGRP7 + AGEGRP8 + RACE1 + RACE3 + WEEKEND +
SEQ/dist=normal;
FREQ REPLICATE_VAR;
run;
Мой код R:
parmsg2 <- glm(boxcoxxy ~ AGEGRP4 + AGEGRP5 + AGEGRP6 + AGEGRP7 + AGEGRP8 + RACE1 + RACE3 + WEEKEND +
SEQ , data=data0, family=gaussian, weights = REPLICATE_VAR)
Когда я использую summary(parmsg2)
, я получаю те же оценки коэффициентов, что и в SAS, но мои стандартные ошибки сильно отличаются.
Итоговый вывод SAS:
Name df Estimate StdErr LowerWaldCL UpperWaldCL ChiSq ProbChiSq
Intercept 1 6.5007436 .00078884 6.4991975 6.5022897 67911982 0
agegrp4 1 .64607262 .00105425 .64400633 .64813891 375556.79 0
agegrp5 1 .4191395 .00089722 .41738099 .42089802 218233.76 0
agegrp6 1 -.22518765 .00083118 -.22681672 -.22355857 73401.113 0
agegrp7 1 -1.7445189 .00087569 -1.7462352 -1.7428026 3968762.2 0
agegrp8 1 -2.2908855 .00109766 -2.2930369 -2.2887342 4355849.4 0
race1 1 -.13454883 .00080672 -.13612997 -.13296769 27817.29 0
race3 1 -.20607036 .00070966 -.20746127 -.20467944 84319.131 0
weekend 1 .0327884 .00044731 .0319117 .03366511 5373.1931 0
seq2 1 -.47509583 .00047337 -.47602363 -.47416804 1007291.3 0
Scale 1 2.9328613 .00015586 2.9325559 2.9331668 -127
Итоговый вывод из R:
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 6.50074 0.10354 62.785 < 2e-16
AGEGRP4 0.64607 0.13838 4.669 3.07e-06
AGEGRP5 0.41914 0.11776 3.559 0.000374
AGEGRP6 -0.22519 0.10910 -2.064 0.039031
AGEGRP7 -1.74452 0.11494 -15.178 < 2e-16
AGEGRP8 -2.29089 0.14407 -15.901 < 2e-16
RACE1 -0.13455 0.10589 -1.271 0.203865
RACE3 -0.20607 0.09315 -2.212 0.026967
WEEKEND 0.03279 0.05871 0.558 0.576535
SEQ -0.47510 0.06213 -7.646 2.25e-14
Важность различия в стандартных ошибках состоит в том, что коэффициенты SAS являются статистически значимыми, но коэффициенты RACE1
и WEEKEND
в выводе R не являются. Я нашел формулу для вычисления доверительных интервалов Вальда в R, но это бессмысленно, учитывая разницу в стандартных ошибках, так как я не получу одинаковых результатов.
По-видимому, SAS использует стабилизированный хребтом алгоритм Ньютона-Рафсона для своих оценок, которые являются ML. Информация, которую я прочитал о функции glm
в R, состоит в том, что результаты должны быть эквивалентны ML. Что я могу сделать, чтобы изменить свою процедуру оценки в R, чтобы получить эквивалентные коэффициенты и стандартные оценки ошибок, которые были созданы в SAS?
Чтобы обновить, благодаря ответу Spacedman, я использовал вес, потому что данные получены от людей в диетическом опросе, а REPLICATE_VAR
- сбалансированный повторный вес репликации, который является целым числом (и довольно большим, в порядке 1000 или 10000 с). Веб-сайт, описывающий вес, здесь. Я не знаю, почему в SAS использовалась команда FREQ
, а не команда WEIGHT
. Теперь я проверю, расширив количество наблюдений, используя REPLICATE_VAR, и повторю анализ.
Спасибо Ben ответ ниже, код, который я использую сейчас:
parmsg2 <- coef(summary(glm(boxcoxxy ~ AGEGRP4 + AGEGRP5 + AGEGRP6 + AGEGRP7 + AGEGRP8 + RACE1 + RACE3
+ WEEKEND + SEQ , data=data0, family=gaussian, weights = REPLICATE_VAR)))
#clean up the standard errors
parmsg2[,"Std. Error"] <- parmsg2[,"Std. Error"]/sqrt(mean(data0$REPLICATE_VAR))
parmsg2[,"t value"] <- parmsg2[,"Estimate"]/parmsg2[,"Std. Error"]
#note: using the t-distribution for p-values, correct the t-values
allsummary <- summary.glm(glm(boxcoxxy ~ AGEGRP4 + AGEGRP5 + AGEGRP6 + AGEGRP7 + AGEGRP8 + RACE1 +
RACE3 + WEEKEND + SEQ , data=data0, family=gaussian, weights = REPLICATE_VAR))
parmsg2[,"Pr(>|t|)"] <- 2*pt(-abs(parmsg2[,"t value"]),df=allsummary$df.resid)
Ответы
Ответ 1
изменить: чтение документации SAS для FREQ и ваших ответов выше и ниже, вот что, я думаю, вам следует попробуйте использовать weights=REPLICATE_VAR
в инструкции glm
для настройки относительного взвешивания групп (равенство найденных выше коэффициентов предполагает, что это правильный путь), затем используйте N=sum(REPLICATE_VAR)
в настройке, предложенной ниже ( Я также думаю, что вы можете использовать lm
вместо glm
для этой проблемы... это не будет иметь большого значения, но должно быть немного быстрее и надежнее.)
Что-то вроде:
s <- coef(summary(lm(y~x,data=data2, weights=REPLICATE_VAR)))
s[,"Std. Error"] <- s[,"Std. Error"]/sqrt(sum(data2$REPLICATE_VAR))
s[,"t value"] <- s[,"Estimate"]/s[,"Std. Error"]
s[,"Pr(>|t|)"] <- 2*pt(abs(s[,"t value"]),df=g$df.resid)
Ответ 2
FREQ в SAS не совпадает с весами в R glm. В SAS - количество вхождений этого события. Для R его "что каждый ответ y_i является средним для w_i единичных весовых наблюдений". Эти две вещи не совпадают.
Если вы хотите, чтобы R выдавал тот же результат, что и SAS (не могу понять почему), вам, вероятно, потребуется повторить каждую строку в вашем "фрейме" вашего количества раз.
Здесь данные 10 строк со всеми весами = 2, а data2 - 20 строк (2 копии каждой строки данных) со всеми весами = 1:
> summary(glm(y~x,data=data2,weights=weights))$coef
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.32859847 0.13413683 2.4497259 0.02475748
x 0.01540002 0.02161811 0.7123667 0.48537003
> summary(glm(y~x,data=data,weights=weights))$coef
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.32859847 0.20120525 1.6331506 0.1410799
x 0.01540002 0.03242716 0.4749111 0.6475449
Сжатие немного, N наблюдений с одним и тем же значением имеют меньшую нечеткость, чем говорят, что это наблюдение является средним из N наблюдений, поэтому SE с повторными наблюдениями будет иметь меньший SE, чем средний.