Distribution of 99En-9SEE Under A。

Reduced me del Y-XB.tl &CB-0

LSE of pi Fang min p 11Y-X A 112 s.t.ci 二0
上
mxl 录（2「p）=2
f(f， 八） 二 11ㄚ-Xfl"t NCB =YT Y -2ㄚㄒㄨftp.TXTXftdcp
I 寻。CIA p）=ZAP
rn X I
子fcp，八） -地-1）ㄒ+2×"ㄨB t兦「c I -2ㄨㄒㄚt ZXT.pt EL二0
一一 1
子B
子ftp.，八） zo
二cp。
子入

l 左乘 （ix）十 2（IX) hi Y+2ft Xx HE入二0 3

3 在乘c -2C(X THEY tzcptccxT.tic.no 4

4 左乘 C（炒）ti 十 -2［C（姒）"（门"C（奻）"i Yt儿=0=） 八二ZCCiXTCTJT.int i Y

代入 3 -2（ix）"i Ytzf+2必✗ Hi cc ix）"（T Jtc (ix）十ㄨㄒㄚ=0

n
⇒ p =（ix）十炘一 Xx HcTcc ix）心了"（（ix）"心 -p的estimator under He
= b-A b A b

SER=11Y-X Bill，"=11 Y-X b+ x A b 112=11 Y-X b it！！X Ab 1142（Y-X b F X A b

11
SEE F = 11Y-Xb.tl"
2（Y-11-Y 7T x A b
S S E k-S S E F= 112A b ll"= b'A Tx Ab
"
2ㄚ"（2It)X Ab
=b （ccixitiicxTXTXTXLXT.TT(ccixH.TN cb
ǒ
= bTT.CC ix）"（T）"c b E S E-15～ 5Tim)

under Ho: CB二0

，
S S E R-S SEE= 1 X(IX）十（T(C (ix）十（T）+c (ix）"x TY
= （X ftp.TX (ix）"U(cc ix）"i）"C(ix) t i C X f t E)
Cb= C(ix）十x T Y~N（*， 又7
已 ☑
Eli）= （（ix iixp Cov（ˋ）= c c ix）"if I xc ix）"c T= fic ix）"CT
"
cp=0
You N（0，5主） SET~xim）52
p.fi Y ~N（0， 52三） 二） 5"I-立9～ N （0， 5"三一气。"三 三 5-1）=N（0， I)
Then 115"之气9112～ X"（m)
- is - x"（m） =2 9E-19～ 5方"（m)

Hype thesis testing for It。= C f=0

S SEES9E F2 C Reject He
11d
5）"（m)
~Exim？心
S S E R-S S E Then
→ Test statistic
S SEE
n-K 1 no iicntn
n-k-1
if 分子丝分母 test Stat is c v Fm,n-k-1

分母 ： S S E F =11 （2H7ㄚ 112

分子： s SER-9SEE二bit[ccixz.it］"cb=Y T x (ix）"CT.cc ix）"c 门"ccix Hi Y

皋等十对称
= 11×（ix）"LT cc ix）"U J"cc ix）"i Y112
only to prove (I-H 7ㄚ 丝 X(X T x H c T[ccix）"（T）"cc xTx）"I Y
Cor (u） =（2一日 I FIX(ix）十d(cc ix）"c T)T.ci/）1xT=o

Summary q mxukt D
Fun model ㄚ=ㄨB t8 Reduced me del Yo X ft 9 &c f=o

B的estimator b=（ix）"I Y B的es ti mater p"=b-A b

S SEE s.SE红
Ho: Cf二0
1 SS ER-S.SE下= 5c T C(ix) c'Tcb 5分（m)
z Test Ho: cp=0
(SSER-ss.EE)m
Test statistic >c Reject 170
S S E F/n-K-1
Determine c= size-a 5） 2cm7
小二红本主气色 Hellto）= P(CSSER-S.SE下2/m > CI He)
ss Et/n-K-1
☑ 5分（n-k-1）
c
Fm,n-k-1 业

let C= Fm,n-k-1 （2）

1 Ho: pj=0 ←7 Hi: Bj to ㄚ=ㄨf t E~N(0， 522n)

E） （0，…， 1，… 0）［ mA0 | =0
:
C m=1 Bk
est ra Sum of squares principle (SSEn-S.SE F2/m
恐Fm,n_n
S S E F/n-k-1

"
b"CTT.cc ix）大门cb
m SEE
11
bj"［（ix）十（j+1，j+1）］-1
S2
11
bj2 bj
1 2 红（tmkni
5（ix）"cjti,jt1） = ［s/（ix) titi,jt1）
2 Xi X2 y ~ y y = p.int fix it fun tbh t E to: pops=0

He= 0 0 1 0 = 影=0
影二0 E） （ i
。。。.了（ f z
l
c m=2 k"3 B3
Test statistic S S E R-S S E F/m = b T T T.cc ix）"E了"cb/2
～ Fun-4
SEE F/n-K-1 it (I-1子） Y / n-4
if Test statistic 2 F z,n-4 （2） Reject He

Me del Selection principle {X，，…，加了 找子集 { X，，…， Xp 了 Pick

if k 大 ① variance 大

② 5"←经｛ 器
， Freedom 小
0 A model is too simple
x o under- fitting
x ㄨ
ㄨ e high bias, low variance

0 A medel is too complicated

又 ✗ o even fitting
，
no bias low, high variance
o meddling the random error

how to balance bias and variance

All-possible_ regression selection

X= ｛x.，…， 加了 李戈X的子集D Sit， 某些 criterion 在口上最好
(a) R2 criterion
RE SS汇
SST

y - （X.，X2， X3）

1个解释变量 X1 X2 X3 y = f.t fix it Ei i=1，… 3 算。至售量

2个译释变量 (X, X22 an X3） (Xz，们

34详释 变量 Xi, X2， X

X, → (X2， X3） → (X，， Xz, X3） 和用 122找子集 (X！，ㄨ2）

0.6 → 以9 92

(b） Ra兰 l- MMS SET To find the subsets of X for which Ra2 is at the maximum

SS E n 1
012a至 1- n-k-1 ˙ 二
s sㄒ = 1- n-k-1 （ 1-R了 ER"

e Ra"=-S"
n-1 Ra221- 器+（1-k2 ， 一
ok很小 n-k-1 = 1 k T RT
Rǎ
k很大 R"不会变化太快 k 0
Ra Er 器+ 11-nil
k
(c) G criterion Cp台 9S-r
E C.I" - （n-2（Pti））
s"
{X.，…，Xn了 所有的 y=201-n t mㄨt…十 加Xk ① 计并 ss.ES三 n-K-1
SSE

选子集 P=｛x.，…，Xp了 y= f o L n t p.x.-灬t f p X p-1 9 P 所选的集合中解释变量个数

99ECP） 在模型②中计并 s s E
922 MS譽

M S E(i）=E 11年-M 112=E(i-u i c i-M）=E[i"-2iuuiuj 二E ITH p Y- 2Y T H p M9tu"M =E tr Hp Y Y"-2 EtrltpuYT.lu Tu

i under d­
under the true me del 二E tr Hp cute）（Mt9）ㄒ-2Etrltp MCM十E) Tulu
选的模型 ㄚ=u t e
二tr Hp(MM"t E EST) z t r l t p MM车MTM
y=p。In t Six，+…+f p X p-19
二 MT Hp Mt tr Hp 5"In-2MT Hp Mt MTM
i=H p Y
H p= X p(xixptxp.T­ =µㄒ（2-Hp)Mt 5之pt1）
T p=（In,Xi，…，Xp)

ES S E(P） = E Yㄒ（2-11-p)Y = T（2-Hp） （MM Tt 522n） =～ㄒ（I-Hp) Mt 52（n-12-1）

M S E(i）= E S S E c p）- 5（n-p-1） t 5"（p-11） =E S S E C P） + 572（p-11）-n)
M S E(i)
r2 =E S S 52
E C p） - ［n-z(p-171］

Ecp二 M S E(i)
52 人Cp上
MS ELY"）
s.t.CH 达到最小的子集 G三1211
52

(d) ALC二 max Luc Yi，…， Yn）-R Yi，…， Yn

这
最大对数，以战 gnxl
{x.，…， 加了 台p Y=f。十 fix it...十 fp Xpt9 竺 Xp Bp t E­
d
nxc.pt，， 山
f｝ （Pti)X l­
i­
ip
joint pdf exp ｛一言 （y-xpppfcohnicy-xpp.pl了
（2天）"152么
5
222 1
- leg -_- 主（ - Xpxp.7Ty-xp.fr p ） 字2- leg（2六）是 呈leg on

取 pi =（X p T x p H x i Y - pop的MLE
fr二 六 YTL I-Xp(Xp"Xp）"X PT)Y -7 5言子MLE­
人 max L: -tcy-xppiicy-xp.jp7 - leg122）是 气leg 会 YTLL-xp.lyTxp）"Xp"）Y
卡YT In Xp(Xp Txp）十x P Y
=一气一 leg （221是 气leg 去 SSE 1127

人A2心 一是 legs S E C p7-p

找P 9it, AIC is maxi mini zed ⇐） n leg SS Ecp)+ 2P 达到最小