Test PDF

Hồi quy tuyến tính bội
GV hướng dẫn: ThS Lê Xuân Lý
Nhóm 5 - lớp 119624
Viện Toán ứng dụng và Tin học

Trường đại học Bách Khoa Hà Nội
Ngày 19 tháng 11 năm 2020

Các thành viên
Z cố định
Z là biến
ngẫu nhiên • Nguyễn Quang Huy 20185454
So sánh hai • Nhữ Thị Lan 20185462
mô hình
• Đỗ Thị Thanh Châu 20185434
• Lê Thành Trung 20185486
• Bùi Doãn Đang 20185437
• Nguyễn Thị Thu Hoài 20185358
• Phạm Tùng Huy 20185456
• Nguyễn Minh Hiếu 20185349
• Trần Thành Đạt 20185439
Nhóm 5 - lớp 119624 Hồi quy tuyến tính bội Ngày 19 tháng 11 năm 2020
Lời cảm ơn
Z cố định
Z là biến
ngẫu nhiên
So sánh hai
mô hình
Chúng em xin cảm ơn thầy Lê Xuân Lý đã dạy lớp chúng em

và hướng dẫn chúng em hoàn thành báo cáo này
Nội dung chính
Z cố định
Z là biến 1 Z cố định 2 Z là biến ngẫu nhiên
ngẫu nhiên Mô hình Một biến phụ thuộc
So sánh hai Khớp mô hình Mô hình
mô hình R2
Tính chất tham số
Phân phối chuẩn
ε và ε̂
β và β̂ Nhiều biến phụ thuộc
Σ và Σ̂ Mô hình
Tương quan riêng
Đánh giá mô hình
Ý nghĩa biến
3 So sánh hai mô hình
Ý nghĩa mô hình Dạng center form
Xây dựng mô hình Liên hệ hai mô hình
Hai bài toán ước
lượng
Giá trị kỳ vọng
Giá trị chính xác
Nội dung chính
Z cố định
Mô hình
1 Z cố định 2 Z là biến ngẫu nhiên
Khớp mô hình
Tính chất tham
Mô hình Một biến phụ thuộc
số
Khớp mô hình Mô hình
Đánh giá mô R2
hình Tính chất tham số
Hai bài toán ước ε và ε̂
lượng
Z là biến Σ và Σ̂ Mô hình
ngẫu nhiên Tương quan riêng
So sánh hai
Ý nghĩa biến
mô hình
lượng
Nội dung chính
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô R2
lượng
So sánh hai
Ý nghĩa biến
mô hình
lượng
Mô hình
Z cố định
Mô hình Y1 = β01 + β11 z1 + · · · + βr 1 zr + ε1
Khớp mô hình
Y2 = β02 + β12 z1 + · · · + βr 2 zr + ε2
Tính chất tham
số .. ..
Đánh giá mô
. .
hình Ym = β0m + β1m z1 + · · · + βrm zr + εm
lượng
Z là biến
ngẫu nhiên Sai số ε0 = [ε1 , ε2 , . . . , εm ] có E (ε) = 0 và Var (ε) = Σ.
So sánh hai
mô hình
• Yj0 = Yj1 , Yj2 , . . . , Yjm

• ε0j = εj1 , εj2 , . . . , εjm

Mô hình
Z cố định
Mô hình  
Khớp mô hình z10 z11 · · · z1r
Tính chất tham
z20 z21 · · · z2r
 
số
 
Z = .. .. . . . 
Đánh giá mô
hình
(n×(r +1)) 
 . . . .. 

lượng
zn0 zn1 · · · znr
Z là biến
ngẫu nhiên
 
So sánh hai
mô hình Y11 Y12 · · · Y1m
Y21 Y22 · · · Y2m
  h
 = Y ...Y ... · · · ...Y
  i
Y = .. .. .. .. (1) (2) (m)
(n×m) 
 . . . .


Yn1 Yn2 · · · Ynm
Mô hình
Z cố định  
Mô hình
Khớp mô hình
β01 β02 · · · β0m
β11 β12 · · · β1m
 
Tính chất tham  
số β = .. .. .. .. 
Đánh giá mô (r +1)×m)

 . . . .


hình
βr 1 βr 2 · · · βrm
lượng
. . .
h i
Z là biến = β(1) ..β(2) .. · · · .. β(m)
ngẫu nhiên
So sánh hai
mô hình  
ε11 ε12 · · · ε1m
ε21 ε22 · · · ε2m
  h
 = ε ...ε ... · · · ...ε
  i
ε = .. .. . . .. (1) (2) (m)
(n×m) 
 . . . .


εn1 εn2 · · · εnm
= [ε01 ε02 . . . ε0n ]
Mô hình
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số Từ đó, mô hình hồi quy tuyến tính bội được định nghĩa là:
Đánh giá mô
hình
Hai bài toán ước Y = Z β + ε
lượng (n×m) (n×(r +1))((r +1)×m) (n×m)
Z là biến
ngẫu nhiên với
So sánh hai
mô hình
E ((ε(i) ) = 0 và Cov(ε(i) , ε(k) ) = σik I, i, k = 1, 2, · · · , m
Điều kiện
 
Z cố định σjk 0 ··· 0
Mô hình
 .. .. 
Khớp mô hình 0 σjk . . 
Tính chất tham E (ε) = 0 và Cov (ε(j) , ε(k) ) = σjk I = 
 .. .. ..

số
. .

 . 0
Đánh giá mô
hình 0 ··· 0 σjk
lượng
     
Z là biến
ngẫu nhiên ε11 ε12 ε1m
ε21  ε22  ε2m 
     
So sánh hai
mô hình • ε(1) =  .  , ε(2) =  .  , · · · ε(m) =  . 
    
 ..   ..   .. 

εn1 εn2 εnm
h i h i
• ε11 ε12 · · · ε1m , · · · , εn1 εn2 · · · εnm .
Mô hình
Z cố định • Tham số chưa biết trong mô hình là Σ và β

Mô hình
Khớp mô hình    0
Tính chất tham y11 y12 · · · y1m y
số   10 
y y · · · y y2 

Đánh giá mô
 21 22 2m 
hình • Y= .. .. . . ..  =
 .. 

Hai bài toán ước  . . . .

   .
lượng 0
yn1 yn2 · · · ynm yn
Z là biến
ngẫu nhiên
So sánh hai
• Mỗi một cột của Y gồm n quan sát của mỗi một trong p
mô hình biến phụ thuộc, tương ứng với vectơ y trong mô hình cổ
điển.
Y(i) = Zβ(i) + ε(i) , i = 1, 2, . . . , m

với Cov ε(i) = σii I, tuy nhiên sai số từ các biến phản hồi
khác nhau trong cùng một quan sát có thể sẽ tương quan.
Mô hình
Z cố định
Mô hình
Khớp mô hình
Tính chất tham 1. E (Z ) = XB or E (Σ) = O.
số
Đánh giá mô
hình
lượng
0
Z là biến 2. cov (yi ) = Σ for all i = 1, 2, . . . , n, trong đó yi là hàng thứ i
ngẫu nhiên của Y .
So sánh hai
mô hình
3. cov (yi , yj ) = O với mọi i 6= j.
Nội dung chính
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô R2
lượng
So sánh hai
Ý nghĩa biến
mô hình
lượng
Phương pháp bình phương tối thiểu
Z cố định
Mô hình
• β̂(i) = Z0 Z −l Z0 Y(i)
Khớp mô hình

Tính chất tham
số
Đánh giá mô
hình
lượng
• Ta có
Z là biến . . .

ngẫu nhiên β̂ = β̂(1) ..β̂(2) .. · · · ..β̂(m)
So sánh hai
mô hình −1 0 h . . . i
= Z0 Z Z Y(1) ..Y(2) .. · · · .. Y(m)
−1 0
hay β̂ = Z0 Z ZY
Phương pháp bình phương tối thiểu
Z cố định
Mô hình B = [ b(1) ...b(2) ... · · · ...b(m) ]
Khớp mô hình
Tính chất tham
số 
Đánh giá mô
0 0
hình
 Y (1) − Zb(1) Y (1) − Zb(1) · · · Y (1) − Zb(1) Y(m)
lượng
 .. ..

 . .
Z là biến  0 0
ngẫu nhiên Y(m) − Zb(n)) Y(1) − Zb(1) ··· Y(m) − Zb(m) Y(m
So sánh hai
mô hình
Ước lượng bình phương nhỏ nhất β̂ có thể thu được mà

không cần sử dụng các giả thiết E (Y ) = ZB, cov (yi ) = Σ và
cov (yi , yj ) = O. Tuy nhiên, khi có các giả thiết này, β̂ có các
tính chất thú vị.
Các tham số khác
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô −1 0
hình Giá trị dư báo: Ŷ = Zβ̂ = Z Z0 Z ZY
lượng
Z là biến
ngẫu nhiên
So sánh hai
mô hình h −1 0 i
Phần dư: ε̂ = Y − Ŷ = I − Z Z0 Z Z Y
Ví dụ 7.8
Z cố định
Mô hình Để mô phỏng tính toán các ma trận β̂, Ŷ và ε̂, ta sẽ thực hiện
Khớp mô hình hồi quy tuyến tính cho 2 biến phụ thuộc Y1 và Y2 ở ví dụ 7.3
Tính chất tham
số
Đánh giá mô Yj1 = β01 + β11 zj1 + εj1
hình
lượng Yj2 = β02 + β12 zj2 + εj2
Z là biến
ngẫu nhiên với i = 1, 2, . . . , 5. Các dữ liệu này, được gia tăng bởi thực
So sánh hai hiện quan sát trên một biến phụ thuộc thêm vào, dựa theo
mô hình bảng sau
z1 0 1 2 3 4
y1 1 4 3 8 9
y2 −1 −1 2 3 2
Ví dụ 7.8
Ma trận Z không thay đổi so với bài toán đơn biến phụ thuộc.
Z cố định
Mô hình Do đó " #
Khớp mô hình 0 1 1 1 1 1
Tính chất tham Z =
số 0 1 2 3 4
Đánh giá mô " #
hình
0, 6 −0, 2
Hai bài toán ước (Z 0 Z )−1 =
lượng −0, 2 0, 1
Z là biến
ngẫu nhiên và  
So sánh hai −1
mô hình " # −1 " #
1 1 1 1 1   5
 
Z 0 y(2) =  2 =
0 1 2 3 4   20
3
2
Do đó
" #" # " #
0 −1 0 0, 6 −0, 2 5 −1
β̂(2) = (Z Z ) Z y(2) = =
Nhóm 5 - lớp 119624 −0,
Hồi quy tuyến tính2bội 0, 1 Ngày 19 tháng 11 1
20 năm 2020
Ví dụ 7.8
Do đó
Z cố định " #" # " #
Mô hình
0 −1 0 0, 6 −0, 2 5 −1
Khớp mô hình β̂(2) = (Z Z ) Z y(2) = =
Tính chất tham
−0, 2 0, 1 20 1
số " #
Đánh giá mô
1
hình
Từ ví dụ 7.3, ta có β̂(1) = (Z 0 Z )−1 Z 0 y(1) = , suy ra
Hai bài toán ước 2
lượng
" #
Z là biến h i 1 −1
ngẫu nhiên β̂ = β̂(1) | β̂(2) = = (Z 0 Z )−1 Z 0 [y(1) | y(2) ]
So sánh hai
2 1
mô hình
Các giá trị phù hợp được sinh bởi ŷ1 = 1 + 2z1 và
ŷ2 = −1 + z2 , cuối cùng
   
1 0 1 −1
1 1
 " # 3 0 
 1 −1
 
Ŷ = Z β̂ = 1 2 = 5 1 
  
 2 1
1 3 7 2 
  
Nhóm 5 - lớp 119624 1 quy4tuyến tính bội
Hồi 9Ngày 319 tháng 11 năm 2020
Ví dụ 7.8
   
Z cố định
Mô hình
1 0 1 −1
1 1 "
Khớp mô hình
  # 3 0 
 1 −1
 
Tính chất tham
Ŷ = Z β̂ = 1 2 = 5 1 
  
số
 2 1
1 3 7 2 
  
Đánh giá mô
hình
1 4 9 3
lượng
Z là biến
và " #
ngẫu nhiên 0 1 −2 1 0
ε̂0 = Y − Ŷ =
So sánh hai 0 −1 1 1 −1
mô hình
Chú ý rằng
 
1 −1
" # 3 0  " #
0 1 −2 1 0  0 0
 
0
ε̂ Ŷ = 5 1  =

0 −1 1 1 −1  0 0
7 2 

9 3
Ví dụ 7.8
Như vậy
Mô hình
Khớp mô hình
1 −1
Tính chất tham
" # 4 −1 " #
1 4 3 8 9  171 43
 
số 0
Y Y = 3 2  =

Đánh giá mô
−1 −1 2 3 2  43 19
hình
8 3 

lượng 9 2
Z là biến " #
ngẫu nhiên 165 45
So sánh hai Ŷ 0 Ŷ =
mô hình 45 15
" #
0 6 −2
ε̂ ε̂ =
−2 4
Dễ dàng kiểm chứng được đẳng thức

Y 0 Y = Ŷ 0 Ŷ + ε̂0 ε̂
Nội dung chính
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
ε và ε̂
R2
β và β̂ Tính chất tham số
Σ và Σ̂ Phân phối chuẩn
Đánh giá mô
ε và ε̂
hình β và β̂ Nhiều biến phụ thuộc
Hai bài toán ước Σ và Σ̂ Mô hình
lượng Tương quan riêng
Z là biến
Ý nghĩa biến
ngẫu nhiên
So sánh hai
mô hình Xây dựng mô hình Liên hệ hai mô hình
lượng
ε và ε̂
Z cố định h i
• Z0 ε̂ = Z0 I − Z Z0 Z −1 Z0 Y = 0

Mô hình
Khớp mô hình
Tính chất tham
số h i
• Ŷ0 ε̂ = β̂ 0 Z0 I − Z Z0 Z −1 Z0 Y = 0

ε và ε̂
β và β̂
Σ và Σ̂
Đánh giá mô
hình
• Y0 Y = (Ŷ + ε̂)0 (Ŷ + ε̂) = Ŷ0 Ŷ + ε̂0 ε̂ + 0 + 00 , hoặc
lượng
Z là biến YY0 = Ŷ0 Ŷ + ε̂0 ε̂

ngẫu nhiên
So sánh hai Như vây, tổng bình phương và tích hữu hướng phần dư (sai
mô hình
số) được viết lại thành:
ε̂0 ε̂ = Y0 Y − Ŷ0 Ŷ = Y0 Y − β̂ 0 Z0 Zβ̂
ε và ε̂
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
ε và ε̂
β và β̂
ε) = 0
Định lý: E (b
Σ và Σ̂
Đánh giá mô
hình
lượng
Z là biến
ngẫu nhiên Định lý: E εb0(j) εb(k) = σjk (n − r − 1)
So sánh hai
mô hình
β và β̂
Z cố định
Mô hình Bổ đề: βb là ước lượng không chệch của β, có nghĩa là
Khớp mô hình
Tính chất tham
số
E [β]
b =β
ε và ε̂
β và β̂
Σ và Σ̂
Đánh giá mô Bổ đề: Nếu các sai số có phân phối chuẩn nhiều chiều thì βb
hình
Hai bài toán ước là ước lượng hợp lý cực đại của β.
lượng
−1
Z là biến Định lý: Cov (βb(j) , βb(k) ) = σjk Z0 Z với j, k = 1, 2, ...m
ngẫu nhiên
So sánh hai
mô hình Kết quả: ˆ và β̂ không tương quan,

Cov β̂(i) , ε̂(k) = 0
Σ và Σ̂
Z cố định
Mô hình
Khớp mô hình
 
Tính chất tham σ11 σ12 ··· σ1m
số
σ21 σ22 ··· σ2m
 
0
ε và ε̂
 
β và β̂ E ε̂ ε̂ = (n−r −1)  .. .. .. ..  = (n−r −1)Σ
Σ và Σ̂

 . . . .


Đánh giá mô
hình σm1 σm2 · · · σmm
lượng
Z là biến 1
ε̂0 ε̂ là ước lượng không chệch cho Σ.

ngẫu nhiên Bổ đề: Σ
b=
n−r −1
So sánh hai
mô hình
Ước lượng hợp lý cực đại
b = 1 (Y − Zβ)
Σ b 0 (Y − Zβ)
b
n
Σ và Σ̂
Z cố định Kết quả:

Mô hình
Khớp mô hình Mô hình hồi quy bội là hạng đủ
Tính chất tham
số
rank Z = r + 1, n ≥ (r + 1) + m và sai số ε có phân phối
ε và ε̂ chuẩn. Khi đó
β và β̂
Σ và Σ̂ β̂ = (Z 0 Z )−1 Z 0 Y
Đánh giá mô
hình
là ướclượng
hợp lí cực đại của β và β̂, có phân phối chuẩn
lượng
với E β̂ và Cov β̂(i) , β̂(k) = σik (Z 0 Z )−1 .
Z là biến
ngẫu nhiên Cũng có β là độc lập đối với ước lượng hợp lí cực đại đối với
So sánh hai ma trận xác định dương Σ là
mô hình
1 0 1 0
Σ̂ = ε̂ ε̂ = Y − Z β̂ Y − Z β̂
n n
và nΣ̂ là phân phối Wp,n−r −1 (Σ).

−mn −n −mn
Hàm cực đại hợp lí L µ̂, Σ̂ = (2π) 2 |∗| Σ̂ 2 e 2
Nội dung chính
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô R2
Ý nghĩa biến
ε và ε̂
Ý nghĩa mô hình
Xây dựng mô hình β và β̂ Nhiều biến phụ thuộc
Hai bài toán ước Σ và Σ̂ Mô hình
lượng Tương quan riêng
Z là biến
Ý nghĩa biến
ngẫu nhiên
So sánh hai
mô hình Xây dựng mô hình Liên hệ hai mô hình
lượng
Kiểm định tỉ số hợp lí cho tham số hồi quy
Mô hình β(1)
Khớp mô hình
 ((q+1)×m) 
Tính chất tham
số
H0 : β(2) = 0 với β = 
 β(2) 

Đánh giá mô
hình ((r −q)×m)
Ý nghĩa biến
Ý nghĩa mô hình
Xây dựng mô hình

lượng Đặt Z = Z1 Z2 , viết lại mô hình thành
(n×(q+1)) (n×(r −q))
Z là biến
ngẫu nhiên
So sánh hai " #
mô hình
β(1)
E(Y ) = Z β = [Z1 | Z2 ] = Z1 β(1) + Z2 β(2)
β(2)
Z cố định 0 0
Mô hình
Khớp mô hình
Y − Z1 β̂(1) Y − Z1 β̂(1) − Y − Z β̂ Y − Z β̂
Tính chất tham
số
Đánh giá mô = n Σ̂1 − Σ̂
hình
Ý nghĩa biến
Ý nghĩa mô hình
Xây dựng mô hình với
lượng
β̂(1) = (Z10 Z1 )−1 Z10 Y
Z là biến
ngẫu nhiên
So sánh hai và 0
mô hình 1
Σ̂ = Y − Z1 β̂(1) Y − Z1 β̂(1)
n
là ước lượng hợp lý cực đại của Σ
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô
hình
Ý nghĩa biến
max L(β(1) , Σ)
!n
Ý nghĩa mô hình
β(1) ,Σ L β̂(1) , Σ̂1 |∗| Σ̂ 2
Hai bài toán ước Λ= = =
lượng max L(β, Σ) L β̂, Σ̂ |∗| Σ̂1
β,Σ
Z là biến
ngẫu nhiên
So sánh hai
mô hình
Z cố định
Mô hình
Kết quả:
Khớp mô hình
Tính chất tham
số
Mô hình hồi quy bội với Z có hạng đủ rank Z = r + 1,
Đánh giá mô n ≥ (r + 1) + m và sai số ε có phân phối chuẩn.
hình
Ý nghĩa biến
Nếu H0 : β(2) = 0 đúng thì thống kê nΣ̂ có phân phối
Ý nghĩa mô hình

Xây dựng mô hình Wp,n−r −1 (Σ) độc lập với thống kê n Σ̂1 − Σ̂ có phân phối
lượng Wp,r −q (Σ). Khi đó, ta bác bỏ H0 nếu biểu thức dưới đây đủ
Z là biến lớn
ngẫu nhiên

So sánh hai
Σ̂ nΣ̂

mô hình
−2 ln Λ = −n ln = −n ln
Σ̂1 nΣ̂ + n Σ̂1 − Σ̂

Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô
hình
Ý nghĩa biến

Ý nghĩa mô hình Σ̂
Xây dựng mô hình 1
Hai bài toán ước − n − r − 1 − (m − r + q + 1) ln
lượng 2 Σ̂ 1
Z là biến
ngẫu nhiên
So sánh hai
mô hình
Ví dụ 7.9
Độ quan trọng của biến dự báo bổ sung với nhiều biến phụ thuộc
Z cố định
Mô hình
Khớp mô hình
Tính chất tham Hệ thống phục vụ ở 3 địa điểm trong chuỗi nhà hàng lớn được
số
Đánh giá mô
đánh giá theo hai tiêu chí đánh giá chất lượng phục vụ, bởi
hình khách hàng thân thiết nam và nữ. Bảng chất lượng phục vụ
Ý nghĩa biến
Ý nghĩa mô hình đầu tiên được đề cập ở ví dụ 7.5. Giả sử, xét mô hình hồi quy

cho phép các yếu tố là vị trí địa lí, giới tính, và sự tác động
lượng
qua lại giữa 2 yếu tố này, ảnh hưởng đến cả hai bảng chất
Z là biến lượng phục vụ. Ma trận thiết kế ở ví dụ 7.5 không đổi với
ngẫu nhiên
trường hợp 2 biến phụ thuộc. Ta sẽ kiểm định giả thiết sự tác
So sánh hai
mô hình động qua lại giữa 2 yếu tố này không ảnh hưởng đến 2 biến
phụ thuộc.
Ví dụ 7.9
Z cố định
Mô hình
Chương trình máy tính cung cấp dữ liệu sau
Khớp mô hình
Tính chất tham " #
số Sai số mô hình 2977, 39 1021, 72
Đánh giá mô = nΣ̂ =
hình ban đầu 1021, 72 2050, 95
Ý nghĩa biến
Ý nghĩa mô hình
Xây dựng mô hình " #
Hai bài toán ước Sai số 441, 76 246, 16

lượng = n Σ̂1 − Σ̂ =
chênh lệch 246, 16 366, 12
Z là biến
ngẫu nhiên
So sánh hai
mô hình Với β(2) là ma trận sự tác động qua lại giữa vị trí địa lý và giới
tính đối với 2 biến phụ thuộc. Dù n = 18 không lớn, nhưng ta
vẫn sử dụng kết quả 7.11 để kiểm định H0 : β(2) = 0.
Ví dụ 7.9
Z cố định
Mô hình Lấy α = 0.05, ta có
Khớp mô hình
Tính chất tham

số Σ̂
1
Đánh giá mô
hình
− n − r1 − 1 − (m − r1 + q1 + 1) ln =
2 Σ̂
Ý nghĩa biến 1
Ý nghĩa mô hình

1
lượng
= − 18 − 5 − 1 − (2 − 5 + 3 + 1) ln(0, 7605) = 3, 28
Z là biến 2
ngẫu nhiên
So sánh hai
mô hình
Dễ thấy vì 3, 28 < χ22(5−3) (0, 05) = 9, 49 nên chấp nhận H0
với mức ý nghĩa 5%. Suy ra vị trí địa lý và giới tính không cần
phải có tác động lẫn nhau.
Kiểm định giả thuyết tổng quát
Z cố định
Mô hình • H0 : C β = Γ0 , trong đó C là ma trận (r − q) × (r + 1) có
Khớp mô hình
Tính chất tham hạng đủ (r − q).
số
Đánh giá mô
hình
Ý nghĩa biến
• Khi C = 0 I và Γ0 = 0
Ý nghĩa mô hình
(r −q)×(r −q)

lượng
0 −1
Z là biến
ngẫu nhiên
• n Σ̂1 − Σ̂ = C β̂ − Γ0 C (Z 0 Z )−1 C 0 C β̂ − Γ0
So sánh hai
mô hình

• Nếu giả thuyết H0 đúng, thống kê n Σ̂1 − Σ̂ có phân phối
Wr −q (Σ) và độc lập với Σ̂.
Các thống kê nhiều chiều khác
Z cố định
Mô hình E = nΣ̂
Khớp mô hình
Tính chất tham ,
số
Đánh giá mô H = n Σ̂1 − Σ̂
hình
Ý nghĩa biến
Ý nghĩa mô hình s
Y 1 |E |
• Wilks’lambda = =
lượng 1 + ηi |E + H|
i=1
Z là biến s
X ηi h i
ngẫu nhiên • Pillai’s trace = = tr H(H + E )−1
So sánh hai 1 + ηi
mô hình i=1
s
X
• Hotelling-Lawley trace = ηi = tr(HE −1 )
i=1
η1
• Roy’s greatest root =
1 + η1
Ý nghĩa mô hình
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô
hình
Ý nghĩa biến
Ý nghĩa mô hình
Giải bài toán kiếm định H0 : β = 0 bằng một trong các
Hai bài toán ước phương pháp trên.
lượng
Z là biến
ngẫu nhiên
So sánh hai
mô hình
Z cố định
Mô hình
Khớp mô hình Về mặt ý tưởng, ta sử dụng phương pháp Stepwise theo 2
Tính chất tham
số
bước
Đánh giá mô
hình
Ý nghĩa biến
Ý nghĩa mô hình
Xây dựng mô hình 1. Trước tiên, ta tìm trong tập các biến Zi xem có biến nào bị
lượng thừa không?
Z là biến
ngẫu nhiên
So sánh hai 2. Sau khi đã chọn được tập các Z có ý nghĩa đầy đủ. Tương
mô hình
tự ta xem các biến Zi có dự đoán hết các biến phụ thuộc Y
hay không.
Nội dung chính
Z cố định
Mô hình
Khớp mô hình
Tính chất tham
số
Đánh giá mô R2
lượng
Giá trị chính xác Σ và Σ̂ Mô hình
Tương quan riêng
Z là biến Đánh giá mô hình
ngẫu nhiên
Ý nghĩa biến
So sánh hai Ý nghĩa mô hình Dạng center form
mô hình
lượng
h i
Z cố định
Mô hình
• z00 β̂ = z00 β̂(1) , z00 β̂(2) , . . . , z00 β̂(m)
Khớp mô hình
Tính chất tham
số
• E z00 β̂(i) = z00 E β̂(i) = z00 β(i)
Đánh giá mô
hình
lượng
0
Giá trị kỳ vọng • E z00 β(i) − β̂(i) β(k) − β̂(k) z0 =
0
Z là biến
ngẫu nhiên = z00 E β(i) − β̂(i) β(k) − β̂(k) z0
So sánh hai
mô hình = σik z00 (Z 0 Z )−1 z0
• Thêm nữa, từ kết quả 7.10, ta có β̂ 0 z0 có phân phối

N(β 0 z0 , z00 (Z 0 Z )−1 z0 Σ) và nΣ̂ độc lập với β̂ 0 z0 và có phân
phối Wn−r −1 (Σ).
Z cố định Giá trị chưa biết của hàm hồi quy tại z0 là β 0 z0 . Do đó, ở mục
Mô hình
Khớp mô hình
5.2 về thống kê T 2 , ta có thể viết
Tính chất tham !0 !
số −1
Đánh giá mô 2 β̂ 0 z0 − β 0 z0 n β̂ 0 z0 − β 0 z0
hình
T = p 0 Σ̂ p 0
z0 (Z 0 Z )−1 z0 n−r −1 z0 (Z 0 Z )−1 z0
lượng
Giá trị chính xác và ellipsoid độ tin cậy 100(1 − α)% cho β 0 z0 bởi bất phương
Z là biến trình
ngẫu nhiên −1
0 n
So sánh hai
mô hình β 0 z0 − β̂ 0 z0 Σ̂ β 0 z0 − β̂ 0 z0 ≤
n −r − 1
0 0 −1 m(n − r − 1)
≤ z0 (Z Z ) z0 Fm,n−r −m (α) với
n−r −m
Fm,n−r −m (α) là phân vị trên mức 100α của phân phối F với
m và n − r − m bậc tự do
Z cố định
Mô hình
Khớp mô hình Khoảng tin cậy đồng thời 100(1 − α)% cho E(Yi ) = z00 β(i) là
Tính chất tham
số
Đánh giá mô
hình
Hai bài toán ước z00 β̂(i) ±
lượng r s
Giá trị kỳ vọng m(n − r − 1) 0 0 −1
n
Giá trị chính xác Fm,n−r −m (α) z0 (Z Z ) z0 σ̂ii
n−r −m n−r −1
Z là biến
ngẫu nhiên
So sánh hai
mô hình
với i = 1, 2, . . . , m
và β̂(i) là cột thứ i của β̂ và σii là thành phần trên đường
chéo của Σ̂.
Z cố định • Y00 = [Y01 , Y02 , . . . , Y0m ] tại z0 .

Mô hình
Khớp mô hình
• Y0i = z00 β(i) + ε0i
Tính chất tham
số • Y0i − z00 β̂(i) = Y0i − z00 β(i) + z00 β(i) − z00 β̂(i) =
Đánh giá mô

hình ε0i − z00 β̂(i) − β(i)
lượng
Giá trị kỳ vọng • E Y0i − z00 β̂(i) = E(ε0i ) − z00 E β̂(i) − β(i) = 0
Z là biến • Phương sai

ngẫu nhiên
So sánh hai

mô hình E Y0i − z00 β̂(i) Y0k − z00 β̂(k)

0 0
= E ε0i − z0 β̂(i) − β(i) ε0k − z0 β̂(k) − β(k)

= σik 1 + z00 (Z 0 Z )−1 z0
0
Z cố định Thêm nữa, Y0 − β̂ 0 z0 = β − β̂ z0 + ε0 có phân phối
Mô hình
Khớp mô hình Nm (0, (1 + z00 (Z 0 Z )−1 z0 )Σ) độc lập đối với nΣ̂, do đó miền
Tính chất tham
số
ellipsoid cho Y0 trở thành
Đánh giá mô 0 −1
hình

0 n
Hai bài toán ước Y0 − β̂ z0 Σ̂ Y0 − β̂ 0 z0 ≤
lượng n−r − 1
0 0 −1 m(n − r − 1)
≤ (1 + z0 (Z Z ) z0 ) Fm,n−r −m (α)
Z là biến
n−r −m
ngẫu nhiên
Khoảng tin cậy đồng thời 100(1 − α)% cho từng Y0i là
So sánh hai
mô hình
z00 β̂(i) ±
r s
m(n − r − 1) 0 0 −1
n
Fm,n−r −m (α) (1 + z0 (Z Z ) z0 ) σ̂ii
n−r −m n−r −1
với i = 1, 2, . . . , m
Ví dụ 7.10
Xây dựng ellipse tin cậy và ellipse dự đoán cho mô hình 2 biến
Tiếp tục ví dụ 7.6. Phép đo dung lượng ổ cứng cho Y2 , tương
Z cố định
Mô hình ứng với các giá trị z1 và z2 là
Khớp mô hình
Tính chất tham y20 = [301, 8 396, 1 328, 2 307, 4 362, 4 369, 5 229, 1]
số
Tìm ellipse tin cậy 95% cho β 0 z0 và ellipse dự đoán 95% cho
Đánh giá mô
hình
lượng
Y00 = [Y01 , Y02 ] tại z00 = [1 130 7, 5]
Giá trị kỳ vọng Tìm được phương trình hồi quy mẫu
Z là biến ŷ2 = 14, 14 + 2, 25z1 + 5, 67z2

ngẫu nhiên
So sánh hai 0 = [14, 14 2, 25 5, 67]. Từ ví dụ
với s = 1, 812. Do đó β̂(2)
mô hình
0 = [8, 42 1, 08 42], z 0 β̂
7.6, β̂(1) 0 (1) = 151, 97 và
0 0 −1
z0 (Z Z ) z0 = 0, 34725 , suy ra
z00 β̂(2) = 14, 14 + 2, 25.130 + 5, 67.7, 5 = 349, 17
và
Ví dụ 7.10
Z cố định
Mô hình nΣ̂
= 0 0
Khớp mô hình
Tính chất tham  y(1) − Z β̂ (1) y(1) − Z β̂ (1) y (1) − Z β̂(1) y (2) − Z β̂ (2)
số  0 0
Đánh giá mô y(2) − Z β̂(2) y(1) − Z β̂(1) y(2) − Z β̂(2) y(2) − Z β̂(2)
hình " #
lượng 5, 80 5, 30
=
5, 30 13, 13
Z là biến
ngẫu nhiên
   
β̂(0 1) z00 β̂(0 1)
# "
151, 97
So sánh hai
mô hình
Vì β̂ 0 z0 =  0  z0 =  0 0  = , n = 7, r = 2
β̂(2) z0 β̂(2) 349, 17
 
z00 β̂(0 1)
và m = 2, ellipse 95% tin cậy cho β̂ 0 z0 =  0 0  là
z0 β̂(2)
Ví dụ 7.10
Z cố định " #0 " #−1 " #

Mô hình
z00 β(1) − 151, 97 5, 80 5, 30 z00 β(1) − 151, 97
Khớp mô hình (4) ≤
Tính chất tham z00 β(2) − 349, 17 5, 30 13, 13 z00 β(2) − 349, 17
số
Đánh giá mô 2(4)
hình ≤ (0.34725) F2,3 (0.05)
3
lượng với F2,3 (0.05) = 9, 55. Tâm ellipse tại (151.97, 349.17), hướng
Giá trị chính xác và độ dài của trục ngắn và trục dài lấy từ trị riêng và vectơ
Z là biến riêng của nΣ̂
ngẫu nhiên
So sánh hai
mô hình So sánh 2 công thức, ta thấy rằng chỉ cần thay thế
z00 (Z 0 Z )−1 z0 = 0, 34725 bởi 1 + z00 (Z 0 Z )−1 z0 = 1, 34725 để
tìm ellipse dự đoán 95%. Như vậy ellipse dự đoán 95% cho
Y00 = [Y01 , Y02 ] có cùng tâm nhưng to hơn ellipse tin cậy.
Nội dung chính
Z cố định
Một biến phụ
thuộc Khớp mô hình Mô hình
Nhiều biến phụ R2
thuộc Tính chất tham số
ε và ε̂
So sánh hai Nhiều biến phụ thuộc
mô hình β và β̂
Tương quan riêng
Ý nghĩa biến
lượng
Nội dung chính
Z cố định
Một biến phụ
Mô hình R2
R
2
Tính chất tham số
ε và ε̂
Nhiều biến phụ
thuộc β và β̂ Nhiều biến phụ thuộc
So sánh hai Tương quan riêng
mô hình Đánh giá mô hình
Ý nghĩa biến
lượng
Mô hình
Z cố định
Z là biến 1. Vector Y , Z1 , . . . , Zr
ngẫu nhiên
Một biến phụ
thuộc
Mô hình
R
2
2. Ma trận kỳ vọng, hiệp phương sai
 
  0
thuộc µY σYY σZY
(1×1)  (1×1) (1×r )

So sánh hai µ=  và Σ =   
mô hình µZ σZY ΣZZ 
(r ×1) (r ×1) (r ×r )
với
0
σZY = [σYZ1 , σYZ2 , . . . , σYZr ]
ΣZZ được chọn sao cho có hạng đủ.
Mô hình
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ
thuộc
Dự báo tuyến tính = b0 + b1 Z1 + . . . + br Zr = b0 + b 0 Z
Mô hình
2
R

thuộc
So sánh hai
mô hình Sai số dự báo = Y − b0 − b1 Z1 − . . . − br Zr = Y − b0 − b 0 Z
Trung bình bình phương sai số = E (Y − b0 − b 0 Z )2
Mô hình
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ Kết quả:
thuộc
Mô hình
R
2
Biến dự báo tuyến tính β0 + β 0 Z , với các hệ số

thuộc β = Σ−1
ZZ σZY , β 0 = µY − β 0 µ Z
So sánh hai
mô hình có trung bình bình phương sai số nhỏ nhất trong lớp tất cả
các biến dự báo tuyến tính cho Y . Giá trị nhỏ nhất này là
0
E (Y − β0 − β 0 Z )2 = σYY − σZY Σ−1
ZZ σZY
Mô hình
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ Kết quả:
thuộc
Mô hình
R
2 Đồng thời, β0 + β 0 Z = Σ−1 −1
ZZ σZY + σZY ΣZZ (Z − µZ ) là biến

dự báo tuyến tính có tương quan mạnh nhất với Y , nghĩa là
thuộc
So sánh hai Corr (Y , β0 + β 0 Z ) = max Corr (Y , b0 + b 0 Z ) =

mô hình b0 ,b
s s
0 0 Σ−1 σ
β ΣZZ β σZY ZZ ZY
= =
σYY σYY
Ví dụ 7.11
Xác định các tham số
Z cố định
Cho ma trận kì 
vọng và phương sai của Y , Z1 , Z2 là
Z là biến
ngẫu nhiên
" # 5
µY
Một biến phụ
µ= = 2 
 
thuộc
µZ
Mô hình
R
2
0
 
"
0
# 10 1 −1
thuộc σYY σZY
và Σ = = 1 7 3 
 
0
σZY ΣZZ
So sánh hai −1 3 2
mô hình
Xác định dự đoán tuyến tính tốt nhất β0 + β1 Z1 + β2 Z2 , sai

số trung bình phương và hệ số tương quan của nó.
Cũng kiểm chứng được rằng sai số trung bình phương bằng
σYY (1 − ρ2Y (Z ) )
Ví dụ 7.11
Xác định các tham số
Đầu tiên
Z cố định " #−1 " # " #
Z là biến 7 3 1 1
ngẫu nhiên β = Σ−1
ZZ σZY = =
Một biến phụ
3 2 −1 −2
thuộc
Mô hình
R
2
β 0 = µ Y − β 0 µZ = 3

Do đó dự đoán tuyến tính tốt nhất là 3 + Z1 − 2Z2 . Sai số
thuộc trung bình phương sẽ là
So sánh hai
mô hình
0
σYY − σZY Σ−1
ZZ σZY = 7
và hệ số tương quan
s
0 Σ−1 σ
r
σZY ZZ ZY 3
ρY (Z ) = = = 0, 548
σYY 10
Chú ý rằng sai số trung bình phương cũng bằng

2 3
σYY (1 − ρY (Z ) ) = 10 1 − =7
10
Hệ số xác định bội tổng thể
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ
thuộc s
Mô hình
0 Σ−1 σ
σZY
R
2
cov (y , w ) ZZ ZY
Phân phối chuẩn ρY (Z) = corr (Y , w ) = p = .
Nhiều biến phụ var (y )var (w ) σYY
thuộc
So sánh hai
mô hình
0 Σ−1 σ
σZY ZZ ZY
ρ2Y (Z) =
σYY
Z cố định Một vài tính chất của ρY (Z) và ρ2Y (Z)

Z là biến
ngẫu nhiên
Một biến phụ
thuộc
1. ρY (Z) là tương quan mạnh nhất giữa Y và bất kì hàm
Mô hình
2
tuyến tính nào của z.
R

thuộc 2.
|Σ|
So sánh hai ρ2Y (Z) = 1 −
mô hình σYY |ΣZZ |
3.
0
var (Y |Z) = σYY − σZY Σ−1 2
ZZ σZY = σYY − σYY ρY (Z)
= σYY (1 − ρ2Y (Z)
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ
thuộc
sZY
0 S −1 s
ZZ ZY
Mô hình
R2 =
R
2

sYY
thuộc
So sánh hai
mô hình
s
sZY
0 S −1 s
ZZ ZY
R=
sYY
 
Y
Z cố định
 Z1 
 
Z là biến
Giả sử  Z2  có phân phối Nr +1 (µ, Σ) với
 
ngẫu nhiên
. . .
Một biến phụ
 
thuộc
Mô hình
2
Zr
R
Phân phối chuẩn  
thuộc
µY !
 µ1 
 
So sánh hai µ Y
mô hình
µ=  ..  = µZ

 . 
µr
 
σYY σY 1 · · · σYr !
 σ1Y σ11 · · · σ1r  0
 
σYY σZY
Σ= .  ..  = σZY
.. 
 . . . .  ΣZZ
σrY σr 1 ··· σrr
Khi đó, phân phối có điều kiện của Y với bộ z1 , . . . , zr cố
Z cố định
định, Y | z1 , . . . , zr là
Z là biến
ngẫu nhiên 0
Σ0ZZ (Z − µZ ), σYY − σZY
0
Σ0ZZ σZY

Một biến phụ N µY + σZY
thuộc
Mô hình
R
2 Ta có
0
Σ−1
thuộc E (Y |Z) = µy + σZY ZZ (z − µZ )
So sánh hai = β0 + β 0 z,
mô hình
trong đó
0
β0 = µY − σZY Σ−1
ZZ µZ
β = Σ−1
ZZ σZY .
Ta cũng có được
0
var (Y |Z) = σYY − σZY Σ−1
ZZ σZY = σ
2
Z cố định
Z là biến
ngẫu nhiên Định lý:
Một biến phụ
thuộc Giả sử phân phối đồng thời của Y và Z tuân theo luật phân
Mô hình
R
2
phối Nr +1 (µ, Σ), với µ và Σ được định nghĩa như trên, ước
Nhiều biến phụ lượng hợp lý cực đại là

thuộc
! !
So sánh hai µ̂Y Y
mô hình µ̂ = = ,
µ̂Z Z
!
n−1 n−1 sYY s’ZY
Σ̂ = S= ,
n n sZY SZZ
Định lý:. Giả sử phân phối đồng thời của Y và Z tuân theo
Z cố định
luật phân phối Nr +1 (µ, Σ), với µ và Σ được định nghĩa như
Z là biến
ngẫu nhiên trên, ta có
Một biến phụ
thuộc 1. Ước lượng hợp lý cực đại hệ số của biến dự báo tuyến tính
Mô hình
2
R
Phân phối chuẩn β̂ = S−1
ZZ sZY , β̂0 = Y − s’ZY S−1 0
ZZ Z = Y − β̂ Z
thuộc
So sánh hai Hệ quả là ta có ước lượng hợp lý cực đại của hàm hồi tuyến
mô hình tính
β̂0 + β̂ 0 z = Y + s’ZY S−1
ZZ (z − Z )
2. Ước lượng hợp lý cực đại của σ 2 , hay chính là

E (Y − β0 − β 0 Z )2 là
n−1 2
σ̂YYZ = s , s 2 = sYY − sZY
0
SZZ
−1
sZY
n
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ
thuộc
Ước lượng không chệch
Mô hình
2
R

thuộc
So sánh hai
mô hình
Pn
n−1 j=1 (Yj − β̂0 + β̂ 0 Zj )2
(sYY − sZY
0
SZZ
−1
sZY ) =
n−r −1 n−r −1
Ví dụ 7.12
Ước lượng hợp lí cực đại cho hàm hồi quy một biến phụ thuộc
Z cố định Cho dữ liệu ở ví dụ 7.6, với n = 7 quan sát trên Y (thời gian
Z là biến CPU), Z1 (thứ bậc), Z2 (các mục thêm bớt), cho thấy vectơ
ngẫu nhiên
Một biến phụ
trung bình mẫu và ma trận hiệp phương sai mẫu
thuộc
Mô hình
 
R
2
" # 150, 44
Phân phối chuẩn y
µ̂ = =  130, 24 
 
thuộc Z
3, 547
So sánh hai
mô hình  
"
0
# 467, 913 418, 763 35, 983
sYY sZY
S= =  418, 763 377, 200 28, 034 
 
sZY SZZ
35, 983 28, 034 13, 657
Giả thiết là Y , Z1 và Z2 có phân phối đồng thời là phân phối

chuẩn, thu được hàm dự đoán bằng hồi quy và sai số dự đoán
trung bình phương.
Ví dụ 7.12
Ước lượng hợp lí cực đại cho hàm hồi quy một biến phụ thuộc
Z cố định Kết quả 7.13 cho dự đoán hợp lí cực đại

Z là biến " #" #" #
ngẫu nhiên −1 0, 003128 −0, 006422 418, 763 1, 079
Một biến phụ β̂ = SZZ sZY =
thuộc −0, 006422 0, 086404 35, 983 0, 420
Mô hình
2
R
β̂0 = y − β̂ 0 z = 8, 421

thuộc
So sánh hai
và hàm dự đoán bằng hồi quy
mô hình
β̂0 + β̂ 0 z = 8, 42 − 1, 08z1 + 0, 42z2
và dự đoán hợp lí cực đại của sai số trung bình phương nảy
sinh từ dự đoán của Y với hàm hồi quy là
n−1 0 −1
(sYY − sZY SZZ sZY ) = 0, 894
n
Nội dung chính
Z cố định
Một biến phụ
Nhiều biến phụ R2
thuộc Tính chất tham số
Mô hình ε và ε̂
Tương quan riêng
So sánh hai Σ và Σ̂ Mô hình
mô hình Tương quan riêng
Ý nghĩa biến
lượng
Mô hình
Z cố định
• N µY + ΣYZ Σ0ZZ (Z − µZ ), ΣYY − ΣYZ Σ0ZZ ΣZY

Z là biến
ngẫu nhiên
Một biến phụ
thuộc
Nhiều biến phụ • Kỳ vọng có điều kiện
thuộc
Mô hình
Tương quan riêng
E {Y | z1 , z2 , ..., zr } = µY + ΣYZ Σ−1
ZZ (z − µZ )
So sánh hai
mô hình = β0 + βz,
• µY1 + ΣY1 Z Σ−1

ZZ (z − µZ ) = E (Y1 |z1 , z2 , . . . , zr )
• β = ΣYZ Σ−1
ZZ .
Mô hình
Z cố định
Z là biến var (Y |Z) = ΣYY − ΣYZ Σ−1
ZZ ΣZY
ngẫu nhiên
Một biến phụ
thuộc
Nhiều biến phụ Vector sai số:
thuộc
Mô hình
Tương quan riêng Y − µY − ΣYZ Σ−1
ZZ (z − µZ )
So sánh hai
mô hình có ma trận bình phương và tích vô hướng theo kỳ vọng:
ΣYY .Z
= E [Y − µY − ΣYZ Σ−1 −1
ZZ (Z − µZ )][Y − µY − ΣYZ ΣZZ (Z − µZ )
= ΣYY − ΣYZ Σ−1 0 −1 −1
ZZ (ΣYZ ) − ΣYZ ΣZZ ΣZY + ΣYZ ΣZZ ΣZZ ΣZZ Σ
= ΣYY − ΣYZ Σ−1
ZZ ΣZY
Mô hình
Z cố định
Định lý:
Z là biến
ngẫu nhiên Giả sử phân phối đồng thời của Y và Z tuân theo luật phân
Một biến phụ
thuộc phối Nm+r (µ, Σ), với µ và Σ được định nghĩa như trên, ước
thuộc
lượng hợp lý cực đại là
Mô hình
Tương quan riêng
! !
µ̂Y Y
So sánh hai µ̂ = = ,
mô hình µ̂Z Z
!
n−1 n−1 SYY SYZ
Σ̂ = S= ,
n n SZY SZZ
(n − 1)S
Dễ có ước lượng hợp lý cực đại Σ̂ = là ước lượng
n
chệch.
Mô hình
Z cố định
Z là biến
Định lý:
ngẫu nhiên
Một biến phụ Giả sử Y và Z có phân phối đồng thời là Nm+r (µ, Σ). Khi đó,
thuộc
phương trình hồi quy của vecto Y trên Z là:
thuộc
Mô hình
Tương quan riêng
β0 + βz = µY − ΣYZ Σ−1 −1
ZZ µZ + ΣYZ ΣZZ z
So sánh hai = µY + ΣYZ Σ−1
ZZ (z − µZ )
mô hình
Kỳ vọng của ma trận bình phương và tích vô hướng cho sai số

là
E (Y − β0 − βZ )(Y − β0 − βZ )0 = ΣYY .Z
= ΣYY − ΣYZ Σ−1
ZZ .ΣZY
Mô hình
Z cố định Thêm nữa,

Z là biến
ngẫu nhiên
Một biến phụ 1. Ước lượng hợp lý cực đại hệ số của biến dự báo tuyến tính
thuộc
thuộc β̂ = SZY S−1
ZZ , β̂0 = Y − SYZ S−1
ZZ Z = Y − β̂Z
Mô hình
Tương quan riêng
Hệ quả là từ mẫu ngẫu nhiên n, ước lượng cực đại hợp lý
So sánh hai
mô hình của hàm hồi quy là:
β̂0 + β̂z = Y + SYZ S−1

ZZ (z − Z )
2. Ước lượng hợp lý cực đại của ΣYYZ , ΣYY .Z là:

n−1 −1
Σ̂YY .Z = (SYY − SYZ SZZ SZY )
n
Mô hình
Z cố định
Z là biến
ngẫu nhiên
Một biến phụ
Có thể chỉ ra rằng ước lượng không chệch của ΣYY .Z là:
thuộc
thuộc
Mô hình
Tương quan riêng

So sánh hai n−1 −1
mô hình (SYY − SYZ SZZ SZY ) =
n−r −1
Xn
1
= (Yj − β̂0 − β̂Zj )(Yj − β̂0 − β̂Zj )0
n−r −1
j=1
Ví dụ 7.13
Ứớc lượng cực đại hợp lí của hàm hồi quy có hai biến phụ thuộc
Xét các ví dụ 7.6 và 7.10. Với Y1 là thời gian CPU, Y2 là
Z cố định
dung lượng ổ cứng I/O, Z1 là thứ bậc và Z2 là các mục thêm
Z là biến
ngẫu nhiên bớt, ta có  
Một biến phụ
thuộc " # 150, 44
y  327, 79 
 
thuộc µ̂ = =  và
Mô hình Z  130, 24 
Tương quan riêng
3, 547
So sánh hai
mô hình " #
SYY SYZ
S= =
SZY SZZ
 
467, 913 1148, 556 418, 763 35, 983
1148, 556 3072, 491 1008, 976 140, 558
 
=
 
418, 763 1008, 976 377, 200 28, 034

 
35, 983 140, 558 28, 034 13, 657
Ví dụ 7.13
Ứớc lượng cực đại hợp lí của hàm hồi quy có hai biến phụ thuộc
Z cố định Ta tìm được hàm hồi quy là

Z là biến −1
ngẫu nhiên β̂0 + β̂z = y + SYZ SZZ (z − z) =
Một biến phụ
thuộc " # " #
Nhiều biến phụ 150, 44 1, 079(z1 − 130, 24) + 0, 420(z2 − 3, 547)
thuộc = +
Mô hình 327, 79 2.254(z1 − 130, 24) + 5, 665(z2 − 3, 547)
Tương quan riêng
So sánh hai
mô hình Do đó dự đoán cực tiểu sai số trung bình phương của Y1 là
150, 44 + 1, 079(z1 − 130, 24) + 0, 420(z2 − 3, 547) =
= 8, 42 + 1, 08z1 + 0, 42z2
Tương tự, dự đoán tốt nhất cho Y2 là
14, 14 + 2, 25z1 + 5, 67z2
Z cố định
Z là biến Dự đoán hợp lí cực đại cho kì vọng của sai số bình phương và
ngẫu nhiên
Một biến phụ ma trận ΣYYZ cho bởi
thuộc
" #
thuộc n−1 −1 0, 894 0, 893
Mô hình (SYY − SYZ SZZ SZY ) =
Tương quan riêng n 0, 893 2, 205
So sánh hai
mô hình
Hàm hồi quy đầu tiên 8, 42 + 1, 08z1 + 0, 42z2 và sai số trung

bình phương tương ứng 0, 894 giống với ví dụ 7.12 trong
trường hợp 1 biến phụ thuộc. Tương tự, hàm hồi quy thứ hai
14, 14 + 2, 25z1 + 5, 67z2 cũng giống với kết quả của ví dụ
7.10.
Tương quan riêng
Z cố định Sai số
Z là biến
ngẫu nhiên
Một biến phụ
thuộc
Y1 − µY1 − ΣY1 Z Σ−1
ZZ (Z − µZ )
thuộc
Y2 − µY2 − ΣY2 Z Σ−1
ZZ (Z − µZ )
Mô hình
Tương quan riêng
So sánh hai
mô hình σY1 Y2 ·Z
ρY1 Y2 ·Z = √ √
σY1 Y1 ·Z σY2 Y2 ·Z
Trong đó σYi Yk ·Z là phần tử thứ (i, k) trong ma trận
ΣYY ·Z = ΣYY − ΣYZ Σ−1 ZZ ΣZY . Tương ứng, ta có ước lượng
thu được từ mẫu là
sY1 Y2 ·Z
rY1 Y2 ·Z = √ √
sY1 Y1 ·Z sY2 Y2 ·Z
−1
Với sYi Yk ·Z phần tử thứ (i, k) của SYY − SYZ SZZ SZY .
Ví dụ 7.14
Tính hệ số tương quan riêng
Z cố định Trong ví dụ 13 ta tính được

Z là biến !
ngẫu nhiên
Một biến phụ −1 1.043 1.042
thuộc SYY − SYZ SZZ SZY =
1.042 2.572
thuộc
Mô hình
Tương quan riêng
So sánh hai
Do đó
mô hình
sY1 Y2 ·Z 1.042
rY1 Y2 ·Z = √ √ =√ √ = 0.64
sY1 Y1 ·Z sY2 Y2 ·Z 1.043 2.572
Mặt khác, ta tính được hệ số tương quan giữa Y1 và Y2 là

rY1 Y2 = 0.96, có nghĩa là mối quan hệ tương quan giữa Y1 và
Y2 giảm xuống sau khi loại bỏ ảnh hưởng của biển Z lên cả 2
biến.
Nội dung chính
Z cố định
mô hình R2
Dạng center form Tính chất tham số
Liên hệ hai mô ε và ε̂
hình
Tương quan riêng
Ý nghĩa biến
lượng
Nội dung chính
Z cố định
mô hình R2
hình
Tương quan riêng
Ý nghĩa biến
lượng
Dạng center form
Z cố định
Z là biến 1.
ngẫu nhiên
So sánh hai Yj =
mô hình
Dạng center form = (β0 + β1 z 1 + . . . + βr z r ) + β1 (z1j − z 1 ) + . . . + βr (zrj − z r )
Liên hệ hai mô
hình = β∗ + β1 (z1j − z 1 ) + . . . + βr (zrj − z r ) + εj
với β∗ = β0 + β1 z 1 + . . . + βr z r .
2. !
β∗
Y = (1 | Zc2 ) +ε
βc
với βc = (β1 , . . . , βr )0 .
Dạng center form
Z cố định
Z là biến  
ngẫu nhiên 1 z11 − z 1 · · · z1r − zr
1 z21 − z 1 · · · z2r − zr 
 
So sánh hai
mô hình Zc = 
 .. .. .. .. 
Dạng center form
. . . .


Liên hệ hai mô
hình 1 zn1 − z 1 · · · znr − zr
Ma trận Zc2 được định nghĩa như trên, Zc = [1|Zc2 ], hay

 
z11 − z 1 · · · z1r − z r
z21 − z 1 · · · z2r − z r 
 
Zc2 = 
 .. .. .. 
 . . .


zn1 − z 1 · · · znr − z r
Dạng center form
!
Z cố định ˆ
β∗
Z là biến
• (1 | Zc2 )0 (1 | Zc2 ) ˆ = (1 | Zc2 )0 y
ngẫu nhiên
βc
So sánh hai •
mô hình
Dạng center form  
Liên hệ hai mô
hình
β̂∗
..
 
β̂1  = (Zc0 Zc )−1 Zc0 y
 
.
.
.
β̂r
   
1 ! y
00 10 y
= n = ...............
 
0 y

0 (Zc0 Zc )−1 Zc2 0 −1 0
(Zc2 Zc2 ) Zc2 y
Dạng center form
Z cố định
• ŷ = β̂∗ + β̂c0 (z − z) = y + y 0 Zc2 (Zc2
0 Z )−1 (z − z)
c2
Z là biến
ngẫu nhiên
So sánh hai • β̂0 = β̂0 − β̂1 z 1 − . . . − β̂r z r = y − β̂c0 z
mô hình
Dạng center form !
Liên hệ hai mô Var (β̂∗ ) Cov (β̂∗ , β̂c )
hình • = (Zc0 Zc )−1 σ 2 =
Cov (β̂c , β̂∗ ) Cov (β̂c )
 
σ2 0
= n 0 
0
0 (Zc2 Zc2 ) σ −1 2
 
y (i)
• β̂(i) = . . . . . . . . . . . . . . . . .
 
(Zc20 Z )−1 Z 0 y
c2 c2 (i)
Nội dung chính
Z cố định
mô hình R2
hình
Tương quan riêng
Ý nghĩa biến
lượng
Liên hệ hai mô hình
Z cố định
Z là biến
ngẫu nhiên 0 S −1 (z − z) = µ̂ + σ̂ 0 Σ̂−1 (z − µ̂ )
• β̂0 + β̂ 0 z = y + sZY ZZ Y ZY ZZ Z
So sánh hai
mô hình
Dạng center form
Liên hệ hai mô
hình
• ŷ = β̂∗ + β̂c0 (z − z) với β̂∗ = y và β̂c0 = y 0 Zc2 (Zc2
0 Z )−1 .
c2
• So sánh 2 công thức, ta có
β̂∗ = y = β̂0 , β̂c = β̂
Thank You!
Nhóm 5 - lớp 119624

Test PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Test PDF

Uploaded by

Copyright:

Available Formats

Hồi quy tuyến tính bội

GV hướng dẫn: ThS Lê Xuân Lý

Nhóm 5 - lớp 119624

Viện Toán ứng dụng và Tin học

Ngày 19 tháng 11 năm 2020

Chúng em xin cảm ơn thầy Lê Xuân Lý đã dạy lớp chúng em

• ε0j = εj1 , εj2 , . . . , εjm

Z cố định • Tham số chưa biết trong mô hình là Σ và β

3. cov (yi , yj ) = O với mọi i 6= j.

Ước lượng bình phương nhỏ nhất β̂ có thể thu được mà

Dễ dàng kiểm chứng được đẳng thức

Z là biến YY0 = Ŷ0 Ŷ + ε̂0 ε̂

ε̂0 ε̂ = Y0 Y − Ŷ0 Ŷ = Y0 Y − β̂ 0 Z0 Zβ̂

Z cố định Kết quả:

và nΣ̂ là phân phối Wp,n−r −1 (Σ).

Hai bài toán ước

Hai bài toán ước

• Thêm nữa, từ kết quả 7.10, ta có β̂ 0 z0 có phân phối

Z cố định • Y00 = [Y01 , Y02 , . . . , Y0m ] tại z0 .

Z là biến • Phương sai

Z là biến ŷ2 = 14, 14 + 2, 25z1 + 5, 67z2

z00 β̂(2) = 14, 14 + 2, 25.130 + 5, 67.7, 5 = 349, 17

Z cố định " #0 " #−1 " #

Nhiều biến phụ

Trung bình bình phương sai số = E (Y − b0 − b 0 Z )2

Nhiều biến phụ

Nhiều biến phụ

So sánh hai Corr (Y , β0 + β 0 Z ) = max Corr (Y , b0 + b 0 Z ) =

Xác định dự đoán tuyến tính tốt nhất β0 + β1 Z1 + β2 Z2 , sai

Nhiều biến phụ

Z cố định Một vài tính chất của ρY (Z) và ρ2Y (Z)

Nhiều biến phụ

Phân phối chuẩn

Nhiều biến phụ lượng hợp lý cực đại là

2. Ước lượng hợp lý cực đại của σ 2 , hay chính là

Nhiều biến phụ

Giả thiết là Y , Z1 và Z2 có phân phối đồng thời là phân phối

Z cố định Kết quả 7.13 cho dự đoán hợp lí cực đại

Nhiều biến phụ

• µY1 + ΣY1 Z Σ−1

Kỳ vọng của ma trận bình phương và tích vô hướng cho sai số

Z cố định Thêm nữa,

β̂0 + β̂z = Y + SYZ S−1

2. Ước lượng hợp lý cực đại của ΣYYZ , ΣYY .Z là:

Z cố định Ta tìm được hàm hồi quy là

150, 44 + 1, 079(z1 − 130, 24) + 0, 420(z2 − 3, 547) =

14, 14 + 2, 25z1 + 5, 67z2

Hàm hồi quy đầu tiên 8, 42 + 1, 08z1 + 0, 42z2 và sai số trung

Z cố định Trong ví dụ 13 ta tính được

Mặt khác, ta tính được hệ số tương quan giữa Y1 và Y2 là

Ma trận Zc2 được định nghĩa như trên, Zc = [1|Zc2 ], hay

• So sánh 2 công thức, ta có

β̂∗ = y = β̂0 , β̂c = β̂

Nhóm 5 - lớp 119624

You might also like