Tóm tắt nội dung

abs
Mục lục

1 Trường hợp Z cố định 3

1.1 Mô hình bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Khớp mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Một số tính chất của các tham số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.1 ε và ε̂ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.2 β và β̂ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.3 Σ và Σ̂ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Đánh giá mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.1 Kiểm định tính có ý nghĩa của biến độc lập . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.2 Kiểm định tính có ý nghĩa của mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.3 Xây dựng mô hình hồi quy bội . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 Hai bài toán ước lượng từ mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5.1 Ước lượng giá trị kỳ vọng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5.2 Ước lượng giá trị chính xác . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2 Trường hợp Z là biến ngẫu nhiên 14

2.1 Có một biến phụ thuộc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.1 Mô hình bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.2 Hệ số xác định bội tổng thể . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.3 Hồi quy bội phân phối chuẩn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Có nhiều biến phụ thuộc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.1 Mô hình bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.2 Hệ số tương quan riêng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3 So sánh hai mô hình hồi quy 22

3.1 Dạng center form của mô hình hồi quy Z cố định . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2 Liên hệ hai mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2
Chương 1

Trường hợp Z cố định

1.1 Mô hình bài toán

Trong phần này, chúng ta sẽ nghiên cứu vấn đề về mô hình hóa quan hệ giữa m biến phụ thuộc Y1 , Y2 , · · · , Ym
và tập các biến độc lập z1 , z2 , · · · , zr . Giả sử mỗi biến phụ thuộc tuân theo một mô hình hồi quy, theo đó:

Y1 = β01 + β11 z1 + · · · + βr1 zr + ε1

Y2 = β02 + β12 z1 + · · · + βr2 zr + ε2
.. ..
. .
Ym = β0m + β1m z1 + · · · + βrm zr + εm

Sai số ε0 = [ε1 , ε2 , . . . , εm ] có E(ε) = 0 và V ar(ε) = Σ.

Để xây dựng khái niệm mô hình mới sao cho phù hợp với mô hình hồi quy tuyến tính cổ điển, ta đặt
[zj0 , zj1 , . . . , zjr ] là là giá trị các biến độc lập ở lần quan sát thứ j, đặt Yj0 = [Yj1 , Yj2 , . . . , Yjm ] là các biến
phụ thuộc, và đặt ε0j = [εj1 , εj2 , . . . , εjm ] là sai số. Về kí hiệu, ma trận:
 
z10 z11 ··· z1r
 z20 z21 ··· z2r 
Z = .. .. .. ..
 
. . . .

(n×(r+1))  
zn0 zn1 ··· znr

cũng tương tự như ma trận Z trong mô hình hồi quy tuyến tính đơn biến cổ điển. Các ma trận còn lại:
 
Y11 Y12 · · · Y1m
 Y21 Y22 · · · Y2m  h
. . .
i
Y = . .. .. ..  = Y(1) ..Y(2) .. · · · ..Y(m)
 
(n×m)  .. . . . 
Yn1 Yn2 · · · Ynm
 
β01 β02 ··· β0m
 β11 β12 ··· β1m  h
. . .
i
β = .. .. .. ..  = β(1) ..β(2) .. · · · .. β(m)
 
(r+1)×m)  . . . . 
βr1 βr2 ··· βrm

3
  
ε11 ε12 ··· ε1m
 ε21 ε22 ··· ε2m  h
. . .
i
ε = .. .. .. ..  = ε(1) ..ε(2) .. · · · ..ε(m)
 
(n×m)  . . . . 
εn1 εn2 ··· εnm
ε01
 
 ε02

= . 
 
 .. 
ε0n
Từ đó, mô hình hồi quy tuyến tính bội được định nghĩa là:

Y = Z β + ε
(n×m) (n×(r+1))((r+1)×m) (n×m)

với
E((ε(i) ) = 0 và Cov(ε(i) , ε(k) ) = σik I, i, k = 1, 2, · · · , m
Đối với mô hình hồi quy tuyến tính cổ điển thì E(ε) = 0, E(y) = Zβ và Cov(ε) = σ 2 I. Một cách tự nhiên,
khi xây dựng mô hình hồi quy tuyến tính bội sử dụng mô hình cổ điển, chúng ta sẽ có E(ε(j) ) = 0, E(Y ) = Zβ
và Cov(ε(j) ) = σjj I cho thuộc tính thứ j. Chú ý sai số giữa các thuộc tính khác nhau trong cùng một quan
sát có thể tương quan với nhau.
Những tham số chưa biết của mô hình cổ điển là σ 2 và β (hoặc σjj 2
và β(j) khi ta xem xét mô hình cho từng
thuộc tính một cách độc lập).
Khi xem xét mô hình hồi quy tuyến tính, chúng ta có các tính chất sau:

0 ··· 0
 
σjk
.. 
 0 σjk . . . . 

E(ε) = 0 và Cov(ε(j) , ε(k) ) = σjk I =  .
.. ..
 
 .. . . 0 


0 ··· 0 σjk
Để hiểu sâu hơn ý nghĩa của tính chất thứ 2, đầu tiên chúng ta xét các cột của ma trận ε. Chúng ta có:
     
ε11 ε12 ε1m
 ε21   ε22   ε2m 
ε(1) =  .  , ε(2) =  .  , · · · ε(m) =  .  .Các phần tử của ε(j) (ε1j , ε2j , · · · , εnj ) với j = 1,2...m,
     
 ..   ..   .. 
εn1 εn2 εnm
là độc lập, bởi vì chúng ở các lần quan sát khác nhau. Như vậy, Cov(εh1 , εi1 ) = 0, Cov(εh2 , εi2 ) =
0, · · · , Cov(εhm , εim ) = 0 với h, i = 1, 2, ...n.Đây chính là các phần tử bằng 0 không ma trận Cov(ε(j) , ε(k) ).
Mặt khác, hãy nhìn vào  các hàng của ε : 
ε11 ε12 · · · ε1m , ε21 ε22 · · · ε2m , · · · , εn1 εn2 · · · εnm . Đây là sai số của các thuộc tính
  

trong cùng một lần quan sát, chúng có tương quan Cov(ε1j , ε1k ) 6= 0, Cov(ε2j , ε2k ) 6= 0, · · · , Cov(εnj , εnk ) 6=
0 với j, k = 1, 2, ...m., là các phần tử khác 0 trong ma trận hiệp phương sai. Tham số chưa biết trong mô
hình là Σ và β, trong đó Σ có dạng:
 
σ11 σ12 · · · σ1m
 σ21 σ22 · · · σ2m 
Σ= . .. .. .. 
 
 .. . . . 
σm1 σm2 ··· σmm
Phân tích thêm ta thấy rằng:

4
 Giá trị quan sát của n vectơ của y:
   0
y11 y12 ··· y1m y1
 y21 y22 ··· y2m   y0 
  2
Y= . .. .. ..  =  .. 

 .. . . .  .
0
yn1 yn2 ··· ynm yn

Do đó mỗi một hàng của Y chứa giá trị của m biến phụ thuộc được đo trong một lần quan sát. m quan sát ở
lần thử thứ j có ma trận hiệp phương sai là Σ = {σik }. Nhưng các quan sát từ các lần khác nhau thì không
tương quan. Ở đây, β và σik là các tham số chưa biết. Ma trận Z có hàng thứ j là [zj0 , zj1 , . . . , zjr ]
Mỗi một cột của Y gồm n quan sát của mỗi một trong p biến phụ thuộc, tương ứng với vectơ y trong mô
hình cổ điển.
Y(i) = Zβ(i) + ε(i) , i = 1, 2, . . . , m
với Cov ε(i) = σii I, tuy nhiên sai số từ các biến phản hồi khác nhau trong cùng một quan sát có thể sẽ

tương quan.
Như vậy, ta có một số giả thiết ban đầu:
1. E(Z) = XB or E(Σ) = O.
0
2. cov(yi ) = Σ for all i = 1, 2, . . . , n, trong đó yi là hàng thứ i của Y .
 
σ11 σ12 ··· σ1m
σ21 σ22 ··· σ2m 
cov(yi ) = Σ =  . .. .. .. 
 
 .. . . . 
σp1 σp2 ··· σmm

3. cov(yi , yj ) = O với mọi i 6= j.

cov(yi1 , yj1 ) cov(yi1 , yj2 ) cov(yi1 , yjm ) 0 0 0

   
··· ···
 cov(yi2 , yj1 ) cov(yi2 , yj2 ) ··· cov(yi2 , yjm )  0 0 ··· 0
.. .. .. ..  =  .. .. .. .. 
   
. . . .  . . . .


cov(yim , yj1 ) cov(yim , yj2 ) · · · cov(yim , yjm ) 0 0 ··· 0

Lợi ích của việc thực hiện đồng thời các phép hồi quy thay vì thực hiện tuần tự từng phép hồi quy một là
gì? Câu trả lời là để sử dụng được lợi thế của việc có nhiều biến. Ví dụ, có 1 bài toán phân tích phương sai,
so sánh các loại thuốc dựa trên một số các biến chỉ số sức khỏe. Có thể xảy ra khả năng là không có các biến
riêng lẻ nào có thể thể hiện sự khác nhau giữa các loại thuốc. Nhưng khi kết hợp nhiều biến lại, ta sẽ thấy rõ
những sự khác biệt. Sử dụng mô hình toàn thể cũng giúp xử lý khi có nhiều phép so sánh. . .

1.2 Khớp mô hình

Với các giá trị đầu ra của Y và các giá trị của biến độc lập Z các cột là đủ hạng, ta xác định ước lượng bình
phương tối thiểu β̂(i) một cách tuần tự từ quan sát Y(i) của biến phụ thuộc thứ i:
−l
β̂(i) = (Z0 Z) Z0 Y(i)

Kết hợp các ước lượng bình phương tối thiểu cho đơn biến, ta được:
.. .. .. . . .
 
β̂ = β̂(1) .β̂(2) . · · · .β̂(m) = (Z0 Z)−1 Z0 Y(1) ..Y(2) .. · · · .. Y(m)
 

hay
−1
β̂ = (Z0 Z) Z0 Y

5
Ta nói rằng β̂ là ước lượng bình phương tối thiểu cho bài toán này, theo nghĩa là nếu β0 là một ước lượng
có thể tốt hơn β̂ và cộng thêm Z β̂ − Zβ0 vào Y − Z β̂ thì sẽ cộng thêm một ma trận xác định dương vào
0
E = (Y − Z β̂) (Y − Z β̂) (Rencher 1998).
Xét một cách chọn tham số bất kì B = [ b ...b ... · · · ...b ], ma trận sai số là Y − ZB. Ma trận tổng
(1) (2) (m)
bình phương và tích vô hướng của sai số là (Y − ZB)0 (Y − ZB)

0

0

Y(1) − Zb(1) Y(1) − Zb(1) ··· Y(1) − Zb(1) Y(m) − Zb(m)
= .. ..
. .
 


0

0

Y(m) − Zb(n)) Y(1) − Zb(1) ··· Y(m) − Zb(m) Y(m) − Zb(m)
Ta chọn b(i) = β̂(i) cực tiểu phần tử thứ i trên đường chéo, là tổng bình phương
(Y(i) − Zb(i) )0 (Y(i) − Zb(i) ). Suy ra, vết của ma trận (Y − ZB)0 (Y − ZB) là nhỏ nhất với lựa chọn B = β̂.
Đồng thời, phương sai tổng quát |(Y − ZB)0 (Y − ZB)| cũng được cực tiểu bởi ước lượng β̂.
Nhận xét: Ta chú ý rằng mô hình hồi quy bội không có gì mới về mặt tính toán. Ước lượng bình
phương tối thiểu (với điều kiện sai số có phân phối chuẩn thì cũng đồng thời là ước lượng hợp lý cực đại),
−l
β̂(i) = (Z0 Z) Z0 Y(i) được tính toán với từng biến phụ thuộc. Tuy nhiên, mô hình yêu cầu các biến độc lập
được dùng chung cho tất cả các biến phụ thuộc.
Ước lượng bình phương nhỏ nhất β̂ có thể thu được mà không cần sử dụng các giả thiết E(Y ) = ZB,
cov(yi ) = Σ và cov(yi , yj ) = O. Tuy nhiên, khi có các giả thiết này, β̂ có các tính chất:
1. Ước lượng β̂ là không chệch, nghĩa là, E(β̂) = β.

2. Các ước lượng bình phương nhỏ nhất β̂jk trong β̂ có phương sai nhỏ nhất trong số tất cả các ước lượng
không chệch tuyến tính có thể có. Kết quả này là định lý Gauss – Markov.
Sử dụng ước lượng bình phương cực tiểu, ta tính được các ma trận
−1
Giá trị dư báo: Ŷ = Zβ̂ = Z (Z 0
h Z) Z0 Y i
−1
Phần dư: ε̂ = Y − Ŷ = I − Z (Z0 Z) Z0 Y

Ví dụ 7.8
Để mô phỏng tính toán các ma trận β̂, Ŷ và ε̂, ta sẽ thực hiện hồi quy tuyến tính cho 2 biến phụ thuộc Y1
và Y2 ở ví dụ 7.3
Yj1 = β01 + β11 zj1 + εj1
Yj2 = β02 + β12 zj2 + εj2
với i = 1, 2, . . . , 5. Các dữ liệu này, được gia tăng bởi thực hiện quan sát trên một biến phụ thuộc thêm vào,
dựa theo bảng sau
z1 0 1 2 3 4
y1 1 4 3 8 9
y2 −1 −1 2 3 2
Ma trận Z không thay đổi so với bài toán đơn biến phụ thuộc. Do đó
1 1 1 1 1
 
Z0 =
0 1 2 3 4

0, 6 −0, 2
 
(Z 0 Z)−1 =
−0, 2 0, 1
và  
−1
 −1  
1 1 1 1 1  2 = 5

Z 0 y(2) =

0 1 2 3 4   20
3


6
Do đó
0, 6 −0, 2 5
    
−1
β̂(2) = (Z Z) 0 −1 0
Z y(2) = =
−0, 2 0, 1 20 1
1
 
Từ ví dụ 7.3, ta có β̂(1) = (Z 0 Z)−1 Z 0 y(1) = , suy ra
2

1
 
−1
h i
β̂ = β̂(1) | β̂(2) = = (Z 0 Z)−1 Z 0 [y(1) | y(2) ]
2 1

Các giá trị phù hợp được sinh bởi ŷ1 = 1 + 2z1 và ŷ2 = −1 + z2 , cuối cùng

1 0 1 −1
   
1 1   3 0 
 1 −1
Ŷ = Z β̂ = 1 2 = 5 1
  
1 3 2 1
 
7 2 
 

1 4 9 3

và
0 1 1 0
 
−2
ε̂ = Y − Ŷ =
0
0 −1 1 1 −1
Chú ý rằng
1
 
−1
 3 0
0 1 1 0  0 0
  
−2 5
ε̂0 Ŷ = 1 =

0 −1 1 1 −1 7 0 0
2


9 3
Như vậy
1 −1
 
 4 −1 
1 4 3 8 9  3 2  = 171 43
 
Y Y =
0

−1 −1 2 3 2  8 3 
 43 19
9 2
165 45
 
Ŷ Ŷ =
0
45 15
6 −2
 
ε̂0 ε̂ =
−2 4
Dễ dàng kiểm chứng được đẳng thức
Y 0 Y = Ŷ 0 Ŷ + ε̂0 ε̂

1.3 Một số tính chất của các tham số

Trong mục này, ta quan tâm đến các tính chất của các tham số và ước lượng của nó. Đặc biệt, nếu thêm giả
thiết sai số có phân phối chuẩn, ta sẽ thu được nhiều tính chất rất đẹp.

1.3.1 ε và ε̂
Vecto sai số ε là không thể biết trừ khi ta biết β. Do đó, ước lượng ε bởi ε̂ tính được từ một mẫu.
Một số tính chất trực giao với giá trị biến h phụ thuộc, và các
i cột của Z trong mô hình cổ điển vẫn đúng
−1 0
trong mô hình hồi quy bội. Xuất phát từ Z I − Z (Z Z) Z = Z0 − Z0 = 0, ta có
0 0

h i
−1
Z0 ε̂ = Z0 I − Z (Z0 Z) Z0 Y = 0

7
vecto phần dư ε̂(i) vuông góc với vecto cột Z. Cũng có:
h i
−1
Ŷ0 ε̂ = β̂ 0 Z0 I − Z (Z0 Z) Z0 Y = 0

nghĩa là vecto Ŷ(i) vuông góc với tất cả vecto phần dư ε̂(k) .
Cuối cùng, vì Y = Ŷ + ε̂,

Y0 Y = (Ŷ + ε̂)0 (Ŷ + ε̂) = Ŷ0 Ŷ + ε̂0 ε̂ + 0 + 00

hoặc
YY0 = Ŷ0 Ŷ + ε̂0 ε̂
Như vây, tổng bình phương và tích hữu hướng phần dư (sai số) được viết lại thành:

ε̂0 ε̂ = Y0 Y − Ŷ0 Ŷ = Y0 Y − β̂ 0 Z0 Zβ̂

ε) = 0
Định lý: E(b
Sử dụng kết quả
 này, người ta chứng minh được rằng E(b
ε) = 0 và
Định lý: E( εb(j) εb(k) = σjk (n − r − 1)
0

1.3.2 β và β̂
Bổ đề: βb là ước lượng không chệch của β, có nghĩa là
b =β
E[β]

Bổ đề: Nếu các sai số có phân phối chuẩn nhiều chiều thì βb là ước lượng hợp lý cực đại của β.
Như vậy, trong trường hợp thêm giả thiết phân phối chuẩn, ước lượng bình phương tối thiểu cũng chính là
ước lượng hợp lý cực đại.
−1
Định lý: Cov(βb(j) , βb(k) ) = σjk (Z0 Z) với j, k = 1, 2, ...m
Một kết quả quan trọng là ˆ và β̂ không tương quan,
 
Cov β̂(i) , ε̂(k) = 0

1.3.3 Σ và Σ̂
Để ý rằng phương pháp bình phương cực tiểu chỉ cho ta ước lượng của β mà không cho ta ước lượng về Σ.
Khi ta xem xét bài toán ước lượng cho Σ, ta thấy rằng không tồntại ước lượng Σ
b mà có cả 2 tính chất vừa là
ước lượng không chệnh vừa là ước lượng hợp lý cực đại. Có: E( εb(j) εb(k) = σjk (n − r − 1), từ đó:
0

 
σ11 σ12 ··· σ1m
 σ21 σ22 ··· σ2m 
E (ε̂0 ε̂) = (n − r − 1)  .. .. .. ..  = (n − r − 1)Σ
 
 . . . . 
σm1 σm2 ··· σmm

1
Bổ đề: Σ
b= (ε̂0 ε̂) là ước lượng không chệch cho Σ.
n−r−1
Trong trường hợp giả thiết phân phối chuẩn, để tìm ước lượng hợp lý cực đại cho Σ chúng ta làm với
trường hợp cổ điển rồi mở rộng kết quả cho trường hợp hồi quy bội.
Ước lượng hợp lý cực đại cho Σ được chứng minh là:

b = 1 (Y − Zβ)
Σ b 0 (Y − Zβ)
b
n
Tổng kết lại, ta có định lý sau:

8
 Kết quả: Mô hình hồi quy bội là hạng đủ rank Z = r + 1, n ≥ (r + 1) + m và sai số ε có phân phối chuẩn.
Khi đó
β̂ = (Z 0 Z)−1 Z 0 Y
   
là ước lượng hợp lí cực đại của β và β̂, có phân phối chuẩn với E β̂ và Cov β̂(i) , β̂(k) = σik (Z 0 Z)−1 .
Cũng có β là độc lập đối với ước lượng hợp lí cực đại đối với ma trận xác định dương Σ là
1 1 0  
Σ̂ = ε̂0 ε̂ = Y − Z β̂ Y − Z β̂
n n
và nΣ̂ là phân phối Wp,n−r−1 (Σ).
−n
  −mn   2 −mn
Hàm cực đại hợp lí L µ̂, Σ̂ = (2π) 2 Σ̂ e 2

1.4 Đánh giá mô hình

Trong phần này, ta giả thiết sai số có phân phối chuẩn.

1.4.1 Kiểm định tính có ý nghĩa của biến độc lập

Sau khi fitting the model, chúng ta phải xem mô hình tốt tới đâu? Trong mô hình hồi quy đơn và hồi quy cổ
điển ta dùng ANOVA để kiểm định. Trong bài toán này, chúng ta sẽ dùng MANOVA để đánh giá mô hình
hồi quy bội.
MANOVA hay là phương pháp phân tích phương sai đa biến, dùng để kiểm định giả thuyết một hoặc
nhiều biến độc lập, hay là nhân tố, ảnh hưởng đến một bộ hai hay là nhiều biến phụ thuộc. Ở đây ta dùng
MANOVA thay vì làm lần lượt các ANOVA vì
• MANOVA giúp giảm thiểu sai lầm loại 1. Kiểm định độc lập các ANOVA với cùng mức ý nghĩa α không
có nghĩa là bài toán kiểm định nhiều nhân tố đang quan tâm cũng có mức ý nghĩa α như yêu cầu. Trên
thực tế, xác suất xảy ra sai lầm loại 1 sẽ tăng theo số lượng biến.
• MANOVA xét đến tương quan giữa các biến, ANOVA không làm được điều này.
Kiểm định tỉ số hợp lí cho tham số hồi quy Tương tự như mô hình cổ điển, giả thiết H0 rằng các biến
phụ thuộc không phụ thuộc vào zq+1 , zq+2 , . . . , zr trở thành
β(1)
 
 ((q+1)×m) 
H0 : β(2) = 0 với β = 
β(2)

((r−q)×m)
h i
Đặt Z = Z1 Z2 , viết lại mô hình thành
(n×(q+1)) (n×(r−q))
 
β(1)
E(Y ) = Zβ = [Z1 | Z2 ] = Z1 β(1) + Z2 β(2)
β(2)

Khi giả thuyết H0 : β(2) = 0 thì Y = Z1 β(1) + ε và kiểm định tỉ số hợp lí cho H0 được xây dựng dựa trên đại
lượng phần tổng bình phương và tích vô hướng sai lệch
 0    0    
Y − Z1 β̂(1) Y − Z1 β̂(1) − Y − Z β̂ Y − Z β̂ = n Σ̂1 − Σ̂

1 0  
với β̂(1) = (Z10 Z1 )−1 Z10 Y và Σ̂ =Y − Z1 β̂(1) Y − Z1 β̂(1) là ước lượng hợp lý cực đại của Σ
n
Từ kết quả trên, ta thấy rằng tỉ số hợp lí, Λ có thể được biểu diễn qua phương sai tổng quát
    n
max L(β(1) , Σ)

  2
β(1) ,Σ L β̂ (1) , Σ̂ 1 Σ̂
Λ= =  =  
max L(β, Σ)
 
L β̂, Σ̂ Σ̂1 
 
β,Σ

9
 Do đó, ta hoàn toàn có thể sử dụng thống kê Wilks’lambda
 
Σ̂
 
2
Λ n =  
Σ̂1 

Kết quả: Mô hình hồi quy bội với Z có hạng đủ rank Z = r + 1, n ≥ (r + 1) + m và sai số ε có phân
phối chuẩn.  
Nếu H0 : β(2) = 0 đúng thì thống kê nΣ̂ có phân phối Wp,n−r−1 (Σ) độc lập với thống kê n Σ̂1 − Σ̂ có
phân phối Wp,r−q (Σ). Khi đó, ta bác bỏ H0 nếu biểu thức dưới đây đủ lớn
   
Σ̂ nΣ̂
   
−2 ln Λ = −n ln   = −n ln   
Σ̂1  nΣ̂ + n Σ̂1 − Σ̂ 


Về mặt ý nghĩa, ta hình dung điểm làm cực đại hàm hợp lý, gọi là ước lượng hợp lý cực đại, là điểm mà
tại đó hiểu rằng ước lượng là hợp lý nhất, theo nghĩa là nếu tham số nhận giá trị ước lượng đó thì mô hình
trên lý thuyết và dữ liệu ta có là phù hợp với nhau nhất. Do đó, ở đây muốn xác định β(2) có phải một giá trị
hợp lý cho β hay không, ta so sánh cực đại của hàm L(β(1) , Σ) với cực đại của hàm L(β, Σ), là trường hợp
không bị giới hạn bởi H0 .  
Nếu H0 đúng, thì rõ ràng sai lệch n Σ̂1 − Σ̂ phải đủ nhỏ, nghĩa là sự thay đổi này không ảnh hưởng
đến mô hình. Do đó, ta bác bỏ H0 nểu tỷ số trên là đủ lớn.
Khi n đủ lớn, thống kê hiệu chỉnh
 
Σ̂
 
1
 
− n − r − 1 − (m − r + q + 1) ln  
2 Σ̂  1

có phân phối xấp xỉ phân phối khi bình phương χ2m(r−q)

Ví dụ 7.9: Kiểm định độ quan trọng của các biến dự báo bổ sung với nhiều biến phụ thuộc
Hệ thống phục vụ ở 3 địa điểm trong chuỗi nhà hàng lớn được đánh giá theo hai tiêu chí đánh giá chất lượng
phục vụ, bởi khách hàng thân thiết nam và nữ. Bảng chất lượng phục vụ đầu tiên được đề cập ở ví dụ 7.5.
Giả sử, xét mô hình hồi quy cho phép các yếu tố là vị trí địa lí, giới tính, và sự tác động qua lại giữa 2 yếu tố
này, ảnh hưởng đến cả hai bảng chất lượng phục vụ. Ma trận thiết kế ở ví dụ 7.5 không đổi với trường hợp 2
biến phụ thuộc. Ta sẽ kiểm định giả thiết sự tác động qua lại giữa 2 yếu tố này không ảnh hưởng đến 2 biến
phụ thuộc. Chương trình máy tính cung cấp dữ liệu sau

Sai số mô hình 2977, 39 1021, 72

   
= nΣ̂ =
ban đầu 1021, 72 2050, 95

Sai số  441, 76 246, 16

  
= n Σ̂1 − Σ̂ =
chênh lệch 246, 16 366, 12
Với β(2) là ma trận sự tác động qua lại giữa vị trí địa lý và giới tính đối với 2 biến phụ thuộc. Dù n = 18
không lớn, nhưng ta vẫn sử dụng kết quả 7.11 để kiểm định H0 : β(2) = 0. Lấy α = 0.05, ta có
 
Σ̂
 
1 1
   
− n − r1 − 1 − (m − r1 + q1 + 1) ln   = − 18 − 5 − 1 − (2 − 5 + 3 + 1) ln(0, 7605) = 3, 28
2 Σ̂1  2

Dễ thấy vì 3, 28 < χ22(5−3) (0, 05) = 9, 49 nên chấp nhận H0 với mức ý nghĩa 5%. Suy ra vị trí địa lý và giới
tính không cần phải có tác động lẫn nhau.
Kiểm định giả thuyết tổng quát

10
 Một cách tổng quát, ta có thể xét bài toán kiểmh định với giả thuyết H0 : Cβ = Γ0 , trong đó C là ma
trận (r − q) × (r + 1) có hạng đủ (r − q). Khi C = 0 (r−q)×(r−q)
i
I và Γ0 = 0 thì ta thu được bài toán bên
trên H0 : β(2) = 0. Có thể chỉ ra rằng ma trận sai số chênh lệch là
   0
−1  
n Σ̂1 − Σ̂ = C β̂ − Γ0 C(Z 0 Z)−1 C 0 C β̂ − Γ0
 
Nếu giả thuyết H0 đúng, thống kê n Σ̂1 − Σ̂ có phân phối Wr−q (Σ) và độc lập với Σ̂. Từ đây có thể
kiểm định giả thuyết H0 : Cβ = Γ0 một cách tương tự kết quả trên.
Các thống kê nhiều chiều khác Có nhiều phương pháp ngoài kiểm định tỷ số hợp lý được xây dựng
cho bài toán H0 : β(2) = 0. Các giải thuật trên máy thường sử dụng 4 kiểm định thống kê đề cập sau đây. Ta
giới thiệu một số ký hiệu: ma trận E cỡ p × p là ma trận sai số,

E = nΣ̂

thu được từ mô hình gốc. Ma trận sai số chênh lệch cỡ p × p,

 
H = n Σ̂1 − Σ̂

Các thống kê có thể được định nghĩa trực tiếp theo E và H, hoặc các trị  riêng khác 0 của HE
−1
là
η1 ≥ η2 ≥ . . . ≥ ηs , với s = min(p, r − q), chính là nghiệm của phương trình  Σ̂1 − Σ̂ − η Σ̂ = 0. Ta có
 

s
Y 1 |E|
• Wilks’lambda = =
i=1
1 + ηi |E + H|
s
X ηi
• Pillai’s trace = = tr H(H + E)−1
 
i=1
1 + ηi
s
X
• Hotelling-Lawley trace = ηi = tr(HE −1 )
i=1
η1
• Roy’s greatest root =
1 + η1

1.4.2 Kiểm định tính có ý nghĩa của mô hình

Một mô hình được coi là có ý nghĩa nếu có ít nhất một biến độc lập tác động lên các biến phụ thuộc. Ngược
lại, một mô hình không có ý nghĩa nếu tất cả các biến độc lập đều không có ảnh hưởng đến các biến phụ
thuộc.
Khi đó, ta giải bài toán kiếm định H0 : β = 0 bằng một trong các phương pháp trên.

1.4.3 Xây dựng mô hình hồi quy bội

Về mặt ý tưởng, ta sử dụng phương pháp Stepwise theo 2 bước
1. Trước tiên, ta tìm trong tập các biến Zi xem có biến nào bị thừa không? Từ đó xác định tập con nhỏ
nhất có ý nghĩa đầy đủ với tập các biến Y .
Ta có thể sử dụng 1 trong 2 phương pháp là
• Forward
• Backward
2. Sau khi đã chọn được tập các Z có ý nghĩa đầy đủ. Tương tự ta xem các biến Zi có dự đoán hết các
biến phụ thuộc Y hay không. Ở đây cũng có 2 cách tiếp cận là Forward và Backward
Thuật toán phần này tương đối phức tạp, chỉ mang tính tham khảo nên không đề cập thêm.

11
1.5 Hai bài toán ước lượng từ mô hình
Sau khi xây dựng mô hình và kiểm tra mô hình là đủ tốt, ta có thể tiến hành ước lượng và dự báo. Phương
pháp phổ biến là xây dựng khoảng tin cậy, dựa trên phân phối xác suất của các biến ngẫu nhiên liên quan.

1.5.1 Ước lượng giá trị kỳ vọng

Bài toán là dự đoán kỳ vọng của các biến phụ thuộc tương ứng với giá trị z00 = [1, z0,1 , . . . , z0r ], cố định, của
các biến độc lập. Trong mô hình hồi quy đơn biến đơn giản, kỳ vọng này chính là điểm nằm trên đường hồi
quy tổng thể.
Ta có h i
z00 β̂ = z00 β̂(1) , z00 β̂(2) , . . . , z00 β̂(m)
   
là ước lượng không chệch của z00 β vì E z00 β̂(i) = z00 E β̂(i) = z00 β(i) . Từ ma trận hiệp phương sai cho β̂(i)
và β̂(k) , sai số ước lượng z00 β(i) − z00 β̂(i) có hiệp phương sai là
   0     0 
E z0 β(i) − β̂(i) β(k) − β̂(k) z0 = z0 E β(i) − β̂(i) β(k) − β̂(k)
0 0
z0 = σik z00 (Z 0 Z)−1 z0

Thêm nữa, từ kết quả 7.10, ta có β̂ 0 z0 có phân phối N (β 0 z0 , z00 (Z 0 Z)−1 z0 Σ) và nΣ̂ độc lập với β̂ 0 z0 và có
phân phối Wn−r−1 (Σ).
Giá trị chưa biết của hàm hồi quy tại z0 là β 0 z0 . Do đó, ở mục 5.2 về thống kê T 2 , ta có thể viết
!0  −1 !
β̂ 0 z0 − β 0 z0 n β̂ 0 z0 − β 0 z0
T = p 0
2
Σ̂
z0 (Z 0 Z)−1 z0 n−r−1 z00 (Z 0 Z)−1 z0
p

và ellipsoid độ tin cậy 100(1 − α)% cho β 0 z0 bởi bất phương trình
−1 
0  m(n − r − 1)
 
 n 
β 0 z0 − β̂ 0 z0 Σ̂ β 0 z0 − β̂ 0 z0 ≤ z00 (Z 0 Z)−1 z0 Fm,n−r−m (α)
n−r−1 n−r−m

với Fm,n−r−m (α) là phân vị trên mức 100α của phân phối F với m và n − r − m bậc tự do
Khoảng tin cậy đồng thời 100(1 − α)% cho E(Yi ) = z00 β(i) là
s
m(n − r − 1)
r  
n
z00 β̂(i) ± Fm,n−r−m (α) z0 (Z Z) z0
0 0 −1 σ̂ii với i = 1, 2, . . . , m
n−r−m n−r−1

với β̂(i) là cột thứ i của β̂ và σii là thành phần trên đường chéo của Σ̂.
Nhận xét: Ở đây ta xây dựng khoảng tin cậy đồng thời thay vì tính lần lượt từng khoảng tin cậy với
mỗi biến Yi . Khi xây dựng riêng các khoảng với xác suất 1 − α chứa z00 β(i) , thì ta không thể suy ra xác suất
tất cả các khoảng tin cậy đó đều chứa tất cả các z00 β(i) cũng là 1 − α.
Có nghĩa là không đáp ứng được độ tin cậy 1 − α theo yêu cầu. Do đó cần thiết phải xây dựng khoảng tin
cậy đồng thời, nhưng để ý rằng độ rộng của khoảng tin cậy đồng thời lớn hơn nhiều so với các khoảng tin cậy
riêng lẻ, hay sai số ước lượng tăng lên.

1.5.2 Ước lượng giá trị chính xác

Bài toán là dự đoán một vectơ quan sát mới Y00 = [Y01 , Y02 , . . . , Y0m ] tại z0 . Theo mô hình hồi quy, Y0i =
z00 β(i) + ε0i mà sai số “mới” là ε00 = [ε01 , ε02 , . . . , ε0m ] độc lập với sai số ε đồng thời thỏa mãn E(ε0i ) = 0 và
E(ε0i ε0k ) = σik . Sai số dự đoán cho thành phần thứ i của Y0 là
 
Y0i − z00 β̂(i) = Y0i − z00 β(i) + z00 β(i) − z00 β̂(i) = ε0i − z00 β̂(i) − β(i)

12
    
do đó E Y0i − z00 β̂(i) = E(ε0i ) − z00 E β̂(i) − β(i) = 0, suy ra z00 β̂(i) là ước lượng không chệch của Y0i .
Sai số của dự đoán có hiệp phương sai là
        
E Y0i − z00 β̂(i) Y0k − z00 β̂(k) = E ε0i − z00 β̂(i) − β(i) ε0k − z00 β̂(k) − β(k)
  0
= E(ε0i ε0k ) + z00 E β(i) − β̂(i) β(k) − β̂(k) z0
     0 
− z00 E β̂(i) − β(i) ε0k − E ε0i β̂(k) − β(k) z0

= σik 1 + z00 (Z 0 Z)−1 z0

 0
Thêm nữa, Y0 − β̂ 0 z0 = β − β̂ z0 + ε0 có phân phối Nm (0, (1 + z00 (Z 0 Z)−1 z0 )Σ) độc lập đối với nΣ̂, do
đó miền ellipsoid cho Y0 trở thành
−1 
0  m(n − r − 1)
 
 n 
Y0 − β̂ 0 z0 Σ̂ Y0 − β̂ 0 z0 ≤ (1 + z00 (Z 0 Z)−1 z0 ) Fm,n−r−m (α)
n−r−1 n−r−m

Khoảng tin cậy đồng thời 100(1 − α)% cho từng Y0i là
s
1)
r  
m(n − r − n
0
z0 β̂(i) ± Fm,n−r−m (α) (1 + z0 (Z Z) z0 )
0 0 −1 σ̂ii với i = 1, 2, . . . , m
n−r−m n−r−1

So sánh hai công thức, ta thấy khoảng dự đoán giá trị chính xác rộng hơn khoảng dự đoán giá trị kì vọng, bởi
sự xuất hiện của sai số ngẫu nhiên ε0i
Ví dụ 7.10: Xây dựng ellipse tin cậy và ellipse dự đoán cho mô hình 2 biến Tiếp tục ví dụ 7.6.
Phép đo dung lượng ổ cứng cho Y2 , tương ứng với các giá trị z1 và z2 là

y20 = [301, 8 396, 1 328, 2 307, 4 362, 4 369, 5 229, 1]

Tìm ellipse tin cậy 95% cho β 0 z0 và ellipse dự đoán 95% cho Y00 = [Y01 , Y02 ] tại z00 = [1 130 7, 5]
Tìm được phương trình hồi quy mẫu

ŷ2 = 14, 14 + 2, 25z1 + 5, 67z2

với s = 1, 812. Do đó β̂(2)

0
= [14, 14 2, 25 5, 67]. Từ ví dụ 7.6, β̂(1)
0
= [8, 42 1, 08 42], z00 β̂(1) = 151, 97 và
z0 (Z Z) z0 = 0, 34725 , suy ra
0 0 −1

z00 β̂(2) = 14, 14 + 2, 25.130 + 5, 67.7, 5 = 349, 17

và  0    0  
y(1) − Z β̂(1) y(1) − Z β̂(1) y(1) − Z β̂(1) y(2) − Z β̂(2) 5, 80 5, 30
 
nΣ̂ =  0  0   =
5, 30 13, 13
 
y(2) − Z β̂(2) y(1) − Z β̂(1) y(2) − Z β̂(2) y(2) − Z β̂(2)

β̂( 1) z0 β̂( 1) z0 β̂( 1)

" 0 # " 0 0 #  " 0 0 #
151, 97

Vì β̂ 0 z0 = z = = , n = 7, r = 2 và m = 2, ellipse 95% tin cậy cho β̂ 0
z =
0
β̂(2)
0
z00 β̂(2)
0 349, 17 0
z00 β̂(2)
0

là 0 −1  0
z0 β(1) − 151, 97 5, 80 5, 30 z0 β(1) − 151, 97 2(4)
 0    
(4) ≤ (0.34725) F (0.05)
z00 β(2) − 349, 17 5, 30 13, 13 z00 β(2) − 349, 17 3
2,3

với F2,3 (0.05) = 9, 55. Tâm ellipse tại (151.97, 349.17), hướng và độ dài của trục ngắn và trục dài lấy từ trị
riêng và vectơ riêng của nΣ̂
So sánh 2 công thức, ta thấy rằng chỉ cần thay thế z00 (Z 0 Z)−1 z0 = 0, 34725 bởi 1 + z00 (Z 0 Z)−1 z0 = 1, 34725
để tìm ellipse dự đoán 95%. Như vậy ellipse dự đoán 95% cho Y00 = [Y01 , Y02 ] có cùng tâm nhưng to hơn
ellipse tin cậy.

13
Chương 2

Trường hợp Z là biến ngẫu nhiên

2.1 Có một biến phụ thuộc

2.1.1 Mô hình bài toán
Mô hình hồi quy cổ điển nghiên cứu mối quan hệ giữa một biến phụ thuộc Y với một tập các biến độc lập
z1 , z2 , . . . , zr . Khi đó, Y được xem như một biến ngẫu nhiên với kỳ vọng phụ thuộc vào giá trị cố định của
các zi . Giá trị kỳ vọng này được giả sử là một hàm tuyến tính của các hệ số hồi quy β0 , β1 , . . . , βr .
Mô hình hồi quy cũng có thể được xét theo một cách khác. Giả sử tất cả các biến Y, Z1 , . . . , Zr đều ngẫu
nhiên và có phân phối đồng thời, không nhất thiết chuẩn, có vecto kỳ vọng µ và ma trận hiệp phương
(r+1)×1
sai Σ . Chia khối ma trận µ và Σ, ta viết
(r+1)×(r+1)
   0 
µY σY Y σZY
(1×1) (1×1)
µ= và Σ= (1×r)
 
µZ σZY ΣZZ
 
(r×1) (r×1) (r×r)

với 0
σZY = [σY Z1 , σY Z2 , . . . , σY Zr ]
ΣZZ được chọn sao cho có hạng đủ. Chú ý rằng Σ không phải ma trận đường chéo, nghĩa là trong một quan
sát, các biến có tương quan và phương sai khác nhau.
Xét bài toán dự báo Y sử dụng biến dự báo tuyến tính
Dự báo tuyến tính = b0 + b1 Z1 + . . . + br Zr = b0 + b0 Z
Với biến dự báo có dạng như trên, sai số khi dự báo Y là
Sai số dự báo = Y − b0 − b1 Z1 − . . . − br Zr = Y − b0 − b0 Z
Vì sai số này là một biến ngẫu nhiên, một cách tự nhiên theo tư duy bình phương tối thiểu cổ điển, ta sẽ
chọn b0 và b làm cực tiểu
Trung bình bình phương sai số = E(Y − b0 − b0 Z)2
Ta thấy trung bình bình phương sai số phụ thuộc vào phân phối đồng thời của Y và Z qua các tham số µ và
Σ. Do đó, ta có thể đưa ra biến dự báo tuyến tính "tối ưu" dựa trên các tham số này.
Kết quả: Biến dự báo tuyến tính β0 + β 0 Z, với các hệ số
β = Σ−1
ZZ σZY , β0 = µY − β 0 µZ
có trung bình bình phương sai số nhỏ nhất trong lớp tất cả các biến dự báo tuyến tính cho Y . Giá trị nhỏ
nhất này là 0
E(Y − β0 − β 0 Z)2 = σY Y − σZY Σ−1
ZZ σZY

14
Đồng thời, β0 + β 0 Z = Σ−1 −1
ZZ σZY + σZY ΣZZ (Z − µZ ) là biến dự báo tuyến tính có tương quan mạnh nhất với
Y , nghĩa là s s
0
β ΣZZ β 0
σZY Σ−1
ZZ σZY
Corr(Y, β0 + β Z) = max Corr(Y, b0 + b Z) =
0 0
=
b0 ,b σY Y σY Y
Nhận xét: Như vậy, trong mô hình này, các tham số chưa biết cần ước lượng là hệ số hồi quy β0 , β và trung
bình bình phương sai số nhỏ nhất E(Y − β0 − β 0 Z)2 .
Ví dụ 7.11 (xác định biến dự đoán tuyến tính tối ưu, sai số trung bình phương và hệ số
tương quan)
Cho ma trận kì vọng và phương sai của Y, Z1 , Z2 là

5 10 1 −1
   
0
   
µY σY Y σZY
µ= =  2  và Σ = = 1 7 3 
µZ 0
σZY ΣZZ
0 −1 3 2

xác định dự đoán tuyến tính tốt nhất β0 + β1 Z1 + β2 Z2 , sai số trung bình phương và hệ số tương quan của
nó. Cũng kiểm chứng được rằng sai số trung bình phương bằng σY Y (1 − ρ2Y (Z) )
Đầu tiên −1    
7 3 1 1

β = Σ−1 σ = =
ZZ ZY 3 2 −1 −2
β0 = µY − β 0 µZ = 3
Do đó dự đoán tuyến tính tốt nhất là 3 + Z1 − 2Z2 . Sai số trung bình phương sẽ là
0
σY Y − σZY Σ−1
ZZ σZY = 7

và hệ số tương quan s
Σ−1 3
r
0
σZY ZZ σZY
ρY (Z) = = = 0, 548
σY Y 10
3
 
Chú ý rằng sai số trung bình phương cũng bằng σY Y (1 − ρY (Z) ) = 10 1 −
2
=7
10

2.1.2 Hệ số xác định bội tổng thể

Trong trường hợp Z cố định, ta định nghĩa R2 là tỉ lệ biến phụ thuộc được giải thích bằng đường hồi quy.
Trong trường hợp Z ngẫu nhiên, ta chỉ ra R là một ước lượng của tương quan giữa Y và Z. Nên R2 là bình
phương của tương quan đa biến mẫu.
Hệ số tương quan bội tổng thể ρY (Z) được định nghĩa là tương quan giữa Y và hàm tuyến tính
w = µY + σZY
0
Σ−1
ZZ (Z − µZ ) :
s
0 Σ−1 σ
σZY
cov(y, w) ZZ ZY
ρY (Z) = corr(Y, w) = p = .
var(y)var(w) σY Y

và hệ số xác định bội tổng thể hoặc bình phương hệ số tương quan đa biến tổng thể ρ2Y (Z) được cho bởi công
thức
σ 0 Σ−1 σZY
ρ2Y (Z) = ZY ZZ
σY Y
Một vài tính chất của ρY (Z) và ρ2Y (Z)
1. ρY (Z) là tương quan mạnh nhất giữa Y và bất kì hàm tuyến tính nào của z.
Đây là định nghĩa thay thế cho ρY (Z), không cần đến điều kiện phân phối chuẩn nhiều chiều như định
nghĩa trên.

15
 2. ρ2Y (Z) có thể được biểu diễn qua định thức, như công thức trong mô hình cổ điển:

|Σ|
ρ2Y (Z) = 1 −
σY Y |ΣZZ |

3. Phương sai var(Y |Z) có thể được biểu diễn theo ρ2Y (Z):

var(Y |Z) = σY Y − σZY

0
Σ−1
ZZ σZY = σY Y − σY Y ρY (Z)
2

= σY Y (1 − ρ2Y (Z)

Ta có thể tìm được ước lượng hợp lý cực đại cho ρ2Y (Z) bằng cách thay thế ước lượng ở tử và mẫu:
−1
s0ZY SZZ sZY
R2 =
sY Y

Ta dùng kí hiệu R2 thay cho ρ̂Y 2 (Z) , vì công thức trên giống với R2 trong trường hợp Z cố định. Ta gọi R2 là
hệ số xác định mẫu hoặc là bình phương tương quan bội mẫu. Căn bậc hai của R2
s
−1
s0ZY SZZ sZY
R=
sY Y

là hệ số tương quan bội mẫu.

2.1.3 Hồi quy bội phân phối chuẩn

 
Y
 Z1 
Giả sử 
Z2  có phân phối Nr+1 (µ, Σ) với
 

. . .
Zr
 
µY
 µ1   
µY
µ= . =
 
 ..  µZ
µr
 
σY Y σY 1 ··· σY r
 σ1Y σ11 ··· σ1r  
σY Y 0
σZY

Σ= .. .. .. =
 
 . . .  σZY ΣZZ
σrY σr1 ··· σrr
Khi đó, phân phối có điều kiện của Y với bộ z1 , . . . , zr cố định, Y | z1 , . . . , zr là

N (µY + σZY
0
Σ0ZZ (Z − µZ ), σY Y − σZY
0
Σ0ZZ σZY )

Ta có

E(Y |Z) = µy + σZY

0
Σ−1
ZZ (z − µZ )
= β0 + β 0 z,

trong đó
β0 = µY − σZY
0
Σ−1
ZZ µZ

β = Σ−1
ZZ σZY .

16
Như vậy, kỳ vọng của phân phối có điều kiện này là một biến dự đoán tuyến tính. Không những vậy, theo kết
quả phần trên, thì nó còn là biến dự đoán tối ưu cho Y khi tổng thể có phân phối chuẩn.
Kỳ vọng có điều kiện của Y cho bởi công thức trên được gọi là hàm hồi quy. Với giả thiết phân phối
chuẩn, nó là hàm tuyến tính.
Đồng thời, chú ý rằng E(Y |Z) = β0 +β 0 z không cho phép có những biểu diễn như E(Y ) = β0 +β1 Z +β2 Z2 .
Do E(Y |Z) = β0 + β 0 z là mô hình tuyến tính theo Z cũng như theo β. Điều này khác với mô hình z cố định,
chỉ yêu cầu tuyến tính theo β.
Ngoài ra, khi tổng thể không tuân theo phân phối chuẩn, hàm hồi quy E[Y | z1 , . . . , zr ] không nhất thiết
có dạng β0 + β 0 z. Tuy nhiên, người ta đã chứng minh được là cho dù E[Y | z1 , . . . , zr ] được biểu diễn dưới
dạng nào thì nó cũng đưa ra dự đoán Y với trung bình bình phương sai số nhỏ nhất.
Ta cũng có được
var(Y |Z) = σY Y − σZY0
Σ−1
ZZ σZY = σ
2

Phương sai σ 2 = σY Y − σZY

0
Σ−1
ZZ σZY , không phải là một hàm của z. Do đó mô hình này là mô hình tuyến
tính với phương sai không đổi, tương tự như trường hợp z cố định.
Ta nhận thấy var(Y |Z) chính là E(Y − β0 − β 0 Z)2 , trung bình bình phương sai số của biến dự đoán tuyến
tinh tối ưu cho Y .
Trước khi ước lượng β0 , β1 và σ 2 , ta phải ước lượng cho µ và Σ. Ước lượng hợp lý cực đại của µ và Σ
được cho bởi định lý sau.
Định lý:. Giả sử phân phối đồng thời của Y và Z tuân theo luật phân phối Nr+1 (µ, Σ), với µ và Σ được
định nghĩa như trên, ước lượng hợp lý cực đại là
   
µ̂Y Y
µ̂ = = ,
µ̂Z Z

n−1 n−1
 
sY Y s’ZY
Σ̂ = S= ,
n n sZY SZZ

Ở dạng chia khối, ma trận hiệp phương sai mẫu S có thể được viết như sau
 
sY Y sY 1 · · · sY r
 1Y s11 · · · s1r
   s
s s’ZY

S = YY = . .. ..

sZY SZZ  .. . .


srY sr1 ··· srr

Ví dụ như

Σni=1 (yi − y)(zi1 − z 1 )

sY 1 = ,
n−1
Σn (zi1 − z 1 )2
s11 = i=1 ,
n−1
Σn (zi1 − z 1 )(zi2 − z 2 )
s12 = i=1
n−1
(n − 1)S
Dễ có ước lượng hợp lý cực đại Σ̂ = là ước lượng chệch.
n
Định lý:. Giả sử phân phối đồng thời của Y và Z tuân theo luật phân phối Nr+1 (µ, Σ), với µ và Σ được
định nghĩa như trên, ta có
1. Ước lượng hợp lý cực đại hệ số của biến dự báo tuyến tính

β̂ = S−1
ZZ sZY , β̂0 = Y − s’ZY S−1
ZZ Z = Y − β̂ Z
0

Hệ quả là ta có ước lượng hợp lý cực đại của hàm hồi tuyến tính

β̂0 + β̂ 0 z = Y + s’ZY S−1

ZZ (z − Z)

17
 2. Ước lượng hợp lý cực đại của σ 2 , hay chính là E(Y − β0 − β 0 Z)2 là
n−1 2 −1
σ̂Y Y Z = s , s2 = sY Y − s0ZY SZZ sZY
n

Nhận xét: Ta thấy σ̂Y Y Z là ước lượng chệch cho σ 2 . Hiệu chỉnh một chút bằng cách chia cho n − r − 1 thay
vì n, ta thu được ước lượng không chệch cho σ 2
Pn
j=1 (Yj − β̂0 + β̂ Zj )
0 2
n−1 −1
(sY Y − sZY SZZ sZY ) =
0
n−r−1 n−r−1

Ví dụ 7.12: ước lượng hợp lí cực đại cho hàm hồi quy một biến phụ thuộc
Cho dữ liệu ở ví dụ 7.6, với n = 7 quan sát trên Y (thời gian CPU), Z1 (thứ bậc), Z2 (các mục thêm bớt),
cho thấy vectơ trung bình mẫu và ma trận hiệp phương sai mẫu

150, 44
 
 
y
µ̂ = =  130, 24 
Z
3, 547

467, 913 418, 763 35, 983

 
sY Y s0ZY
 
S= =  418, 763 377, 200 28, 034 
sZY SZZ
35, 983 28, 034 13, 657
Giả thiết là Y, Z1 và Z2 có phân phối đồng thời là phân phối chuẩn, thu được hàm dự đoán bằng hồi quy và
sai số dự đoán trung bình phương.
Kết quả 7.13 cho dự đoán hợp lí cực đại

0, 003128 −0, 006422 418, 763 1, 079

   
−1
β̂ = SZZ sZY =
−0, 006422 0, 086404 35, 983 0, 420

β̂0 = y − β̂ 0 z = 8, 421
và hàm dự đoán bằng hồi quy
β̂0 + β̂ 0 z = 8, 42 − 1, 08z1 + 0, 42z2
và dự đoán hợp lí cực đại của sai số trung bình phương nảy sinh từ dự đoán của Y với hàm hồi quy là
n−1 −1
(sY Y − s0ZY SZZ sZY ) = 0, 894
n

2.2 Có nhiều biến phụ thuộc

2.2.1 Mô hình bài toán
Mở rộng kết quả phần trên ta thu được ngay dự đoán cho nhiều biến phụ thuộc Y1 , Y2 , ..., Ym . Trong mục ta
trình bày mô hình khi có giả thiết phân phối chuẩn.
Khi đó, phân phối có điều kiện của Y1 , . . . , Ym với bộ z1 , . . . , zr cố định, Y1 , . . . , Ym | z1 , . . . , zr là

N (µY + ΣY Z Σ0ZZ (Z − µZ ), ΣY Y − ΣY Z Σ0ZZ ΣZY )

Từ kết quả 4.6, kỳ vọng có điều kiện của [Y1 , Y2 , ..., Ym ]0 , với một giá trị cố định z1 , z2 , ..., zr của biến dự đoán
là:

E{Y | z1 , z2 , ..., zr } = µY + ΣY Z Σ−1

ZZ (z − µZ )
= β0 + βz,

trong đó
β0 = µY − ΣY Z Σ−1
ZZ µZ

18
 β = ΣYZ Σ−1
ZZ .

Giá trị kì vọng này, xem như một hàm số của z1 , z2 , ...zr , được gọi là hàm hồi quy nhiều chiều của vector Y
trên Z. Nó gồm m phép hồi quy đơn biến phụ thuộc. Chẳng hạn, thành phần thứ nhất của vector kỳ vọng có
điều kiện là µY1 + ΣY1 Z Σ−1
ZZ (z − µZ ) = E(Y1 |z1 , z2 , . . . , zr ) làm cực tiểu trung bình bình phương sai số khi dự
đoán Y1 .
Ma trận cỡ m × r: β = ΣY Z Σ−1 ZZ được gọi là ma trận các hệ số hồi quy.
Ta cũng có được
var(Y |Z) = ΣY Y − ΣY Z Σ−1 ZZ ΣZY

Vector sai số:

Y − µY − ΣY Z Σ−1
ZZ (z − µZ )

có ma trận bình phương và tích vô hướng theo kỳ vọng:

ΣY Y.Z = E[Y − µY − ΣY Z Σ−1 −1
ZZ (Z − µZ )][Y − µY − ΣY Z ΣZZ (Z − µZ )]
0

= ΣY Y − ΣY Z ΣZZ (ΣY Z ) − ΣY Z ΣZZ ΣZY + ΣY Z ΣZZ ΣZZ ΣZZ Σ−1

−1 0 −1 −1
ZZ X(ΣY Z )
0
−1
= ΣY Y − ΣY Z ΣZZ ΣZY
Ta nhận thấy var(Y |Z) = ΣY Y.Z , là ma trận bình phương và tích vô hướng theo kỳ vọng.
Trước khi ước lượng β0 , β và ma trận bình phương và tích vô hướng theo kỳ vọng, ta phải ước lượng cho
µ và Σ. Ước lượng hợp lý cực đại của µ và Σ được cho bởi định lý sau.
Định lý:. Giả sử phân phối đồng thời của Y và Z tuân theo luật phân phối Nm+r (µ, Σ), với µ và Σ
được định nghĩa như trên, ước lượng hợp lý cực đại là
   
µ̂Y Y
µ̂ = = ,
µ̂Z Z

n−1 n−1
 
SY Y SY Z
Σ̂ = S= ,
n n SZY SZZ
(n − 1)S
Dễ có ước lượng hợp lý cực đại Σ̂ = là ước lượng chệch.
n
Định lý:. Giả sử Y và Z có phân phối đồng thời là Nm+r (µ, Σ). Khi đó, phương trình hồi quy của vecto
Y trên Z là:

β0 + βz = µY − ΣY Z Σ−1 −1 −1
ZZ µZ + ΣY Z ΣZZ z = µY + ΣY Z ΣZZ (z − µZ )

Kỳ vọng của ma trận bình phương và tích vô hướng cho sai số là

E(Y − β0 − βZ)(Y − β0 − βZ)0 = ΣY Y.Z = ΣY Y − ΣY Z Σ−1
ZZ .ΣZY

Thêm nữa,
1. Ước lượng hợp lý cực đại hệ số của biến dự báo tuyến tính

β̂ = SZY S−1
ZZ , β̂0 = Y − SY Z S−1
ZZ Z = Y − β̂Z

Hệ quả là từ mẫu ngẫu nhiên n, ước lượng cực đại hợp lý của hàm hồi quy là:

β̂0 + β̂z = Y + SY Z S−1

ZZ (z − Z)

2. Ước lượng hợp lý cực đại của ΣY Y Z , ΣY Y.Z là:

n−1
 
−1
Σ̂Y Y.Z = (SY Y − SY Z SZZ SZY )
n

Có thể chỉ ra rằng ước lượng không chệch của ΣY Y.Z là:
n
n−1 1
   X
−1
(SY Y − SY Z SZZ SZY ) = (Yj − β̂0 − β̂Zj )(Yj − β̂0 − β̂Zj )0
n−r−1 n − r − 1 j=1

19
Ví dụ 7.13: ước lượng cực đại hợp lí của hàm hồi quy có hai biến phụ thuộc Xét các ví dụ 7.6 và
7.10. Với Y1 là thời gian CPU, Y2 là dung lượng ổ cứng I/O, Z1 là thứ bậc và Z2 là các mục thêm bớt, ta có

150, 44
 
 327, 79 
 
y
µ̂ = = 130, 24 

Z
3, 547

và
467, 913 1148, 556 418, 763 35, 983
 
 1148, 556 3072, 491 1008, 976 140, 558 
 
SY Y SY Z
S= =
 418, 763 1008, 976 377, 200 28, 034 

SZY SZZ
35, 983 140, 558 28, 034 13, 657
Ta tìm được hàm hồi quy là

150, 44 1, 079(z1 − 130, 24) + 0, 420(z2 − 3, 547)

   
−1
β̂0 + β̂z = y + SY Z SZZ (z − z) = +
327, 79 2.254(z1 − 130, 24) + 5, 665(z2 − 3, 547)

Do đó dự đoán cực tiểu sai số trung bình phương của Y1 là

150, 44 + 1, 079(z1 − 130, 24) + 0, 420(z2 − 3, 547) = 8, 42 + 1, 08z1 + 0, 42z2

Tương tự, dự đoán tốt nhất cho Y2 là 14, 14 + 2, 25z1 + 5, 67z2

Dự đoán hợp lí cực đại cho kì vọng của sai số bình phương và ma trận cross product ΣY Y Z cho bởi

n−1 0, 894 0, 893

 
−1
(SY Y − SY Z SZZ SZY ) =
n 0, 893 2, 205

Hàm hồi quy đầu tiên 8, 42 + 1, 08z1 + 0, 42z2 và sai số trung bình phương tương ứng 0, 894 giống với ví dụ
7.12 trong trường hợp 1 biến phụ thuộc. Tương tự, hàm hồi quy thứ hai 14, 14 + 2, 25z1 + 5, 67z2 cũng giống
với kết quả của ví dụ 7.10.
Dễ thấy rằng bộ dữ liệu cho phép dự đoán biến phụ thuộc thứ nhất Y1 với sai số nhỏ hơn biến phụ thuộc
thứ hai Y2 . Hiệp phương sai dương 0, 893 cho thấy dự đoán quá mức (hoặc dưới mức) của thời gian CPU có
xu hướng đi cùng với dự đoán quá mức (hoặc dưới mức) của dung lượng ổ đĩa.

2.2.2 Hệ số tương quan riêng

Xét các cặp sai số

Y1 − µY1 − ΣY1 Z Σ−1

ZZ (Z − µZ )
Y2 − µY2 − ΣY2 Z Σ−1
ZZ (Z − µZ )

nhận được từ việc sử dụng biến dự đoán tuyến tính tối ưu để dự đoán Y1 và Y2 .
Tương quan của bộ sai số này được xác định từ ma trận hiệp phương sai ΣY Y ·Z = ΣY Y − ΣY Z Σ−1 ZZ ΣZY ,
đo mối quan hệ hệ giữa Y1 và Y2 sau khi loại bỏ ảnh hưởng của Z1 , Z2 , . . . , Zr
Chúng ta xác định hệ số tương quan riêng giữa Y1 và Y2 , sau khi loại bỏ ảnh hưởng của Z1 , Z2 , . . . , Zr bởi
σY1 Y2 ·Z
ρY1 Y2 ·Z = √ √
σY1 Y1 ·Z σY2 Y2 ·Z

Trong đó σYi Yk ·Z là phần tử thứ (i, k) trong ma trận ΣY Y ·Z = ΣY Y − ΣY Z Σ−1

ZZ ΣZY . Tương ứng, ta có ước
lượng thu được từ mẫu là
sY1 Y2 ·Z
rY1 Y2 ·Z = √ √
sY1 Y1 ·Z sY2 Y2 ·Z
−1
Với sYi Yk ·Z phần tử thứ (i, k) của SY Y − SY Z SZZ SZY .

20
 Với giả thiết Y và Z có phân phối đồng thời là chuẩn, chúng ta thấy rằng hệ số tương quan riêng mẫu là
ước lượng hợp lí cực đại của hệ số tương quan riêng trong tổng thể.
Ví dụ 7.14: Tính hệ số tương quan riêng. Trong ví dụ 13 ta tính được

1.043 1.042
 
−1
SY Y − SY Z SZZ SZY =
1.042 2.572

Do đó
sY1 Y2 ·Z 1.042
rY1 Y2 ·Z = √ √ =√ √ = 0.64
sY1 Y1 ·Z sY2 Y2 ·Z 1.043 2.572
Mặt khác, ta tính được hệ số tương quan giữa Y1 và Y2 là rY1 Y2 = 0.96, có nghĩa là mối quan hệ tương quan
giữa Y1 và Y2 giảm xuống sau khi loại bỏ ảnh hưởng của biển Z lên cả 2 biến.

21
Chương 3

So sánh hai mô hình hồi quy

Chúng ta đã trình bày các mô hình hồi quy một hay nhiều biến phụ thuộc. Trong tình huống này, các biến dự
báo có giá trị cố định zj tại lần quan sát thứ j. Mặt khác, ta có thể xuất phát từ một tập hợp các biến có
phân phối đồng thời là chuẩn. Bài toán dựa trên một tập hợp các biến ngẫu nhiên để dự đoán về giá trị của
một tập khác khác dẫn đến kỳ vọng có điều kiện, chính là một mô hình hổi quy bội. Hai cách tiếp cận hồi
quy bội này có liên quan với nhau.
Ta mở đầu bằng cách biểu diễn lại mô hình cổ điển dưới dạng center form, sau đó đưa ra ý tưởng xử lý
dạng center form với mô hình hồi quy bội. Sử dụng dạng center form, ta sẽ so sánh được 2 mô hình hồi quy

3.1 Dạng center form của mô hình hồi quy Z cố định

Đối với bất kỳ biến phụ thuộc Y , mô hình hổi quy tuyến tính bội được biểu diễn như sau
Yj = β0 + β1 z1j + . . . + βr zrj + εj

Các biến độc lập có thể được "quy tâm" bằng cách trừ đi giá trị trung bình của chúng. Ví dụ, β1 z1j =
β1 (z1j − z 1 ) + β1 z 1 và chúng ta có thể biểu diễn thành mô hình theo các biến mới
Yj = (β0 + β1 z 1 + . . . + βr z r ) + β1 (z1j − z 1 ) + . . . + βr (zrj − z r ) + εj
= β∗ + β1 (z1j − z 1 ) + . . . + βr (zrj − z r ) + εj
với β∗ = β0 + β1 z 1 + . . . + βr z r .
Đây là mô hình mới với các biến mới, với các hệ số hồi quy không đổi, trừ β0 .
Dạng center form rất hữu ích khi nghiên cứu một số bài toán kiểm định giả thuyết, tìm ra các biến có ảnh
hưởng lớn trong tập các biến độc lập và giúp ta hình dung tốt hơn về mô hình hồi quy tuyến tính.
Viết lại mô hình trên dưới dạng ma trận
 
β∗
Y = (1 | Zc2 ) +ε
βc
với βc = (β1 , . . . , βr )0 .
Ma trận thiết kế tương ứng với phép tham số hóa lại mô hình là
1 z11 − z 1 · · · z1r − z r
 
1 z21 − z 1 · · · z2r − z r 
Zc =  . .. .. ..
 
 .. . . .


1 zn1 − z 1 · · · znr − z r

Trong đó r cột cuối cùng đều vuông góc với với cột đầu tiên, vì
n
X
1(zji − z i ) = 0, i = 1, 2, . . . , r
j=1

22
Ma trận Zc2 được định nghĩa như trên, Zc = [1|Zc2 ], hay
 
z11 − z 1 · · · z1r − z r
 z21 − z 1 · · · z2r − z r 
Zc2 =  .. .. ..
 
. . .

 
zn1 − z 1 ··· znr − z r
đôi khi được gọi là ma trận đưa về dạng "quy tâm".
Tương tự mô hình hồi quy bình thường, phương trình chuẩn là
ˆ
 
β∗
(1 | Zc2 )0 (1 | Zc2 ) ˆ = (1 | Zc2 )0 y
βc
0
Vì Zc2 1 = 0, ta viết lại vế trái
0 0 0
11 1 Xc2 0
   
0 n
Zc Zc = 0 0 = 0
Zc2 1 Zc2 Zc2 0 Zc2 Zc2

Biểu diễn vế phải

10 1y
   0 
Zc0 y = 0 y= 0
Zc2 Zc2 y
Suy ra
 
β̂∗
..
 
β̂1 
  = (Zc0 Zc )−1 Zc0 y
.
 .. 
β̂r
1
 
! y
0 1y 0

0
= n 0 = ...............
0 (Zc0 Zc )−1 Zc2 y
(Zc2
0
Zc2 )−1 Zc2
0
y

Điều này có nghĩa là vecto các hệ số hồi quy βc = [β1 , β2 , . . . , βr ]0 được ước lượng không chệch bởi
(Zc2
0
Zc2 )−1 Zc2
0
y và β∗ được ước lượng bởi y.
Vì các hệ số β1 , β2 , . . . , βr không thay đổi trong mô hình mới khi tham số hóa lại, các ước lượng tốt nhất
của chúng được tính từ ma trận thiết kế Zc hoàn toàn giống với các ước lượng tốt nhất thu được từ ma trận
thiết kế Z. Do đó đặt β̂c0 = [β̂1 , β̂2 , . . . , β̂r ], biến dự đoán tuyến tính của Y có thể được viết như sau

ŷ = β̂∗ + β̂c0 (z − z) = y + y 0 Zc2 (Zc2

0
Zc2 )−1 (z − z)
với (z − z) = [z1 − z 1 , z2 − z 2 , . . . , zr − z r ]0 .
Ta cũng có thể ước lượng được β0 dùng mô hình thứ hai, mặc dù mô hình đó không có β0 :
β̂0 = β̂0 − β̂1 z 1 − . . . − β̂r z r = y − β̂c0 z
Cuối cùng, tính ma trận hiệp phương sai
 
σ2
V ar(β̂∗ ) Cov(β̂∗ , β̂c )
 
= (Zc Zc ) σ =  n
0 −1 2 0 0

Cov(β̂c , β̂∗ ) Cov(β̂c ) 0 (Zc2
0
Zc2 )−1 σ 2

Qua đây ta thấy β̂∗ không có tương quan β̂c .

Nhận xét: Mô hình hồi quy bội có ma trận thiết kế sau khi tham số hóa lại mô hình là giống nhau với
tất cả các biến phụ thuộc. Ước lượng bình phương tối thiểu cho vecto hệ số hồi quy của biến Yi là
 
y (i)
β̂(i) =  . . . . . . . . . . . . . . . . . 
(Zc2 0
Zc2 )−1 Zc2 0
y(i)

23
3.2 Liên hệ hai mô hình
Khi các biến Y, Z1 , Z2 , . . . , Zr có phân phối đồng thời là chuẩn, ước lượng kỳ vọng của Y là
−1
β̂0 + β̂ 0 z = y + s0ZY SZZ (z − z) = µ̂Y + σ̂ZY
0
Σ̂−1
ZZ (z − µ̂Z )

Từ đây ta thấy việc nghiên cứu dạng "quy tâm" các z là logic vì nó xuất hiện trong quá trình ước lượng.
Mà từ mô hình quy tâm, ta có biến dự đoán tuyến tính tối ưu là

ŷ = β̂∗ + β̂c0 (z − z)

với β̂∗ = y và β̂c0 = y 0 Zc2 (Zc2

0
Zc2 )−1 . So sánh 2 công thức, ta có

β̂∗ = y = β̂0 , β̂c = β̂

Như vậy, cả 2 cách tiếp cận đều cho cùng một biến dự đoán tuyến tính. Hơn thế nữa, công thức của biến dự
đoán tuyến tính tối ưu cũng như nhau.
Tuy nhiên, khái niệm về 2 mô hình này là khác nhau. Mô hình đầu tiên có các biến đầu vào được cho
trước bởi người quan sát. Còn đối với mô hình thứ hai, giá trị của biến độc lập là các biến ngẫu nhiên quan
sát được song song cùng với giá trị của các biến phụ thuộc.
Cuối cùng, trong cả 2 mô hình, ta chỉ cần y, z và ma trận tổng bình phương và tích vô hướng mẫu là có
thể ước lượng được các hệ số hồi quy và ma trận hiệp phương sai tổng thể.

24