CHƯƠNG 3: HỒI QUY BỘI

Giảng viên: TS. Nguyễn Minh Tùng

Ngày 23 tháng 5 năm 2022

Ngày 23 tháng 5 năm 2022 1 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Mục lục

1 Công thức hồi quy

2 Ước lượng và kiểm định hệ số

3 Sự phù hợp của mô hình

4 Dự báo

5 Một số mô hình phi tuyến hay gặp

Ngày 23 tháng 5 năm 2022 2 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Mô hình hồi quy tổng thể

Mô hình hồi quy tổng thể (PRM)

Y = β1 + β2 X2 + β3 X3 + u,

trong đó Y là biến phụ thuộc, X2 , X3 là các biến giải thích, và u là sai

số ngẫu nhiên. Lấy kỳ vọng 2 vế chúng ta có hàm hồi quy tổng thể như
sau
E(Y|X) = β1 + β2 X2 + β3 X3 + E(u|X).
Với giả thiết trung bình các sai số bằng không (E(u|X) = 0), ta có
phương trình hàm hồi quy mẫu sau đây:

E(Y|X) = β1 + β2 X + β3 X3 .

Ngày 23 tháng 5 năm 2022 3 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Mô hình hồi quy mẫu
Từ tổng thể chúng tra trích ra một mẫu (cỡ mẫu n) có các cặp phần tử

X21 , X31 ⇒ Y1
X22 , X32 ⇒ Y2
...
X2n , X3n ⇒ Yn

Mô hình hồi quy mẫu (SRM)

b1 + β
Yi = β b2 X2i + β
b3 X3i + ei ,

b1 , β
trong đó β b2 , β
b3 là ước lượng cho β1 , β2 , β3 và ei là sai số. Chúng ta
cần xác định hàm hồi quy mẫu như sau
bi = β
Y b1 + β b2 X2i + β
b3 X3i
P P b i | ⇒ Min Pn e2 = Pn (Yi − Y
Min ni=1 |ei | = ni=1 |Yi − Y i=1 i i=1
b i )2
Ngày 23 tháng 5 năm 2022 4 /
tungnm@buh.edu.vn Hồi quy hai biến 21
Phương pháp bình phương bé nhất (OLS)

n
X
Min RSS = b1 − β
(Yi − β b2 X2i − β
b3 X3i )2
i=1

Nguyên lý cực trị (Ferma’s rule) cho ta hệ phương trình sau đây

∂RSS ∂RSS ∂RSS

= 0, = 0, = 0.
b1
∂β b2
∂β b3
∂β

Ngày 23 tháng 5 năm 2022 5 /

tungnm@buh.edu.vn Hồi quy hai biến 21
     
1 X21 X31 Y1 b1
 1 X22 X32  Y2  β
X=  Y=  b= 
β βb2 

... ... ...   ... 
b
β3
1 X2n X3n Yn
Ta chứng minh được công thức sau


b = XT X −1 XT Y

RSS
β and b2 =
σ
n−3
b
Ma trận hiệp phương sai của β
 
b1 )
Var(β b1 , β
Cov(β b2 ) Cov(β
b1 , βb3 )

−1 
Covβb= bσ 2 XT X = Cov(β b2 , β
b1 ) Var(βb2 ) b2 , βb3 )
Cov(β 
Cov(βb3 , β
b1 ) Cov(β
b3 , β
b2 ) Var(βb3 )

Ngày 23 tháng 5 năm 2022 6 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Nhắc lại hệ số tương quan

Tương quan (hiệp phương sai) giữa X và Y là

Cov(X, Y) := E(XY) − E(X).E(Y).

Hệ số tương quan
Cov(X, Y)
r(X, Y) := .
se(X)se(Y)
r(X, Y) > 0: giữa X và Y có quan hệ đồng biến.
r(X, Y) < 0: giữa X và Y có quan hệ nghịch biến.
r(X, Y) = ±1: X và Y có quan hệ tuyến tính chặt chẽ.
r(X, Y) ≈ 0: X và Y có quan hệ tuyến tính không chặt chẽ.

Ngày 23 tháng 5 năm 2022 7 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Các giả thiết cho phương pháp OLS

(i) Hàm hồi quy tuyến tính theo tham số.

(ii) E(ui ) = 0 và Var(ui ) = σ 2 (nghĩa là ui có phân phối chuẩn
N(0, σ 2 )).
(iii) Cov(ui , uj ) = 0 không có sự tương quan giữa ui và uj .
(iv) Cov(ui , xi ) = 0 không có sự tương quan giữa ui và xi .
(v) Giữa các biến giải thích không có quan hệ tuyến tính (không có
hiện tượng đa cộng tuyến).

Ngày 23 tháng 5 năm 2022 8 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Tính chất hàm hồi quy

Pn
i=1 ei = 0.
(i)

(ii) Đường thẳng hồi quy luôn đi qua điểm (X2 , X3 , Y).
(iii) Trung bình mẫu và trung bình các giá trị hồi quy bằng nhau

b
Y = Y.

(iv) b1 , β
β b2 , và β
b3 là ước lượng tuyến tính, không chệch, và hiệu quả
của β1 , β2 , và β3 .
     
E βb1 = β1 , E β b2 = β2 , E β b3 = β3 .

Ngày 23 tháng 5 năm 2022 9 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Độ lệch chuẩn

Từ ma trận hiệp phương sai

Pn
i=1 ei
2
2 RSS
σ =
b =
n−3 n−3
 
Var(βb1 ) b1 , β
Cov(β b2 ) Cov(β
b1 , βb3 )

−1 
b= b
Covβ σ 2 XT X = Cov(βb2 , β
b1 ) Var(βb2 ) b2 , βb3 )
Cov(β 
b3 , β
Cov(β b1 ) Cov(β
b3 , β
b2 ) Var(βb3 )

q
bi ) =
Se(β bi )
Var(β
b2 − β
Var(β b3 ) =Var(β
b2 ) + Var(β
b3 ) − 2Cov(β
b2 , β
b3 ).

Ngày 23 tháng 5 năm 2022 10 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Ước lượng khoảng cho các hệ số

Định lý
βbi − βi
t=   ∼ T(n − 3)
se β bi

Khoảng tin cậy 1 − α cho βi cho bởi công thức sau

   
bi − t(n−3)
β α
bi 6 βi 6 β
se β bi + t(n−3)
α se βbi
2 2
 
b (n−3)
βi 6 βi + tα se βbi
 
bi − t(n−3)
β α
bi 6 βi
se β

Ngày 23 tháng 5 năm 2022 11 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Ước lượng tổng thể

Khoảng ước lượng cho aβ1 + bβ2 là

    
aβ b2 − t(n−3)
b1 + bβ α
b1 + bβ
se aβ b2 ; aβ b2 + t(n−3)
b1 + bβ α
b1 + bβ
se aβ b2 .
2 2

Trong đó
  r  
b b
se aβ1 + bβ2 = Var aβ b1 + bβb2 ,
   
b1 + bβ
Var aβ b2 = a2 Varβ
b1 + b2 Varβ
b2 + 2abCov βb1 , β
b2 .

Ngày 23 tháng 5 năm 2022 12 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Kiểm định cho các hệ số

bi − a
β
t=   ∼ T(n − 3)
se βbi

Kiểm định Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

(n−3)
Hai phía βi = a βi 6= a |t| > t α
2

(n−3)
Bên trái βi > a βi < a t < −tα

(n−3)
Bên phải βi 6 a βi > a t > tα

Ngày 23 tháng 5 năm 2022 13 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Kiểm định vai trò như nhau của các hệ số

βb2 − β
b3
t=   ∼ T(n − 3)
se βb2 − β
b3

Kiểm định Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

(n−3)
Hai phía β2 = β3 β2 6= β3 |t| > t α
2

Ngày 23 tháng 5 năm 2022 14 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Hệ số xác định

n 
X 2 2
TSS = Yi − Y = YT Y − nY (total sum of squares)
i=1
Xn  2 2
ESS = bi − Y
Y = βbT (XT Y) − nY (explained sum of squares)
i=1
n 
X 2
RSS = b i − Yi
Y (residual sum of squares)
i=1

Với phương pháp OLS, ta có mối quan hệ sau

TSS = ESS + RSS.
Hệ số xác định và hệ số xác định hiệu chỉnh
ESS 2 n−1
R2 = and R = 1 − (1 − R2 )
TSS n−k
Ngày 23 tháng 5 năm 2022 15 /
tungnm@buh.edu.vn Hồi quy hai biến 21
 2
0 6 R 6 R2 6 1
• R2 càng cao càng thể hiện mô hình là phù hợp, và biến giải thích
phản ánh rất tốt bản chất của biến phụ thuộc.
• R2 = 0, mô hình hoàn toàn không phù hợp, biến giải thích không đưa
ra một giải thích nào về biến phụ thuộc.
2 2
• R có thể là số âm. R dùng để cân nhắc đưa thêm biến giải thích vào
2
mô hình. Chúng ta chỉ đưa thêm biến mới vào mô hình khi R tăng.
Với mức ý nghĩa α, chúng ta kiểm tra giả thiết và đối thuyết sau

Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

R2 = 0 (∀βi = 0) R2 6= 0 (∃βi 6= 0) F > Fα (k − 1, n − k)

n − k R2
F := . .
k − 1 1 − R2
Hai biến k = 2, ba biến k = 3
Ngày 23 tháng 5 năm 2022 16 /
tungnm@buh.edu.vn Hồi quy hai biến 21
Kiểm định WALD

Mô hình ban đầu:

(U) : Y = β1 + β2 X2 + ... + βk Xk .

Sau khi bỏ đi một số biến (với m < k):

(R) : Y = β1 + β2 X2 + ... + βm Xm .

Giả thiết H0 : βm+1 = ... = βk = 0.

Đối thiết H1 ít nhất một trong các hệ số βm+1 , ..., βk khác không.
Trị thống kê :

R2U − R2R /(k − m)
FW :=
.
1 − R2U /(n − k)
Nếu FW > F(α, k − m, n − k) thì ta sẽ bác bỏ H0 với mức ý nghĩa α.

Ngày 23 tháng 5 năm 2022 17 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Khoảng dự báo cho trung bình

Cho X0 hãy tính E(Y|X0 )

b 0.
b 0 = βX
• Ước lượng điểm Y
• Ước lượng khoảng cho giá trị trung bình E(Y|X0 )

b 0 − tn−3
Y α se(Y b 0 + tn−3
b 0 ) 6 E(Y|X0 ) 6 Y α
b 0 ).
se(Y
2 2

• Khoảng dự báo cho giá trị cá biệt Y0

 
b 0 − tn−3
Y α se(Y0 − Y b 0 + tn−3
b 0 ), Y α
b0 ) .
se(Y0 − Y
2 2

q
b
Var(Y0 ) = b b
σ X0 (X X) X0 ⇒ se(Y0 ) = Var(Y
2 T T −1 b 0 ).
q
Var(Y0 − Yb0) = b b 0 ) ⇒ se(Y0 − Y
σ 2 + Var(Y b 0 ) = Var(Y0 − Y
b0)

Ngày 23 tháng 5 năm 2022 18 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Dạng hàm log-log

Từ mô hình

Yi = eβ1 Xβi 2 eui =⇒ ln Yi = β1 + β2 ln Xi + ui .

Ý nghĩa: Khi X thay đổi 1% thì Y sẽ thay đổi β2 %.

Ví dụ: Hồi quy mức tiêu dùng cà phê (Q) theo giá của cà phê (Pcoffee )
và giá trà (Ptea ).

ln Q = 0.75 − 0.2 ln Pcoffee + 0.42 ln Ptea .

Nêu ý nghĩa các hệ số hồi quy.

Ngày 23 tháng 5 năm 2022 19 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Dạng hàm semi-log

Mô hình 1:
ln Yi = β1 + β2 Xi + ui .

Ý nghĩa: Khi X thay đổi 1 đơn vị thì Y sẽ thay đổi 100β2 %.

Mô hình 2:
Yi = β1 + β2 ln Xi + ui .
β2
Ý nghĩa: Khi X thay đổi 1% thì Y sẽ thay đổi .
100

Ngày 23 tháng 5 năm 2022 20 /

tungnm@buh.edu.vn Hồi quy hai biến 21
Dạng hàm bậc 2

Mô hình
Yi = β0 + β1 Xi + β2 X2i + ui .

Ý nghĩa: Khi X thay đổi 1 đơn vị thì Y sẽ thay đổi β1 + 2β2 Xi .

Ngày 23 tháng 5 năm 2022 21 /

tungnm@buh.edu.vn Hồi quy hai biến 21