Chương V: Các sai lầm cơ bản trong

quá trình xây dựng mô hình hồi qui đa

biến
Đa cộng tuyến
TS Nguyễn Minh Đức

Đa cộng tuyến
(Multicollinearity)
Khái niệm Đa cộng tuyến:
l Là hiện tượng các biến độc lập có tương quan với nhau
l Mô hình lý tưởng khi các biến độc lập không tương quan
l Có thể có nhiều mức độ tương quan:
l Tương quan hoàn toàn (đa cộng tuyến hoàn hảo) r223 =1
λ2X2 + λ3X3 =0
X2 = λX3
l tương quan không hoàn toàn (đa cộng tuyến không hoàn hảo)
λ2X2 + λ3X3 + v =0
v: sai số ngẫu nhiên
X2 = λX3 + u

Prepared by NMDUC 2009

1
Đa cộng tuyến
(Multicollinearity)
Nguyên nhân:
l Phương pháp thu thập số liệu: mẫu không
đặc trưng
l Bản chất của các biến có mối tương quan
l Mô hình: biến có số mũ cao
l Kích cỡ mẫu nhỏ

Prepared by NMDUC 2009

Đa cộng tuyến
(Multicollinearity)

Các hệ số ước lượng:

Yi = β1 + β2 X2i + β3 X3i + ei
l Trường hợp đa cộng tuyến hoàn hảo:
l Không thể tách ảnh hưởng của
từng biến độc lập lên biến phụ
thuộc
l Không thể có giá trị duy nhất của
từng hệ số hồi quy, mặc dù có đáp
số duy nhất cho tổ hợp tuyến tính.
Prepared by NMDUC 2009

2
Đa cộng tuyến
(Multicollinearity)
^ ^ ^
β1 = Y − β 2 X 2 − β 3 X 3
n  n   n  n 
 ∑ yi x2,i  ∑ x32i  −  ∑ yi x3,i  ∑x2,i x3,i 
βˆ2 =  i=1  i=1   i=1  i=1
2

 n 2  n 2   n 
 ∑ x2i  ∑ x3i  −  ∑x2,i x3,i 
 i=1  i=1   i=1 
 n  n   n  n 
 ∑ yi x3,i  ∑ x22i  −  ∑ yi x2,i  ∑ x2,i x3,i 
βˆ3 =  i =1  i =1   i =1  i =1
2

 n
 n
  n

 ∑ x22i  ∑ x32i  −  ∑ x2,i x3,i 
 i =1  i =1   i =1 
l X2 = λX3
^
l βˆ 1 , βˆ 2 , β 3 không xác định

Prepared by NMDUC 2009

Đa cộng tuyến
(Multicollinearity)

l Trường hợp đa cộng tuyến không hoàn hảo:

l Có thể xác định được giá trị của các hệ số
hồi quy

Prepared by NMDUC 2009

3
Đa cộng tuyến
(Multicollinearity)

Hậu quả của đa cộng tuyến

l Phương sai, hiệp phương sai và sai số chuẩn là
vô hạn
 ^  δ2  ^  δ2
var β 2  = var β 3  =
  ∑x 2
2i (1 − r232 )   ∑x 2
3i (1 − r232 )

 ^
 − r23 δ 2 ^ δ
 ^
=
cov  β 2 , β 3 se( β i ) =
  (1 − r232 ) ∑ x 22i ∑ x 32i (1 − r232 ) ∑ xi2
 

Prepared by NMDUC 2009

Đa cộng tuyến
(Multicollinearity)

Hậu quả của đa cộng tuyến

l Khoảng tin cậy rộng hơn
l Xác suất chấp nhận giả thuyết H0 -tăng (tăng sai lầm loại
II)
l R2 cao, nhưng nhiều giá trị t thấp
l Hệ số ước lượng và sai số chuẩn rất nhạy cảm với
những thay đổi trong số liệu
l Dấu của các hệ số ước lượng có thể sai
l Thêm hay bớt biến cộng tuyến, sẽ có thay đổi về độ lớn
và dấu của các hệ số ước lượng.

Prepared by NMDUC 2009

4
Đa cộng tuyến
(Multicollinearity)

l Cách phát hiện đa cộng tuyến:

l Do đa cộng tuyến hoàn hảo rất hiếm khi xảy ra, trong
khi đa cộng tuyến không hoàn hảo xảy ra rất thường
xuyên cho nên ta thường xác định mức độ tương quan
chứ không xác định loại cộng tuyến.
l Các cách xác định đa cộng tuyến phổ biến:
1/ Dựa vào R2 và t
2/ Xác định hệ số tương quan cặp giữa các biến độc lập
(>0.8)
3/ Hồi quy phụ: hồi quy một biến X theo các biến X còn lại

Prepared by NMDUC 2009

Đa cộng tuyến
(Multicollinearity)
Cách khắc phục:
l Không có biện pháp hoàn hảo. Phụ thuộc vào tính nghiêm trọng của
đa cộng tuyến và bản chất của số liệu mẫu. Đôi khi áp dụng biện
pháp khắc phục không phù hợp sẽ dẫn đến sai lầm nghiêm trọng
hơn.
1/ Sử dụng thông tin đã biết
2/ Tăng cỡ mẫu, hoặc lấy thêm mẫu mới: có thể mẫu mới có các biến
độc lập ít tương quan
3/ Bỏ bớt biến: dựa vào R2 để quyết định biến nên bỏ. Tuy nhiên trong
những trường hợp không thể bỏ biến được thì nên cân nhắc giữa
sai lệch khi bỏ biến và việc tăng phương sai của các hệ số ước
lượng.
4/ Sử dụng biến trễ.
5/ Giảm tương quan trong hồi quy đa thức: các biến độc lập có bậc lũy
thừa khác nhau
6/ Khác: hồi quy thành phần chính, sử dụng các ước lượng từ bên
ngoài.

Prepared by NMDUC 2009