Professional Documents
Culture Documents
Kinh Tế Lượng
Kinh Tế Lượng
Kinh Tế Lượng
Kinh tế lượng phát triển dựa trên nền tảng phương pháp thống kê để ước lượng các quan
hệ kinh tế, kiểm định các lý thuyết kinh tế, đánh giá hay chỉ dẫn chính sách chính phủ và doanh
nghiệp. Môn khoa học này phát triển như là một quy tắc tách rời khỏi toán thống kê bởi vì nó
tập trung vào vấn đề cố hữu khi thu thập và phân tích nonexperimental data. Một cách tự
nhiên, kinh tế lượng học đã mượn toán thống kê bất cứ khi nào có thể, phương pháp phân tích
hồi quy bội là cốt tủy của cả hai mảng, nhưng có khác biệt về cách diễn giải, trình bày. Hơn thế,
các nhà kinh tế đã đưa ra các kỹ thuật mới để giải quyết sự phức tạp của economic data và
kiểm định dự đoán của một lý thuyết kinh tế.
Nếu delta u bằng 0 thì delta y bằng delta x nhân với Hệ số góc β 1
Vấn đế quan trọng nhưng cũng khó khăn để giải quyết là làm sao để đưa ra kết luận ceteris
paribus của tác động của x lên y. Nói cách khác, vấn đề là làm sao có thể biết được mối quan hệ
ceteretis paribus của x lên y khi ta bỏ qua tất cả các yếu tố khác?
Vấn đề đầu tiên cũng chính là vấn đề ước lượng hệ số góc và hệ số chặn của phương trình
(2.1). Chúng ta chỉ có thể ước lượng Hệ Số Chặn và Hệ Số Góc từ một mẫu dữ liệu khi chúng ta
có giả định ràng buộc Biến không quan sát được u liên hệ như thế nào với biến giải thích x
Giả định 0: Giá trị trung bình của u trong tổng thể là bằng zero: E ( u )=0 (nói giả định này sẽ
không mất gì là bởi chúng ta luôn có thể xác định lại hệ số chặn β 0 để làm giả định này đúng)
Giả định 1: Giá trị trung bình của u không phụ thuộc vào giá trị của x : E ( u| x )=E ( u )
Với 2 giả định trên ta có được population regression function (PRF) E ( y| x )=β 0 + β 1 x
Với một mẫu các giá trị của x,y được lấy từ tổng thể, ta có thể viết y i=β 0 + β 1 x i +ui
Với giả định 1 ta có thể suy ra một hệ quả là u không tương quan với x trong tổng thể:
cov ( x ,u )=E ( xu )=0
với tính chất chất của trung bình tổng, ta biết: y= β^ 0 + β^ 1 x (3*)
n n
Thay (3*) vào (2*) ta được: ∑ x i ( y i− y ) = ^β 1 ∑ x i ( x i− x )
i=1 i=1
n
∑ ( x i−x )( y i− y )
Ta rút ra công thức ước lượng Hệ số góc β 1: ^β 1=
i=1
n (với điều kiện:
∑ ( xi −x ) 2
i =1
n
∑ ( xi −x ) 2> 0
i=1
Với mọi ước lượng ^β 0 và ^β 1 ta xác định được fitted value (giá trị ước lượng) của y khi
x=x i: ^y i= β^ 0 + ^β 1 x i
The residual của quan sát thứ i là hiệu của giá trị của y i và fitted value ^y i: u^ i= y i−^y i
¿ y i− β^ 0 + ^β 1 x i
∑ u^ =∑ ( yi − ^β 0− ^β 1 x i )
2 2
i là bé nhất, và first order conditions cho ước lượng bình phương
i=1 i=1
thông thường bé nhất chính là phương trình (1*) và (2*) (chứng minh sau)
Nhớ rằng chúng ta chỉ có thể ước lượng được tham số của hàm (SRF) với các giả định và mẫu
dữ liệu cho trước và có thể thay đổi giả định, cách lấy dữ liệu để fit nhất với hàm (PRF); Hàm
(PRF) là cố định nhưng không thể biết được.
Một số tính chất đại số của thống kê OLS:
n
1. Tổng, và trung bình mẫu của các OLS residual, bằng zero. ∑ u^ i=0
i=1
n
2. Phương sai mẫu giữa biến độc lập và các OLS residual là bằng zero ∑ x i u^ i=0
i=1
Từ tính chất (1) và tính chất (2) ta có thể biết trung bình mẫu của fitted value bằng với trung
bình mẫu của y hay ^y = y , và phương sai mẫu giữa ^y i và u^ i bằng zero. Vậy ta có thể coi y i như là
tổng của 2 phần fitted value cộng với residual, 2 phần này không tương quan trong mẫu.
n
SST ≡ ∑ ( y i− y ) là độ lớn của tổng phương sai mẫu của y i với y
2
i=1
n
SSE ≡ ∑ ( ^y i− y ) là độ lớn của phương sai mẫu của ^y i với y
2
i=1
n
SSR ≡ ∑ u^ 2i̇ là độ lớn của phương sai mẫu của u^ i
i=1
R-bình của hồi quy, đôi khi được gọi là coefficient of determination được định nghĩa là:
2
R =SSE /SST =1−SSR/ SST
Với công thức định nghĩa trên, chúng ta có thể hiểu R-bình là phần biến thiên mẫu của y
được giải thích bởi x . R2 sẽ có giá trị thuộc khoảng [0,1]:
Với R2=1 , mọi điểm dữ liệu đều nằm trên đường hồi quy OLS, OLS cho ta perfect fit
với dữ liệu
Với R2=0, độ phân tán của y i được thể hiện rất yếu qua ^y i, có nghĩa rằng giá trị quan
sát được của y quanh y có mức độ phân tán khá lớn so với độ phân tán của ^y quanh
^y
Chữ R được dùng để ký hiệu cho ước lượng của Hệ Số Tương Quan Tổng Thể, vì người ta có
thể chứng minh được rằng R là hệ số tương quan mẫu của y i và ^y i
Trong khoa học xã hội, R2 sẽ thường lớn, đặc biệt với dữ liệu chéo. Nhưng R2 nhỏ không có
nghĩa là phương trình hồi quy OLS vô dụng. Do vậy không cần quá tập trung vào nó khi đánh giá
mức độ thành công của phân tích kinh tế lượng, điều này có thể dẫn đến nhiều rắc rối.
Có 2 vấn đề quan trọng khi sử dụng ứng dụng kinh tế lượng đó là:
1. Hiểu được đơn vị đo của biến phụ thuộc hay biến độc lập tác động ước lượng OLS
như thế nào?
2. Biết được làm thế nào để kết hợp những hàm phổ biến được dùng trong kinh tế vào
phân tích hồi quy
Nếu biến phụ thuộc được nhân lên một hằng số c -có nghĩa là mỗi một giá trị trong mẫu
được được nhân lên c lần-vậy Hệ Số Chặn và Hệ Số Góc cũng được nhân cho c (với điều kiện
biến độc lập không thay đổi đơn vị đo). R2 không thay đổi
Giả sử với một trường hợp thực tế, chúng ta thu thập dữ liệu và ước lượng được Hệ số chặn
và Hệ số góc của hàm hồi quy tuyến tính thể hiện mối quan hệ giữa 2 biến. Với mỗi đơn vị tăng
lên của biến độc lập, biến phụ thuộc sẽ tăng lên β 1 đơn vị; khi biến độc lập tăng lên Δx , biến
phụ thuộc sẽ tăng lên β 1 Δx . Với nhiều trường hợp thực tế, giả định này sẽ không hợp lý.
Có một giả định tốt hơn về sự thay đổi của biến phụ thuộc theo biến độc lập hơn giả định
trên chính là mỗi một đơn vị thay đổi của biến độc lập sẽ thay đổi biến phụ thuộc theo một
phần trăm cố định: log ( y )= β0 + β 1 x+u
Với dạng hàm kết hợp giữa hàm log và dạng hàm hồi quy tuyến tính này, với giả định Δu=0,
thì %Δy ≈ ( 100. β 1 ) Δx
nếu ta nhân cả hai vế phương trình trên cho 100, ta sẽ có: 100. Δ log ( x ) ≈%Δx
chú ý: khi thay đổi dạng hàm của biến độc lập hay biến phụ thuộc thì đơn vị đo của chúng
cũng sẽ không bị ảnh hưởng gì)
Ý Nghĩa của Hồi Quy Tuyến Tính:
Như chúng ta đã thấy ở trên, mô hình hồi quy đơn tuyến tính cũng cho phép thể hiện những
mối quan hệ phi tuyến nhất định. Vậy tuyến tính ở đây có nghĩa là gì?
The key là Mô Hình Hồi Quy Đơn là Tuyến Tính trong Hệ Số Góc và Hệ Số Chặn, β 0 và β 1,
không có giới hạn nào về việc Biến Phụ Thuộc và Biến Độc Lập, y và x , phải liên hệ với nhau như
thế nào. Nếu muốn, hoàn toàn có thể dùng hồi quy đơn để ước lượng OLS với mô hình như
y=β 0 + β 1 √ x +u
Mặc dù cơ chế của hồi quy đơn không bị ảnh hưởng bởi định nghĩa của y và x , việc giải thích
các hệ số của mô hình thì có. Có nhiều mô hình không thể được xem như mô hình hồi quy
tuyến tính bởi vì chúng không tuyến tính trên hệ số
Nếu coi ^β 0 và ^β 1là ước lượng của tham số β 0 và β 1 trong tổng thể, chúng ta cần phải biết
được tính chất phân phối của ^β 0 vả ^β 1 qua các mẫu khác nhau của tổng thể.
Một khi ta đã có mẫu ngẫu nhiên, và giả định rằng E ( u| x )=0 , ta không mất gì nếu coi x i là
không ngẫu nhiên. Có một lưu ý là giả định Cố Định trong Mẫu lặp lại đi theo hệ quả là x i và ui
độc lập với nhau. Khi quyết định khi nào một phân tích hồi quy đơn sẽ cho ta một ước lượng
không chệch, giả định SLR.4 là một phạm trù quan trọng)
Ở các phần trước, ta đã biết được công thức ước lượng của Hệ Số Góc β 1 là:
n
∑ ( x i−x ) y i
^β 1= i=1
n
∑ ( xi −x )2
i=1
^β trở thành biến ngẫu nhiên nếu ta quan tâm tới thể hiện của nó trên toàn bộ mẫu, ta có thể
1
n
1
viết lại công thức ước lượng β 1 là : ^β 1=β 1+ ∑ ( x −x ) ui
SS T x i=1 i
Chúng ta thấy rằng ước lượng OLS của β 1, ^β 1 bằng với Hệ Số Góc β 1 trong tổng thể cộng với
một kết hợp tuyến tính trong the error. Điều kiện trong giá trị của x i, tính ngẫu nhiên trong ^β 1
nhờ hoàn toàn vào the errors trong mẫu. Nhìn chung the errors khác zero là nguyên nhân dẫn
tới sự khác biệt giữa ^β 1 và β 1
E( ^β ¿ ¿ 1)=β 1 + E ¿ ¿
1
¿ β 1+ E¿
SS T x
n
1
¿ β 1+ ∑ ( x −x ) E(u ¿¿ i)¿
SS T x i=1 i
n
1
¿ β 1+ ∑ ( x −x ) .0= β1
SS T x i=1 i
^β = y − ^β x
0 1
¿ β 0 + β 1 x +u− β^ 1 x
¿ β 0 +(β ¿¿ 1− β^ 1 )x +u ¿
E ( β^ 0 ) =β 0 + E ¿
¿ β 0 +0. E(x)+ 0
¿ β0
Lưu ý: tính không chệch là tính chất phân phối trong mẫu của ^β 0 và ^β 1 và nó không cho ta
biết gì về cách lấy mẫu trong tổng thể. Chúng ta hy vọng rằng với một cách lấy mẫu tốt thì tham
số ước lượng của chúng ta có thể gần với giá trị tham số trong tổng thể.
Một hồi quy tuyến tính đơn phải đủ 4 giả định đã nêu để có Tính không chệch. Điều này có
nghĩa là ta phải nghĩ về tính xác thực của cả 4 giả định khi sử dụng SLR:
1. Giả định SLR.1 yêu cầu y và x phải liên hệ tuyến tính, điều kiện này khá dễ bị vi phạm,
nhưng chúng ta đã thấy trước đó rằng có thể thay đổi dạng hàm và cách giải thích
biến để thỏa mãn giả định này
2. Giả định SLR.2 bị vi phạm với dữ liệu chéo khi mẫu được lấy không đại diện được cho
Tổng Thể
3. Giả định SLR.3 luôn tồn tại nếu chúng ta nghiên cứu một vấn đề thú vị, có nghĩa rằng
phương sai của các mẫu lấy được khác zero
4. Giả định SLR.4 là giả định quan trọng nhất để ước lượng OLS là ước lượng không
chệch. Khả năng biến giải thích x có tương quan với biến không quan sát được u luôn
là mối quan tâm khi phân tích hồi quy đơn với nonexperimental data, vì như đã thảo
luận trước đó, quan hệ giữa y và x sẽ rất không chính xác khi mà u có tác động thay
đổi y cũng có tương quan với x .
b. Phương sai của ước lượng OLS (ước lượng hiệu quả nhất)
Tuy rằng phương sai ước lượng OLS có thể được tính nhờ vào 4 giả định SLR, nhưng cách
trình bày sẽ phức tạp. Thay vào đó, chúng ta thêm một giả định SLR.5 với mục đích tính phương
sai ước lượng OLS một cách đợn giản hơn, giả định này từ lâu được thêm vào dể xử lý dữ liệu
chéo.
Giả định này nói rằng phương sai của biến không quan sát được u, có điều kiện với x , là cố
định. Giả định SLR.5 được gọi là homoskedasticity hoặc phương sai cố định: Var ( u| x )=σ 2
Với E ( u )=0;
Var ( u| x )=E ( u | x )−0=σ , có nghĩa là σ 2 sẽ là phương sai không điều kiện của
2 2
u, và được gọi là error variance hay disturbance variance. Phương sai này càng lớn có nghĩa
rằng độ phân tán của biến không quan sát được u càng rộng.
Ta có thể viết hai giả định SLR.4 và SLR.5 dưới dạng trung bình có điều kiên và phương sai
có điều kiện của y như sau:
)( )
2
(
2 n
1
¿
SS T x
∑ ( x i−x ) Var (ui )
i=1
1
Var ( ^β 1 )=
2
σ
SS T x
n
σ 2 n−1 ∑ x 2i
Var ( ^β 0 ) = n
i=1
∑ ( x i−x )2
i=1
Phương sai the error càng lớn, phương sai của ^β 1 càng lớn
Tổng phương sai trong mẫu của x , SS T x càng lớn, phương sai của ^β 1 càng nhỏ
σ
√
Độ lệch chuẩn của ^β 1 là: sd ( ^β 1) = var ( ^β1 ) =
SSTx
khi ước lượng phương sai cho ^β 0 và ^β 1, chúng ta cần phải biết được σ 2, vì không thể tính một
cách chính xác hay bằng cách nào đó biết trước được σ 2, chúng ta cần ước lượng cho σ 2.
Chúng ta đã biết mô hình tổng thể được viết dưới dạng mẫu quan sát ngẫu nhiên là:
y i=β 0 + β 1 x i +ui . Chúng ta cũng có thể biểu diễn y i dưới dạng tổng fitted value và residuals là:
y = β^ + ^β x + u^ . Khi so sánh 2 phương trình này, ta có thể thấy the error xuất hiện trong mô
i 0 1 i i
hình tổng thể và không thể biết được. Mặt khác, residuals xuất hiện trong mô hình hồi quy và
có thể tính toán được thông qua kết quả ước lượng hồi quy OLS tham số ^β 0 và ^β 1
Với một chút biến đổi đại số, ta có thể viết u^ i=u i−( β^ 0− β0 ) −( ^β1− β1 ) x i
Mặc dù kỳ vọng toán của ^β 0 và ^β 1 bằng với giá trị của β 0 và β 1, u^ i sẽ không giống với ui. Chúng
ta chỉ có thể kỳ vọng giá trị u^ i gần bằng với ui, nói cách khác, hiệu giữa chúng có giá trị kỳ vọng
bằng zero.
n
1
∑ u 2. Không may là
Đầu tiên, ta đã biết σ 2=E ( u2 ), vậy ước lượng không chệch của σ 2 sẽ là
n i=1 i
ta không thể quan sát được the errors u, mà chúng ta chỉ có thể có được ước lượng của nó, ở
n
1 SSR
đây là OLS residuals u^ i . Nên ta sẽ thay thế the errors bởi OLS residuals, ta được ∑ u^ i = ,
2
n i=1 n
đây là công thức ước lượng vì nó cho ta một quy tắc tính toán cho mọi mẫu dữ liệu của x và y .
Một nhược điểm nhỏ của ước lượng này là nó là ước lượng chệch. Để nó là ước lượng không
chệch, ước lượng OLS residuals này phải thể hiện được 2 ràng buộc mà phải được thỏa mãn.
n n
Hai ràng buộc này được cho bởi 2 OLS first order condition là: ∑ u^ i=0 và ∑ x i u^ i=0 .
i=1 i =1
Để thỏa mãn được 2 ràng buộc trên, the OLS residuals chỉ còn n−2 bậc tự do, so với n bậc
tự do của the errors (Khi thay thế u^ i bởi ui, những ràng buộc sẽ không còn).
Vậy, ước lượng không chệch của σ 2 khi ta đã đánh giá số bậc tự do là:
n
1
σ^ 2= ∑ u^ 2= SSR
n−2 i =1 i n−2
Tính không chệch của ước lượng trên được chứng minh như sau:
n n
(∑ )
n
E u^ 2i =( n−1 ) σ 2+ σ 2−2 σ 2
i=1
(∑ )
n
E u^ 2i =(n−2)σ 2
i=1
E ( n−2
SSR
)=σ =E ( σ^ )
2 2
Nếu chúng ta thay σ^ 2 vào phương trình tính phương sai của ước lượng tham số, ta được
ước lượng không chệch của var ( ^β 1) và var ( ^β 0 ); Lấy căn bậc hai, ta sẽ có được ước lượng độ
lệch chuển của ^β 1 và ^β 0 là √ σ^ 2, và được gọi là standard error of the regression (SER), mặc dù σ^
không phải là ước lượng không chệch của σ , nhưng nó sẽ làm tốt vai trò chúng ta cần.
Giờ đây, chúng ta dùng SER (độ lệch chuẩn của the error u) để ước lượng độ lệch chuẩn
của ^β 0 và ^β 1, thay σ^ cho σ , ta được ước lượng sd ( ^β 1) là:
σ^ σ^
sd ( ^β 1) = =
√ SST x
( )
n 1∕2
∑ ( x i−x )2
i=1
√
n
2 −1
σ^ n ∑ x 2i
√
n
σ^ 1
sd ( ^β 0 )= ∑ x2
i=1
=
n
SST x n i=1 i
∑ ( x i−x )2
i=1
Tóm lại:
Chúng ta đã biết qua phần giới thiệu về mô hình hồi quy trong chương này, và những tính
chất cơ bản của nó. Với mẫu ngẫu nhiên cho trước, phương pháp bình phương thông thường
bé nhất được dùng để ước lượng Hệ số góc và hệ số chặn trong tổng thể.
Chúng ta cũng đã thảo luận về tính chất đại số của Đường hồi quy OLS, bao gồm tính toán
của fitted value và residuals, và tính được thay đổi dự đoán trong biến phụ thuộc với biến độc
lập cho trước.
Trong phần 2-4, chúng ta đã nói về 2 vấn đề thực tiễn quan trọng: Biều hiện của ước lượng
OLS khi chúng ta thay đổi đơn vị đo của biến độc lập hay biến phụ thuộc và Cách sử dụng hàm
logarith cho phép mô hình độ co giãn cố định và mô hình bán co giãn cố định
Trong phần 2-5. Chúng ta chỉ ra rằng, với giả định SLR.1 đến SLR.4, ước lượng OLS là không
chệch. Giả định chủ chốt là là phần the error u có trung bình bằng zero, với mọi biến độc lập x
cho trước. Không may là 1 trong 4 giả định này có thể không phù hợp với nhiều ứng dụng khoa
học xã hội của hồi quy đơn, khi mà yếu tố bị bỏ qua u có tương quan với x . Khi chúng ta thêm
giả định đó là Phương sai của the error với mọi x đã cho là cố định, chúng ta có công thức tính
phương sai mẫu của ước lượng OLS. Như chúng ta đã thấy, phương sai của ước lượng độ dốc
^β tăng khi phương sai của the error tăng, và giảm khi phương sai mẫu biến độc lập tăng. Chúng
1
ta cũng suy ra ước lượng không chệch cho Var (u)
Trong chương 2 chúng ta đã học sử dụng phân tích hồi quy để giải thích biến phụ thuộc y
dưới dạng hàm của biến độc lập đơn lẻ x. Một điểm yếu khi dùng phân tích hồi quy đơn cho
ứng dụng thực tế là rất khó để tút ra kết luận ceteris paribus về tác động của x lên y. Giả định
cốt yếu SLR.4-rằng mọi nhân tố khác x tác động lên y là không tương quan với x- là phi thực tế.
Hồi quy bội có thể làm tốt hơn việc phân tích ceteris paribus bởi vì nó cho phép chúng ta
chắc chắn kiểm soát mọi nhân tố khác đồng thời tác động lên biến phụ thuộc. Điều này quan
trọng đối với cả cho việc kiểm định các lý thuyết kinh tế và đánh giá tác động chính trị khi chúng
ta chỉ có được nonexperimental data. Bởi vì mô hình hồi quy bội có thể chứa nhiều biến giải
thích có thể tương quan với nhau, chúng ta hy vọng suy luận được quan hệ nhân quả khi mà hồi
quy đơn sẽ không làm được.
Một cách tự nhiên, nếu chúng ta thêm nhiều nhân tố hữu ích vào mô hình để giải thích biến
y , thì sẽ có nhiều phương sai của y hơn được giải thích. Thế nên, phân tích hồi quy bội có thể
được dùng để xây dựng mô hình tốt hơn cho việc dự đoán biến phụ thuộc.
Một lợi ích nửa của phân tích hồi quy bội là nó có thể kết hợp khá tổng quát mối quan hệ
Dạng hàm. Trong hồi quy đơn, chỉ có một hàm của biến giải thích đơn có thể xuất hiện trong
phương trình. Chúng ta sẽ thấy, mô hình hồi quy bội cho phép chúng ta linh động, uyển chuyển
hơn nhiều.
Phần 3-1 giới thiệu chính thức mô hình hồi quy bội và xa hơn là thảo luận lợi thế của hồi quy
bội so với hồi quy đơn. Phần 3-2, chúng ta làm rõ việc ước lượng tham số trong mô hình hồi quy
bội như thế nào với phương pháp OLS
Phần 3-4, 3-4 và 3-5 chúng ta giải thích chi tiết hàng loạt các tính chất thống kê của ước
lượng OLS, bao gồm tính không chệch và tính hiệu quả
Mô hình hồi quy bội vẫn là phương tiện được sử dụng rộng rãi nhất cho phân tích thực
nghiệm trong kinh tế và các ngành khoa học xã hội khác. Tương tự vậy, phương pháp OLS được
sử dụng phổ biến khi ước lượng tham số cho mô hình hồi quy bội.
3-1 Mục đích của Hồi quy bội
a. Mô hình với hai biến độc lập.
Chúng ta bắt đầu với vài ví dụ đơn giản để chỉ ra phân tích hồi quy bội có thể được dùng để
giải quyết những vấn đề nan giải với hồi quy đơn như thế nào
Ví dụ đầu tiên là biến thể của phương trình wage để thu được tác động của education lên
wage tính theo giờ:
wagⅇ =β o + β 1 educ + β 2 exper+u
Vậy, wagⅇ được xác định bởi hai biến giải thích hay hai biến độc lập đó là educ và expert , và
các nhân tố không quan sát được biểu diễn bởi u. Chúng ta vẫn quan tâm trước hết đến tác
động của educ lên wage , với các nhân tố khác tác động lên wage cố định, có nghĩa là ta quan
tâm đến tham số β 1.
Khi so sánh với phân tích hồi quy đơn liên quan tới wage và educ , phương trình trên đưa
exper ra khỏi error term và đưa nó vào phương trình một cách rõ ràng. Bởi vì exper xuất hiện
trong phương trình, hệ số của nó β 2, đo lường tác động ceteris paribus của exper lên wage , điều
mà chúng ta cũng quan tâm.
Không ngạc nhiên, cũng như với hồi quy đơn, chúng ta phải lập giả định về u trong phương
trình liên hệ như thế nào với các biến độc lập, educ và exper . Tuy nhiên, chúng ta sẽ thấy ở
phần 3-2, có một điều chúng ta có thể chắc chắn: bởi vì phương trình như trên rõ ràng có chứa
phép thử, chúng ta có thể đo lường tác động của educ lên wage , với biến bất khả quan cố định.
Trong phân tích hồi quy đơn, chúng ta phải giả định rằng biến bất khả quan là không tương
quan với educ , một giả định rất dễ bị vi phạm.
Với ví dụ thứ hai, xét vấn đề giải thích tác động của spending per-student ( ⅇxpend ) lên điểm
kiểm tra trung bình (avgscore ) tại cấp trung học. Giả sử rằng điểm test trung bình phụ thuộc
vào funding, thu nhập gia đình, và các nhân tố khác không quan sát được:
avgscore=β o + β 1 expend + β 2 avginc+u
Với mục đích chính sách, chúng ta sẽ quan tâm tới β 1. Với việc thêm avginc vào mô hình một
cách rõ ràng, chúng ta có thể kiểm soát tác động của nó lên avgscore . Điều này gần như rất
quan trọng vì avginc , theo trực giác, rất có khả năng tương quan expend . Với phân tích hồi quy
đơn, avginc phải được đưa vào the error term, nếu avginc có tương quan với expend , điều này
sẽ dẫn tới kết quả ước lượng OLS của β 1 trong mô hình là chệch
Trong hai ví dụ trên, chúng ta đã chỉ ra biến quan sát được, ngoài biến quan tâm đầu tiên, có
thể được thêm vào mô hình hồi quy như nào. Một cách tổng quát, ta có thể viết mô hình với
hai biến độc lập là:
y=β o + β 1 x1 + β 2 x 2 +u (3.3)
Phân tích hồi quy bội cũng hữu ích khi khái quát quan hệ dưới dạng hàm giữa các biến. Ví dụ,
giả sử Tiêu dùng gia đình (cons ) là hàm bậc hai của thu nhập gia đình (inc):
2
cons=β o + β 1 inc + β 2 inc +u
Trong mô hình này, Tiêu dùng chỉ phụ thuộc vào 1 biến quan sát được, là income; nên có vẻ
nó có thể được xử lý với cơ sở hồi quy đơn. Nhưng mô hình này nằm ngoài hồi quy đơn bởi vì
nó chứa hai dạng hàm của income, là inc và inc 2
Về cơ bản, không có khác biệt giữa việc sử dụng phương pháp OLS để ước lượng phương
trình (3.1) và (3.4). Mỗi phương trình đều có thể được viết lại dưới dạng phương trình (3.3),
điều mà quyết định cho việc tính toán. Tuy nhiên, có một khác biệt quan trọng trong việc biểu
diễn hệ số. Trong phương trình (3.1), β 1 là tác động ceteris paribus của educ lên wage. Hệ số β 1
không có biểu diễn tương tự trong phương trình (3.4). Nói cách khác, không có ý nghĩa nếu đo
lường tác động của inc lên cons mà lại giữ nguyên inc2. Thay vào đó, thay đổi trong
consumption với sự thay đổi trong income-thay đổi biên của consume-được tính xấp xỉ bằng:
Δcons
≈ β 1 +2 β 2 inc
Δinc
Tác động biên của income lên consumption phụ thuộc vào β 2 cũng như β 1 và cả income. Ví
dụ này chỉ ra rằng, với mọi trường hợp cụ thể, định nghĩa của biến độc lập là rất quan trọng.
Nhưng để thuận tiện cho việc phát triển lý thuyết của hồi quy bội, chúng ta có thể ban đầu
chưa để ý nhiều đến nó.
Trong mô hình hai biến độc lập, giả định trọng yếu đó là giả định về liên hệ giữa u với x 1 , x 2,
là:
E ( u| x 1 , x 2 )=0 (3.5)
Biểu diễn điều kiện (3.5) cũng giống như biểu diễn của giả định SLR.4 trong hồi quy đơn. Điều
kiện này mang ý nghĩa, với mọi giá trị của x 1 và x 2 trong tổng thể, trung bình của nhân tố không
quan sát được bằng zero. Giống với hồi quy đơn, phần quan trọng của giả định là giá trị kỳ vọng
của u là như nhau với mọi kết hợp giữa x 1 và x 2; như vậy common value bằng zero không là giả
định miễn là hệ số chặn β 0 có trong mô hình.
Làm sao chúng ta có thể biểu diễn giả định zero conditional mean trong ví dụ trước. Với
phương trình (3.1), giả định là E ( u|educ , exper ) =0. Điều này chỉ ra rằng các nhân tố khác tác
động wage không liên hệ với educ và exper . Vậy nên, nếu chúng ta nghĩ khả năng sẵn có là một
phần của u, chúng ta sẽ cần mức khả năng trung bình giống nhau xuyên suốt mọi kết hợp của
education và experimence trong tổng thể. Điều này có thể đúng hoặc không, nhưng chúng ta sẽ
thấy trong phần sau rằng nó cần phải được kiểm tra để đánh giá tính không chệch của ước
lượng OLS.
Khi áp dụng hàm giả định bậc hai trong (3.4), the zero conditional mean assumption có một
sự biểu diễn đôi chút khác biệt. Viết rõ ràng, phương trình (3.5) trở thành E ( u|inc , inc 2 )=0 . Bởi
vì inc2 biết được với inc cho trước, biểu diễn cả inc2 trong kỳ vọng không quá cần thiết:
E ( u|inc , inc2 )=0 cũng tương đương với E ( u|inc ) =0. Không có gì sai khi cho inc2 đi với inc
trong kỳ vọng khi lập giả định, nhưng E ( u|inc ) =0 ngắn gọn hơn.
Bởi vì có k biến độc lập và hệ số chặn, phương trình (3.6) có k+1 tham số tổng thể chưa biết.
^y = β^ 0 + β^ 1 x 1 + ^β 2 x 2 (3.9)
Chúng ta sẽ tính ^β 0 , β^ 1 và ^β 2 như thế nào? Phương pháp OLS chọn ước lượng để tối thiểu hóa
the sum of squares residuals. Có nghĩa là, với n quan sát trên y , x1 và x 2, ước lượng ^β 0 , β^ 1 và ^β 2
n
được chọn đồng thời để ∑ ( y i− ^β 0− β^ 1 xi 1− β^ 2 xi 2 ) là nhỏ nhất có thể.
2
i=1
Để hiểu được OLS đang làm gì, điều quan trọng là nắm vững ý nghĩa của the indexing của
biến độc lập trong (3.10). Biến độc lập có 2 chỉ số cần quan tâm, ⅈ đứng trước cả 1 lẫn 2. Chỉ số
ⅈ với n quan sát. Chỉ số thứ hai chỉ đơn giản là cách để phân biệt các biến độc lập với nhau.
Trong trường hợp tổng quát với k biến độc lập, chúng ta sẽ tìm kiếm ước lượng ^β 0 , β^ 1 , … , β^ k
trong phương trình ^y = β^ 0 + β^ 1 x 1 + ^β 2 x 2 +…+ β^ k x k (3.11). Ước lượng OLS, có k+1 ước lượng như
vậy được chọn đồng thời sao cho the sum of squared residuals:
n
∑ ( y i− ^β 0− β^ 1 xi 1−…− ^β k xik )
2
, là nhỏ nhất
i=1
Bài toán tìm giá trị nhỏ nhất nêu trên có thể được giải bằng cách dùng Hệ phương trình.
Trong hệ có k+1 phương trình tuyến tính và k+1 tham số chưa biết là ^β 0 , β^ 1 , … , β^ k :
Những phương trình trên thường được gọi là OLS first order conditions. Như với mô hình
hồi quy đơn trong phần 2-2, the OLS first order conditions có thể được tính bằng phương pháp
moments: dưới giả định E ( u )=0 và E ( x j u ) =0, với j=1 ,2 , … , k . Hệ Phương trình trên là đối
mẫu của những moment tổng thể, mặc dù ta đã bỏ qua việc chia nó cho kích thước mẫu n.
Như trong phân tích hồi quy đơn, phương trình (3.11) được gọi là Đường Hồi Quy OLS hay
Hàm Hồi Quy Mẫu (SRF). Và cũng gọi các tham số tương tự Hồi Quy Đơn.
Để chỉ ra rằng hồi quy OLS đã được chạy, chúng ta sẽ viết ra cả phương trình (3.11) với y và
x 1 , … , x k được thay bởi tên biến của chúng, và cả nói rằng “chúng ta đã chạy hồi quy OLS của y
trên x 1 , x 2 ,… , x k ”. Chúng là dạng ngắn gọn của việc nói rằng phương pháp bình phương bé
nhất được dùng để tính phương trình OLS (3.11). Nếu không nói gì thêm, chúng ta sẽ mặc định
ước lượng Hệ số chặn theo Hệ số góc.
b. Giải thích phương trình hồi quy OLS
Quan trọng hơn chi tiết tính toán của ^β j là việc giải thích cho phương trình ước lượng. Chúng
ta bắt đầu với trường hợp có hai biến độc lập:
^y = β^ 0 + β^ 1 x 1 + ^β 2 x 2 (3.14)
Hệ số chặn ^β 0 trong phương trình (3.14) là giá trị dự đoán của y khi x 1=0 , x 2=0. Đôi khi, cho
x 1 và x 2 đều bằng không là một kịch bản thú vị; trong vài trường hợp khác, nó lại không có ý
nghĩa. Thêm nữa, hệ số chặn luôn cần để tính giá trị dự đoán của y trong đường hồi quy OLS.
vậy ta có thể tính được thay đổi dự đoán trong y với thay đổi trong x 1 và x 2.
c. Ý nghĩa của “Giữ các yếu tố khác không đổi” trong hồi quy bội
Việc giải thích tác động từng phần của hệ số góc trong phân tích hồi quy bội có thể gây ra
chút nhầm lẫn, nên chúng ta sẽ thảo luận sâu hơn.
Trong ví dụ 3.1, chúng ta thấy rằng hệ số của ACT đo lường sự thay đổi dự đoán trong
colGPA, với hsGPA không đổi. Điểm mạnh của phân tích hồi quy bội là nó cho chúng ta biểu
diễn của tác động ceteris paribus ngay cả khi dữ liệu không được thu thập theo xu hướng
ceteris paribus. Khi cho hệ số trên ACT sự biểu diễn tác động một phần, có vẻ như chúng ta
thực sự thu thập mẫu từ cộng đồng học sinh với cùng một điểm GPA trung học nhưng có thể
khác điểm ACT. Điều này không đúng thực tế. Dữ liệu là mẫu ngẫu nhiên từ một trường đại học
lớn: không có một ràng buộc nào trong giá trị lấy mẫu của hsGPA hay ACT. Hiếm khi chúng ta có
thể giữ một biến cố định khi thu thập mẫu. Nếu chúng ta có thể thu thập mẫu với cùng điểm
GPA trung học, chúng ta đã có thể biểu diễn phân tích hồi quy đơn quan hệ của colGPA và ACT.
Hồi quy bội cho phép chúng ta làm theo “giữ các yếu tố khác không đổi” mà không có một ràng
buộc nào về giá trị của bất kỳ một biến độc lập nào.
d. Thay đổi nhiều hơn một biến độc lập một cách đồng thời.
Đôi khi chúng ta sẽ muốn thay đổi nhiều hơn một biến độc lập đồng thời với việc tìm tác
động của nó lên biến phụ thuộc. Điều này được hoàn thành dễ dàng với phương trình (3.17).
e. OLS Fitted values và Residuals
Sau khi có được đường hồi quy OLS (3.11), chúng ta có thể tính được fitted value cho mỗi
quan sát. Cho quan sát thứ ⅈ , the fitted value đơn giản là:
^y i= β^ 0 + ^β 1 x i 1 + ^β 2 x i 2+ …+ ^β k x ik (3.20)
Đây chỉ là giá trị dự đoán được tính khi thay giá trị của biến độc lập vào biến quan sát thứ ⅈ
của phương trình (3.11). Chúng ta không nên quên hệ số chặn khi tính fitted values; nếu không,
kết quả có thể sai chệch rất nhiều.
Thông thường, giá trị thật sự của y i với mọi quan sát ⅈ sẽ không bằng giá trị dự đoán. OLS tối
thiểu hóa trung bình bình phương error dự đoán, không nói gì về the error dự đoán với một
quan sát cụ thể nào. The residual cho quan sát thứ ⅈ được xác định giống như trường hợp của
hồi quy đơn:
u^ i= y i−^y i (3.21)
The OLS fitted values và residuals có mốt số tính chất quan trọng mở rộng trực tiếp từ
trường hợp đơn biến:
1. Trung bình mẫu của the residuals là zero thì y= ^y
2. Hiệp phương sai mẫu giữa mỗi biến độc lập và OLS residuals là zero. Hệ quả là, hiệp
phương sai mẫu giữa OLS fitted values và OLS residuals là zero.
3. Điểm ( x 1 , x 2 , … , x k , y ) luôn nằm trên đường hồi quy OLS:
y= β^ 0 + β^ 1 x 1 + β 2 x 2 +…+ β k x k
Xét trường hợp k=2 biến độc lập. Để tính cụ thể, công thức của ^β 1 sẽ là:
n
∑ r^ i 1 y i
^β 1= i=1 (3.22)
n
∑ r^ i 1
2
i=1
Với r^ i 1 là OLS residuals từ hồi quy đơn của x 1 trên x 2, với mẫu sẵn có. Chúng ta hồi quy biến
độc lập đầu tiên, x 1, lên biến độc lập thứ hai, x 2, và sau đó tính the residuals ( y không có vai trò
gì trong bước này). Phương trình (3.22) chỉ ra rằng chúng ta có thể sau đó dùng hồi quy đơn của
y lên r^ i 1 để tính ^β 1 . (Nhớ rằng the residuals r^ i 1 có trung bình mẫu là zero, vậy ^β 1 là hệ số góc
thông thường ước lượng từ hồi quy đơn)
Trình bày trong phương trình (3.22) cho ta một cách hiểu khác về sự biểu diễn tác động một
phần của ^β 1. Phần dư r^ i 1 là một phần của x i 1, không tương quan với x i 2. Nói cách khác r^ i 1là x i 1
sau khi tác động của x i 2 được partialled out, hay netted out. Vậy, ^β đo lường quan hệ mẫu giữa
1
y và x 1 sau khi x 2 được partialled out.
Trong phân tích hồi quy đơn, không có partialling out ra khỏi biến vì không còn biến nào
khác có trong hồi quy.
h. Goodness-of-Fit
Như với hồi qui đơn, chúng ta xác định SST, SSE và SSR là:
2 SSE SSR
R ≡ =1−
SST SST
Ngoài ra R còn có thể được tính bằng bình phương hệ số tương quan giữa y i và ^y , là:
2
( )
n 2
∑ ( y i− y ) ( ^y i− ^y )
i=1
R 2=
(∑ ( )(∑ ( )
n n
2
y i− y ) 2
^y i−^y )
i=1 i=1
(Chúng ta đã cho trung bình của ^y i trong phương trình (3.29) là đúng cho công thức cho hệ
số tương quan; ta biết rằng giá trị trung bình này bằng y bởi vì trung bình mẫu của the residuals
là zero và y i= ^y i +ui )
Một sự thật quan trọng về R2 là nó không bao giờ giảm, và thường sẽ tăng, khi các biến độc
lập khác được thêm vào trong hồi quy và một tập hợp các quan sát sẽ được dùng lại cho cả 2
hồi quy nói trước đó. Tính chất đại số này có bởi vì theo định nghĩa, SSR không bao giờ tăng khi
một biến hồi quy được thêm vào mô hình.
Một cảnh báo quan trọng với khẳng định trước đó về R2 là nó giả định rằng chúng ta không
bỏ qua dữ liệu trên biến giải thích. Nếu hai hồi quy dùng hai tập quan sát khác nhau, vậy thì
chúng ta không thể so sánh R2.
MLR.3: No perferct Collinearity: trong mẫu (rộng hơn là trong tổng thể), không
có biến độc lập nào cố định, và không có quan hệ cộng tuyến hoàn hảo của một biến
độc lập với tất cả các biến độc lập còn lại.
Giả định MLR.3 phức tạp hơn anh em của nó trong hồi quy đơn bởi vì chúng ta phải xét quan
hệ giữa tất cả các biến độc lập. Nếu một biến độc lập trong (3.31) là tuyến tính với một biến độc
lập khác, chúng ta không thể ước lượng bằng OLS.
Điều quan trọng cần nhớ là giả định SLR.3 cho phép biến độc lập có tương quan, chỉ là không
phải tương quan tuyến tính hoàn hảo. Nếu chúng ta không cho phép sự tương quan nào giữa
các biến độc lập, vậy hồi quy bội của cực kỳ bị giới hạn sử dụng trong phân tích kinh tế.
Ví dụ, trong mô hình liên quan đến test score của chi trả giáo dục và thu nhập gia đình,
chúng ta kỳ vọng hoàn toàn vào expend va avginc có tương quan. Thực ra, động cơ trước hết
cho việc đưa avginc vào trong phương trình là ta nghi ngờ rằng nó có tương quan với expend,
vậy ta sẽ muốn giữ nó cố định trong phân tích. Giả định MLR.3 chỉ loại trừ sự tương quan hoàn
hảo giữa expend và avginc trong mẫu đã có, phải không may mắn lắm thì ta mới thu được mẫu
của các biến độc lập có tương quan tuyến tính hoàn hảo với nhau. Những trường hợp còn lại,
phần nhiều, sẽ được kỳ vọng có mối tương quan khác và được chấp nhận bởi giả định MLR.3
Giả định MLR.3 fail khi chúng ta không cẩn thận xác định mô hình, làm cho có một hay nhiều
biến độc lập có quan hệ tuyến tính hoàn hảo. Nó cũng sẽ fail khi kích thước mẫu quá nhỏ. Về
trực quan, nếu muốn ước lương k+1 hệ số, cần phải có ít nhất k+1 quan sát. Không ngạc nhiên
rằng, sẽ tốt hơn khi ước lượng với dữ liệu lớn hơn.
Một cách để giả định SLR.4 fail là nếu quan hệ hàm giữa các biến giải thích và biến được giải
thích bị xác định sai trong phương trình (3.31). Ví dụ, nếu ta quên cho phần bình phương ⅈnc 2
trong phương trình consumption khi chúng ta ước lượng mô hình. Một dạng xác định sai khác
xảy ra khi ta dụng the level của một biến khi the log của biến đó có xuất hiện trong mô hình
tổng thể.
Bỏ sót biến giải thích quan trọng có tương quan cao với bất kỳ biến giải thích trong mô hình
cũng làm giả định MLR.4 fail
Trước khi chúng ta chỉ ra tính không chệch của ước lượng OLS với các giả MLR.1 đến MLR.4,
có một lời nhắc nhở. Sinh viên mới bắt đầu tiếp cận Kinh tế lượng đôi khi nhầm lẩn giả định
MLR.3 với MLR.4, nhưng chúng khác biệt nhau. Giả định MLR.3 đặt quy tắc cho quan hệ giữa
các biến độc lập và không liên quan gì đến the error, u. Chúng ta sẽ biết giả định MLR.3 có hay
không ngay khi sử dụng ước lượng OLS. Mặt khác, giả định MLR.4-quan trọng nhất trong các giả
định-ràng buộc quan hệ giữa biến không quan sát được và biến độc lập. Không may là, ta không
bao giờ biết được chắc chắn giá trị trung bình của biến không quan sát được có liên quan tới
biến giải thích hay không. Nhưng đây là giả định quan trọng.
E ( β^ j )=β j ,( j=0 , 1 , … , k )
Cho mọi giá trị trong tổng thể của tham số β j . Nói cách khác, ước lượng OLS là ước lượng
không chệch của tham số tổng thể.
Dưới các giả định từ MLR.1 đến MLR.4, ta có:
E ( β^ j )=β j ,( j=0 , 1 , … , k )
Cho mọi giá trị trong tổng thể của tham số β j . Nói cách khác, ước lượng OLS là ước lượng không
Lưu ý rằng, Không chệch không phải là tính chất của kết quả ước lượng OLS, vì nó là một con
số cố định, không thể nói nó chệch hay không chệch. Không chệch ở đây nghĩa là quá trình ước
lượng OLS dưới 4 giả định MLR được áp dụng lên toàn mẫu thu thập được. Chúng ta hy vọng
rằng chúng ta đã thu thập được mẫu cho ra kết quả ước lượng tham số gần nhất với tham số
tổng thể, và tất nhiên, ta không thể chắc chắn.
a. Thêm biến không liên quan trong mô hình hồi quy bội
Một vấn đề chúng ta có thể giải quyết khá nhanh chóng đó là Sự bao gồm của biến không
liên quan hay đánh giá chênh mô hình trong phân tích hồi quy bội (overspecifying the model).
Điều này nghĩa là một (hoặc nhiều) biến độc lập được chứa trong mô hình thậm chí không có
tác động lên y trong tổng thể.
Giả sử chúng ta thiết lập mô hình là: y=β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 +u, và mô hình này thỏa mãn 4
giả định MLR. Tuy nhiên, x 3 không có tác động lên y như x 1 , x 2, có nghĩa rằng β 3=0 . Biến phụ
thuộc x 3 có thể hoặc không tương quan với x 1 hay x 2. Theo ý nghĩa của kỳ vọng có điều kiện,
E ( y| x 1 , x 2 , x 3 )=E ( y| x 1 , x 2 ) =β0 + β 1 x1 + β 2 x 2
Chúng ta đã bao gồm cả biến không liên quan x 3, trong khi hồi quy. Tác động của việc này khi
hệ số của x 3 trong mô hình tổng thể bằng zero là gì? Với ý nghĩa của tính không chệch của ^β 1 và
^β , không có tác động nào cả. Tuy nhiên, chúng ta sẽ thấy ở phần sau, biến không liên quan
2
được bao gồm trong mô hình có thể gây ta tác động không mong muốn đến phương sai của
ước lượng OLS.
b. Bỏ sót biến: trường hợp đơn giản
Giả sử, thay vì include một biến không liên quan, chúng ta bỏ qua một biến mà nó thực sự có
trong mô hình tổng thể đúng. Đây thường được gọi là vấn đề underspecifying the model.
Chúng ta đã khẳng định trong chương 2 và chương này rằng đây nhìn chung là vấn đề dẫn tới
ước lượng OLS bị chệch. Bây giờ, chúng ta sẽ tìm hiểu rõ ràng và suy diễn dấu và kích thước của
độ chệch.
Suy diễn độ chệch gây ra bởi việc bỏ sót biến quan trọng là ví dụ cho misspecifiaction
analysis. Chúng ta bắt đầu với trường hợp với hai biến giải thích và một error term:
y=β 0 + β 1 x 1 + β 2 x 2 +u ,
và ta giả định rằng phương trình trên thỏa mãn 4 giả định MLR.
Giả sử ta quan tâm trước hết đến β 1. Để có ước lượng không chệch của β 1, ta nên chạy hồi
quy của y lên x 1 và x 2. Tuy nhiên, khi chúng ta không có dữ liệu của x 2, ta phải ước lượng mô
hình bằng cách loại trừ x 2, đồng nghĩa với việc chạy hồi quy đơn y trên x 1:
~y=~ ~
β 0 + β1 x 1 .
Lần đầu tiên học về vấn đề bỏ sót biến, có thể khó khăn để phân định mô hình cơ bản đúng,
với mô hình chúng ta đang ước lượng thực sự. Bỏ qua một biến có thể là ngớ ngẩn, nhưng
thường chúng ta không có lựa chọn nào khác.
~
Chúng ta suy diễn giá trị kỳ vọng của β 1 có điều kiện trên giá trị mẫu của x 1 và x 2. Suy diễn kỳ
~
vọng này không khó bởi vì β 1 chỉ là độ dốc ước lượng từ hồi quy đơn, và chúng ta đã học nó ở
chương 2. Sự khác biệt ở đây là chúng ta phải phân tích tính chất của nó khi mô hình hồi quy
đơn đang bị đánh giá thiếu vì biến bị bỏ sót.
Hóa ra rằng chúng ta đã làm gần như tất cả công việc cần thiết để suy diễn tính chệch trong
~ ~ ~
ước lượng hồi quy đơn của β 1. Trước đó, ta đã biết rằng β 1= β^ 1 + ^β 2 δ 1 , trong đó ^β 1 và ^β 2 là hệ số
~
góc ước lượng từ hồi quy đơn y i lên x i 1 , x i 2 và δ 1 là hệ số góc từ hồi quy đơn x i 2 lên x i 1.
~
Bởi vì δ 1 chỉ phụ thuộc vào biến độc lập trong mẫu, ta coi nhó như là cố định khi tính toán
~
E ( β 1 ). Hơn nữa, mô hình hai biến đã nêu thỏa mãn 4 giả định MLR, chúng ta biết rằng ^β 1 và ^β 2
lần lượt sẽ là ước lượng không chệch của β 1 và β 2. Cho nên:
~ ~
E ( β 1 ) =β1 + β 2 δ 1
~
Điều này chỉ ra rằng, độ chệch của β 1 ,sẽ là:
~ ~ ~
bias( β 1 )=E ( β 1 )− β1= β2 δ 1
Bởi vì độ chệch trong tình huống này xảy ra từ việc loại bỏ biến giải thích x 2, phần bên phải của
phương trình trên được gọi là độ chệch bỏ sót biến. (omitted variable bias)
~ ~
Ra thấy rằng, có 2 trường hợp mà β 1 là không chệch, thứ nhất là β 2=0 , thứ hai là δ 1=0 , hay
ước lượng OLS hệ số góc hồi quy đơn của x 1 lên x 2 bằng zero.
~ ~
Bởi vì δ 1 là hiệp phương sai mẫu giữa x 1 và x 2 trông phương sai mẫu của x 1, δ 1=0 nếu và chỉ
nếu x 1 và x 2 là không trương quan trong mẫu. Vậy, chúng ta có kết luận quan trọng rằng, nếu
~
x 1 và x 2 không trương quan trong mẫu, thì β 1 là ước lượng không chệch
Ví dụ, nếu return to education trong tổng thể là 8.6% và độ chệch trong ước lượng OLS là
0.1%, vậy chúng ta quá không quan tâm về độ chệch. Mặt khác, trường hợp độ chệch là 3% sẽ
~
nghiêm trọng hơn nhiều. Độ lớn của độ chệch được xác định bởi độ lớn của β 2 và δ 1.
Trong thực tế, bới vì β 2 là một tham số chưa biết trong tổng thể, chúng ta không thể chắc
chắn về dấu của nó. Không những vậy, ta thường có một ý tưởng tốt về dấu của tác động một
phần của x 2 lên y . Hơn nữa, mặc dù dấu hiệu tương quan giữa x 1 và x 2 không thể biết được nếu
x 2 không được quan sát, trong nhiều trường hợp, chúng ta có thể đưa ra dự đoán có cơ sở
x 1 và x 2 là tương quan dương hay tương quan âm.
Trong phương trình wage (3.42), bằng định nghĩa, ability lớn hơn dẫn đến năng suất và theo
đó là wage lớn hơn: β 2> 0. Chúng ta dự đoán theo trực giác rằng tương quan giữa educ và abil
là dương. Vậy, phương trình hồi quy tuyến tính đơn là wage=β o + β 1 educ + v trong trung bình là
~
quá lớn. Nếu chúng ta càng thu thập nhiều hơn mẫu của educ trong phương trình này, β 1 sẽ
càng lớn hơn so với β 1.
thỏa mãn 4 giả định MLR, nhưng chúng ta bỏ sót biến x 3 và ước lượng với mô hình:
~y=~ ~ ~
β 0 + β1 x 1 + β2 x 2
Giờ, giả sử rằng x 3 không tương quan với x 2, nhưng có tương quan với x 1. Rất dễ để nghĩ rằng,
~ ~
trong khi β 1 có thể là ước lượng chệch dựa trên suy luận từ mục trước, còn β 2 là không chệch.
~~
Không may, không phải vậy , cả β 1 , β 2 thường là ước lượng chệch, ngoại lệ xảy ra chỉ khi x 1
cũng không tương quan với x 2.
~
Kể cả trong mô hình khá đơn giản trên, cũng khó khăn để tính được dấu của độ chệch của β 1
~
và β 2 . Điều này là bởi vì x 1 , x 2 và x 3 có thể tương quan từng đôi với nhau. Không dừng lại ở đó,
tính xấp xỉ thường sẽ có ích. Nếu ta giả định rằng x 1 và x 2 là không tương quan, vậy ta có thể tìm
~
hiểu tính chệch trong β 1 như thể là x 2 không có mặt trong mô hình tổng thể và mô hình ước
lượng. Như vậy, ta có thể coi như mô hình chỉ có hai biến x 1 và x 3, và xử lý mô hình như đã biết
trước đó.
Thông thường, chúng ta sẽ tập trung quan hệ giữa biến giải thích chính là x 1, và yếu tố bị bỏ
sót chính. Nói một cách rõ ràng, bỏ qua mọi biến giải thích khác là một áp dụng hợp lý chỉ khi
các biến đó không tương quan với x 1, nhưng vẫn là chỉ dẫn hữu ích.
Giả định này có nghĩa là phương sai trong the error term u, có điều kiện trên các biến giải thích,
là như nhau cho mọi kết hợp của mẫu của các biến giải thích. Nếu giả định này fails. Vậy mô
hình thể hiện heterokedasticity, như trong trường hợp hai biến.
Ví dụ, trong phương trình
wage=β 0 + β 1 educ + β 2 exper+ β 3 tenure +u ,
Homokedasticity cần phương sai của error u không quan sát được là không phụ thuộc vào độ
lớn của educ , exper hay tenure . Có nghĩa rằng: Var ( u|educ , exper , tenure )=σ 2
Trong phần thảo luận tới, chúng ta sẽ dùng ký hiệu x để ký hiệu cho tập các biến độc lập, (
x 1 , … , x k ¿. Vậy, trong ví dụ hồi quy wage với educ , exper , tenure là những biến độc lập, x=
(educ , exper , tenure). Ta có thể viết 4 giả định MLR như sau:
E ( y| x )=β 0 + β 1 x 1+ β2 x 2+ …+ β k x k ,
và giả định MLR.5 là Var ( y| x ) =σ 2 . Đưa ra giả định theo cách này rõ ràng thể hiện giả định
MLR.5 khác biệt nhiều so với giả định MLR.4 nói rằng giá trị kỳ vọng của y , với x đã cho, là tuyến
tính trên hệ số, nhưng nó chắc chắn phụ thuộc vào x 1 , x 2 ,… , x k . Giả định MLR.5 nói rằng
phương sai của y , với x đã cho, không phụ thược vào biến độc lập.
Bây giờ chúng ta có thể tính phương sai của ^β j , khi chúng ta một lần nữa gán điều kiễn trên
giá trị mẫu của biến độc lập
Dưới 5 giả định, có điều kiện trên giá trị mẫu của biến độc lập,
2
σ
Var ( β j ) = (3.51)
SST j ( 1−R2j )
n
Với SST j=∑ ( x ij −x j ) là tổng phương sai mẫu trong x j , và R j là R−bình từ hồi quy x j lên các
2 2
i=1
biến độc lập khác (có hệ số chặn)
Người đọc cẩn thận sẽ thắc mắc liệu rằng có một công thức đơn giản cho phương sai của ^β j
hay không, khi mà ta không cần gán điều kiện lên kết quả mẫu của biến giải thích. Câu trả lời là:
không. Công thức trên là hàm phi tuyến tính của x ij, làm cho việc lấy trung bình xuyên suốt tổng
thể của biến giải thích gần như là không thể. Rất may, với mọi mục đích thực tế phương trình
trên là điều chúng ta cần.
Trước khi ta tìm hiểu chi tiết hơn về phương trình (3.51), sẽ là quan trọng để biết rằng mọi
giả định Gauss-Markov được dùng khi suy ra công thức này. Trong khi chúng ta không cần giả
định the homokedasticity để kết luận rằng OLS là không chệch, ta vẫn cần phương trình (3.51).
Độ lớn của Var ( β^ ¿ ¿ j)¿ thực tế rất quan trọng. Phương sai lớn hơn có nghĩa là ước lượng ít
chính xác hơn, và điều này chuyển thành khoảng tin cậy ngắn hơn.
Phương trình (3.51) chi ra rằng phương sai của ^β j phụ thuộc vào 3 nhân tố: σ 2 , SS T j và R2j.
Bây giờ chúng ta lần lượt xem xét các nhân tố của Var ( β^ ¿ ¿ j).¿
The error variance, σ 2. Trong phương trình (3.51), σ 2 càng lớn có nghĩa rằng phương sai lấy
mẫu càng lớn cho ước lượng OLS. Điều này không quá ngạc nhiên: nhiều hơn “nhiễu” trong
phương trình làm ta khó khăn hơn để ước lượng tác động một phần của bất kỳ biến độc lập nào
lên y , và điều này được phản ánh trong phương sai lớn hơn cho ước lượng OLS của hệ số góc.
Bởi vì σ 2 là một khía cạnh của tổng thể, nó không liên quan gì đến kích thước mẫu. Nó là một
thành phần của (3.51) không thể biết. Phần sau ta sẽ học tính ước lượng không chệch của σ 2.
Tổng phương sai mẩu trong x j , SS T j. Trong phương trình (3.51), chúng ta thấy rằng tổng
phương sai trong x j càng lớn, Var ( β^ ¿ ¿ j)¿càng nhỏ. Vậy, mọi thứ giữ nguyên không đổi, với
ước lượng ^β j , chúng ta ưu tiên có phương sai mẫu của x j càng lớn càng tốt. Chúng ta đã biết về
điều này trong trường hợp hồi quy đơn của chương 2. Mặc dù hiếm khi chúng ta có thể chọn
giá trị mẫu cho biến độc lập, không có cách nào để tăng phương sai mẫu trong mỗi biến độc
lập: tăng kích thước mẫu. Thực ra, khi một mẫu ngẫu nhiên lấy từ tổng thể, SS T j tăng mà
không kéo theo kích thuốc mẫu tăng-một cách chặt chẽ như là hàm tuyến tính của n . Đây là
thanh phần của phương sai mà phụ thuộc hệ thống vào kích thước mẫu.
Các quan hệ tuyến tính giữa các biến độc lập, R2j. Phần R2j trong phương trình (3.51) là một
thành phần khó nhất để hiểu. Phần này không xuất hiện trong phân tích hồi quy đơn bởi vì chỉ
có một biến độc lập trong những trường hợp như vậy. Sẽ là quan rọng để thấy rằng nó có sự
khác biệt với R−bình trong hồi quy của y lên các biến độc lập: R2j được tính từ hồi quy chỉ liên
quan đến các biến độc lập trong mô hình gốc, khi mà x j có vai trò quan trọng của biến độc lập.
2
σ
Đầu tiên xét trường hợp k =2: y=β 0 + β 1 x 1 + β 2 x 2 +u. Vậy var ( β j )= 2
2 , với R j là
SST j ( 1−R j )
R−bìnhtừ hồi quy đơn của x 1 lên x 2 (và một hệ số chặn, luôn là vậy). Bởi vì R−bình đo lường
2
goodness-of-fit, một giá trị của R1 gần với một chỉ ra rằng x 2 giải thích tốt sự biến thiên của x 1 trong
mẫu. Điều này nghĩa là x 1 và x 2 có tương quan khá cao.
Khi R1 tiến tới một, var ( β j ) trở nên càng lớn. Nên, một mức quan hệ tuyến tính cao giữa x 1 và x 2 có
2
thể dẫn đến phương sai lớn cho ước lượng độ dốc theo OLS.
2
Trong trường hợp thường gặp, R j là một phần của tổng phương sai trong x j mà có thể được giải
thích bằng biến độc lập khác xuất hiện trong phương trình. Với σ 2 và SST j cho trước, v ar ( β j ) nhỏ nhất
2
được tính khi R j=0, điều này xảy ra khi x j có tương quan bằng không với mọi biến độc lập khác. Đây là
trường hợp tốt nhất để ước lượng β j , nhưng hiếm khi chúng ta có được.
2 2
Trường hợp cực khác, R j=1 , được cắt nghĩa bởi giả định MLR.3, bởi vì R j=1 có nghĩa là, trong mẫu,
x j là tuyến tính hoàn hảo với một hoặc một vài biến độc lập khác trong hồi quy. Một trường hợp liên
2
quan hơn là R j gần bằng một. Trong phương trình (3.51) và figure 3.1, chúng ta có thể thấy điều này sẽ
làm cho v ar ( β j ) lớn (tiến tới dương vô cùng khi R j tiến tới một). Một quan hệ gần như là tuyến tính
2
Trước khi chúng ta thảo luận vấn multicollinearity sâu hơn, quan trọng cần rõ ràng về một
điều: trường hợp khi R2j gần tới một không vi phạm giả định MLR.3
Bởi vì multicollinearity không vi phạm giả định nào của chúng ta, vấn đề về nó không được định nghĩa
2
thật rõ ràng. Khi ta nói rằng multicollinearity xuất hiện trong ước lượng β j khi R j “gần” bằng một.
Không có một số chính xác mà chúng ta có thể dẫn tới kết luận rằng multicollinearity là một vấn đề.
Như giá trị lớn của R2j có thể dẫn đến Var ( β^ ¿ ¿ j)¿ lớn, giá trị nhỏ của SST j cũng vậy. Vậy nên,
một kích thước mẫu nhỏ cũng có thể dẫn đến phương sai mẫu lớn. Quan tâm về mức tương quan cao
trong các biến độc lập không có khác biệt gì với việc quan tâm đến việc kích thước mẫu nhỏ: cả hai điều
làm tăng Var ( β^ ¿ ¿ j)¿. Một nhà kinh tế lượng của trường đại học nổi tiếng Arthur Goldbert phản
ứng với ý nghĩ cố hữu của các nhà kinh tế lượng về multicollinearity, đã đặt ra thuật ngữ
micronumeriousity, thuật ngữ ông định nghĩa là “vấn đề kích thước mẫu nhỏ”.
Mặc dù vấn đề của multicollinearity không thể được định nghĩa rõ ràng, một điều ta có thể chắc
chắn: nếu mọi yếu tố được giữ nguyên không đổi, cho ước lượng β j , sẽ tốt hơn nếu có tương quan
giữa x j và các biến độc lập khác. Nhận định này thường dần tới một thảo luận về việc giải vấn
đề multicollinearity. Trong khoa học xã hội, khi chúng ta chỉ là những người thu thập dữ liệu bị
động, không có cách nào để giảm phương sai của ước lượng không chệch tốt hơn là việc thu
thập thêm dữ liệu. Với một tập dữ liệu cho trước, chúng ta có thể bỏ bớt các biến độc lập khác
khỏi mô hình nhằm giảm multicollinearity. Không may là, bỏ sót biến trong mô hình tổng thể có
thể dẫn tới ước lượng chệch.
Có thể một ví dụ về điều này sẽ giúp làm rõ một vài vấn đề xuất hiện liên quan đến đa công
tuyến. Giả sử chúng ta quan tấm đến việc ước lượng tác động của hàng loạt chi trả giáo dục lên
kết quả học tập của học sinh. Dường như là chi trả sẽ bao gồm lương của giảng viên, cơ sở vật
chất, thể chất, và nhiều thứ nữa có tương quan: trường giàu có hơn có xu hướng chi trả nhiều
hơn trong mọi thử. Không ngạc nhiên, sẽ khó khăn để ước lượng tác động của bất kỳ loại chi trả
cụ thể nào lên kết quả học tập của học sinh khi mà có một ít phương sai trong một loại chi trả
không thể được giải thích thoải mái trong phương sai của loại chi trả khác. Vấn đề đa cộng
tuyến như vậy có thể được làm giảm bằng cách thu thập thêm dữ liệu, nhưng cũng có nghĩa
chúng ta đã tự đặt vấn đề cho mình: chúng ta đang hỏi câu hỏi có quá tinh vi cho dữ liệu có sẵn
để trả lời với một độ chính xác bất kỳ. Chúng ta có thể làm tốt hơn nhiều bằng cách chuyển
phạm vi phân tích và gộp tất cả những loại chi tiêu lại với nhau, bởi vì chúng ta sẽ không phải có
ước lượng tác động một phần của một loại chi tiêu riêng biệt nữa.
Một điểm quan trọng khác là mức độ tương quan cao giữa các biến độc lập nhất định có thể
không liên quan tới việc chúng ta có thể ước lượng những tham số khác trong mô hình tốt đến
mức nào. Ví dụ, xét mô hình với 3 biến độc lập:
y=β 0 + β 1 x 1 ++ β 2 x 2 + β 3 x 3 +u ,
với x 2 và x 3 có tương quan cao, nên var ( ^β 2) và var ( ^β 3) có thể sẽ lớn, nhưng lượng tương quan
giữa x 2 và x 3 không tác động trực tiếp lên var ( ^β 1) . Thực tế, nếu x 1 không tương quan với x 2 và
2
σ
x 3, vậy R21=0 và var ( ^β 1) = , với mọi độ lớn tương quan giữa x 2 và x 3. Nếu β 1 đang là hệ số
SS T 1
mà ta quan tâm, không cần để ý đến tương quan giữa x 2 và x 3 .
Quan sát trên là quan trọng bởi vì các nhà kinh tế thường thêm nhiều biến kiểm soát nhằm
tách tác động nhân quả của một biến cụ thể. Ví dụ, khi tìm mối quan hệ giữa Tỷ lệ duyệt khoản
vay và Phần trăm người dân tộc thiểu số trong khu vực, chúng ta có thể bao gồm các biến như
Thu nhập trung bình, Giá trị nhà trung bình, Đo lường mức tín dụng,…, bởi vì những nhân tố
như vậy cần được đưa vào nhằm rút ra kết luận nhân quả cho quyết định. Thu nhập, giá trị nhà
và mức tín dụng thường có tương quan cao với nhau.
Nhưng tương quan cao giữa những biến kiểm soát đó không làm khó khăn hơn việc xác định
tác động của sự Phân Cách.
Một vài nhà nghiên cứu tìm ra rằng sẽ hữu ích nếu tính toán thống kê dự định để xác định
mức độ của đa cộng tuyến trong ứng dụng thực tế. Không may, rất dễ để sử dụng sai thống kê
như vậy, như chúng ta đã thảo luận, chúng ta không thể xác định tương quan giữa các biến giải
thích như thế nào thì mới là quá lớn.
Có một thứ hữu ích hơn, nhưng vẫn dễ bị sử dụng sai, là những thống kê cho hệ số riêng
biệt. Được biết đến nhiều nhất trong số chúng là variance inflation factor (VIF), chúng ta tính
1
nó từ phương trình (3.51). The VIF cho hệ số góc j đơn giản là F j= 2 , chính là phần trong
1−R j
var ( ^β 1) được xác định bởi tương quan giữa x j và các biến độc lập khác. Chúng ta có thể viết
var ( ^β ) trong phương trình (3.51) là:
1
2
σ
Var ( ^β 1 )= VIF j ,
SS T j
điều này chỉ ra rằng VIF j là nhân tố mà bởi nó Var ( ^β 1 ) lớn hơn bởi vì x j có tương quan với biến
giải thích khác. Bởi vì VIF j là một hàm của R2j-tuy vậy, Figure 3.1 về bản chất là biểu đồ của
VIF j -thảo luận trước đó của chúng ta có thể thay hoàn toàn bằng VIF . Ví dụ, nếu chúng ta có
lựa chọn, chúng ta sẽ muốn VIF j nhỏ hơn, nhưng chúng ta hiếm khi có lựa chọn. Nếu chúng ta
nghĩ các biến giải thích nhất định cần được thêm vào trong một hồi quy để suy ra quan hệ nhân
quả của x j , chúng ta sẽ do dự để bỏ nó, và nếu chúng ta nghĩ VIF j là quá cao không thể tác
động quyết định. Nếu, giả sử, quan tâm chính của chúng ta là quan hệ tác động của x 1 lên y ,
vậy thì chúng ta nên bỏ qua toàn bộ VIF j của các tham số khác. Cuối cùng, đặt giá trị tối đa cho
VIF mà trên nó chúng ta kết luận đa công tuyến là một vấn đề là chủ quan và không đặc biệt
hữu ích.
b. Phương Sai trong những mô hình xác định sai:
Lựa chọn có hay không thêm một biến xác định cào mô hình hồi quy có thể được làm bằng
việc phân tích thiệt hơn giữa độ chệch và phương sai. Trong phần 3-3, chúng ta suy diễn độ
chệch giảm bằng cách bỏ đi một biến có liên quan khi mô hình đúng có chứa hai biến giải thích.
Chúng ta tiếp tục sự phân tích mô hình này bằng cách so sánh phương sai ước lượng OLS.
Viết mô hình tổng thể đúng, nó thỏa mãn những giả định Gauss-Markov, là:
y=β 0 + β 1 x 1 + β 2 x 2 +u ,
chúng ta xét hai ước lượng của β 1. Ước lượng ^β 1 đến từ hồi quy bội:
^y = β^ 0 + β^ 1 x 1 + ^β 2 x 2 .
~
nói cách khác, chúng ta đưa x 2, theo x 1, trong mô hình hồi quy. Ước lượng β 1 được tính bằng
cách bỏ qua x 2 khỏi mô hình và chạy hồi quy đơn của y lên x 1:
~y=~ ~
β 0 + β1 x 1 ,
Khi β 2 ≠ 0 , phương trình hồi quy đơn loại bỏ một biến liên quan trong mô hình, như chúng ta đã
~
thấy trong phần 3-3, điều này gây ra tính chệch trong β 1trừ khi x 1 và x 2 không có tương quan.
Mặt khác, ^β 1 là ước lượng không chệch của β 1 với mọi giá trị của β 2. Nếu xét về tính không
~
chệch, ^β 1 là tốt hơn β 1.
~
Kết luận rằng ^β 1 là tốt hơn β 1 không tiếp diễn khi ta xét về phương sai. Với các điều kiện
trong giá trị mẫu của x 1 và x 2, ta có:
2
σ
Var ( ^β 1 )= ,
SS T 1 ( 1−R 21 )
Một điều chỉnh đơn giản có cơ sở tử chương 2 cho hồi quy hai biến chỉ ra:
2
~ σ
Var ( β 1 )=
SS T 1
~
So sánh hai công thức tính phương sai trên, có thể thấy Var ( β 1 ) luôn bé hơn Var ( ^β 1 ), trừ khi
x 1 và x 2 không có tương quan mẫu (trong trường hợp này, 2 ước lượng là như nhau về cả tính
không chệch và phương sai). Chúng ta rút ra kết luận:
~ ~
1. Khi β 2 ≠ 0, β 1 là chệch, ^β 1 là không chệch, Var ( β 1 ) <¿ Var ( ^β 1 ) ¿
~ ~
2. Khi β 2=0 , β 1 và ^β 1 đều không chệch, và Var ( β 1 ) <¿ Var ( ^β 1 ) ¿
~
Từ kết luận thứ 2, rõ ràng rằng β 1 là ưu việt hơn nếu β 2=0 . Về trực quan, nếu x 2 không có tác
động một phần lên y , thêm nó vào trong mô hình chỉ làm trầm trọng thêm vấn đề đa cộng
tuyến, điều này dẫn đến ước lượng cho β 1 kém hiệu quả hơn. Phương sai cao hơn của β 1 là
điều phải đánh đổi khi thêm biến không liên quan vào mô hình.
Trường hợp β 2 ≠ 0 sẽ khó hơn. Bỏ đi biến x 2 trong mô hình dẫn đến ước lượng chệch của β 1.
Trước đây, những nhà kinh tế lượng đã đề xuất so sánh những độ chệch giống nhau dựa vào
việc bỏ qua x 2 nhằm làm giảm phương sai-được tổng hợp trong độ lớn của R21-để quyết định x 2
có nên được thêm vào hay không. Tuy nhiên, khi β 2 ≠ 0 , có hai nguyên nhân chính để thêm x 2
~
vào mô hình. Điều quan trọng nhất trong số đó là độ chệch trong β 1 không giảm khi kích thước
mẫu tăng: trong thực tế, độ chệch không nhất thiết theo sau dấu hiệu nào. Vậy nên, chúng ta
có thể nghĩ về độ chệch đại khái là như nhau với mọi kích thước mẫu. Mặt khác,
~
Var ( β 1 ) và Var ( β^ 1 ) đều tiến tới không khi n lớn hơn, có nghĩa là đa cộng tuyến gây ra bởi việc
thêm x 2 trở nên ít quan trọng hơn khi kích thước mẫu lớn hơn. Trong mẫu lớn, chúng ta sẽ ưu
tiên dùng ^β 1.
Một lý do khác cho việc ưu tiên dùng ^β 1 tinh vi hơn. Công thức phương sai trong (3.55) là có
điều kiện trên giá trị của x i 1 và x i 2 trong mẫu, điều này cho ta trường hợp tốt nhất để sử dụng
~ ~
β 1. Khi β 2 ≠ 0, phương sai của β 1 có điều kiện chỉ trên x 1 là lớn hơn chính nó khi có mặt trong
(3.55). Về trực quan, khi β 2 ≠ 0 và x 2 được loại bỏ khỏi mô hình, phương sai của the error tăng
bỏi vì the error có chứa thêm phần của x 2. Nhưng trình bày (3.55) bỏ qua sự tăng trong phương
sai the error bởi vì nó sẽ coi cả hai biến hồi quy là không ngẫu nhiên. Cho mục đích thực tế,
phần σ 2 trong phương trình (3.55) tăng khi biến x 2 bị bỏ khỏi phương trình. Một sự thảo luận
toàn diện về về điều kiện thích hợp khi tính toán phương sai OLS sẽ dẫn chúng ta đi xa. Chỉ cần
~
nói rằng phương trình (3.55) là quá rộng rãi khi nó đo lường, đánh giá độ chính xác của β 1. Rất
may, phần mềm thống kê cho biết phương sai ước lượng thích hợp, và chúng ta không cần lo về
sự phức tạp trong công thức lý thuyết.
b. Ước lượng σ 2: Sai số chuẩn của ước lượng OLS
Bây giờ chúng học làm thế nào chọn đuợc một ước lượng không chệch của σ 2, sau đó ước
lượng này sẽ giúp chúng ta tính ước lượng không chệch của Var ( ^β 1 ).
Bởi vì σ 2=E(u 2), ước lượng không chệch của σ 2 là trung bình mẫu của bình phương
n
1
errors: ∑ u i . Không may, đây không phải ước lượng đúng vì chúng ta không thể quan sát u
2
n i=1
. Không những vậy, nhớ rằng errors có thể được viết là …, vậy lí do chúng ta không quan sát
được u là vì ta không biết được chính xác các tham số. Khi ta thay mỗi β j bằng ước lượng
OLS của nó ta được:
u^ i= y i− ^β 0− ^β 1 x i 1− ^β 2 x i 2−…− ^β k x ik
Có vẻ bình thường ta sẽ thay ui bằng u^ i để ước lượng σ 2. Trong trường hợp hồi quy đơn, ta
thấy rằng điều này dẫn tới ước lượng chệch. Ước lượng chệch của σ 2 trong trường hợp hồi
quy bội tổng quát là:
2 SSR
σ^ =
n−k −1
Phần (n−k −1) trong (3.56) là số bậc tự do cho vấn đề OLS với nquan sát và k biến độc
lập. Bởi vì có k +1 tham số trong mô hình hồi qui, ta có thể viết:
df =n− ( k +1 )
Đây là cách đơn giản nhất để tính số bậc tự do trong ứng dụng cụ thể: đếm số lượng tham
số, có bao gồm hệ số chặn, và lấy số quan sát trừ số này (trường hợp hiếm gặp không có ước
lượng của hệ số chặn, số lượng tham số giảm đi một)
Về cơ bản, chia cho (n−k −1) đến từ sự thật là giá trị kỳ vọng của Tổng bình phương
phần dư E ( SSR )=(n−k−1)σ 2. Về trực quan, chúng ta có thể nhận ra tại sao việc đánh giá số
bậc tự do là cần thiết khi xem lại first order condition cho ước lượng OLS. Chúng có thể viết
n n
là ∑ u^ i=0và ∑ u^ i x ij=0. Vậy là, khi tính ước lượng OLS, có k +1 ràng buộc được cho vào
i=1 i=1
trong phần dư OLS. Điều này nghĩa là, cho n−(k +1) phần dư, có k +1 phần dư đã biết trước,
chi còn n−(k +1) bậc tự do trong phần dư.
Để tham khảo, chúng ta tổng hợp thảo luận này với Định Lý 3.3. Chúng ta đã chứng minh
định lý này trong trường hợp hồi quy đơn ở chương 2.
Bởi vì σ là chưa biết, chúng ta sẽ thay nó bằng ước lượng σ^ . Ta có error chuẩn của ^β j : (3.58)
σ^
se ( β^ j )= (3.58)
[ SS T (1−R ) ]
1∕2
2
j j
Như những ước lượng OLS có thể được tính với mọi mẫu cho trước, những error chuẩn cũng
vậy. Bởi vì se ( β^ j ) phụ thuộc vào σ^ , the error chuẩn có phân phối mẫu, mà sẽ đóng vai trò trong
chương 4.
Chúng ta nên nhấn mạnh một điều về errors chuẩn. Bởi vì phương trình tính nó được tính
trực tiệp từ công thức (3.51), mà (3.51) dựa trên giả định homokedasticity, kéo theo là công
thức error chuẩn trong (3.58) không sử dụng được nếu the errors thể hiện phương sai thay đổi.
Vậy, trong khi sự xuất hiện của heteroskedasticity không gây ra tính chệch trong ^β j , nó sẽ dẫn
đến tính chệch đối với Var ( β^ ¿ ¿ j)¿, làm vô dụng cả công thức tính error chuẩn. Điều này quan
trọng là vì mọi khóa hồi quy tính (3.58) như error chuẩn mặc định cho mỗi tham số (với một
điều gì đó khác biệt trình bày cho hệ số chặn). Nếu ta nghi gở heteroskedasticity, vậy errors
chuẩn OLS “thường” vô hiệu, và ta phải làm một vài hành động điều chỉnh.
Với vài mục đích, sẽ hữu ích khi viết:
σ^
se ( β^ j )=
√ n sd (x ¿¿ j) √1−R2j ,¿
√
n
1
Trong đó ta có sd (x ¿¿ j)= ∑ ( x −x )2 ¿ là độ lệch chuẩn mẫu khi tổng bình phương được
n i=1 ij j
chia cho n thay vì n−1. Điểm quan trọng của phương trình trên đó là nó chỉ ra rằng kích thước
mẫu n trực tiếp ảnh hưởng errors chuẩn như nào. Ba phần còn lại có trong công thức- σ^ ,
sd (x ¿¿ j ), và √ 1−R 2j ¿ -sẽ thay đổi với mẫu khác nhau, nhưng khi n trở nên lớn, chúng tiến về
các hằng số. Vậy nên, chúng ta có thể thấy từ phương trình (3.59) errors chuẩn bé đến zero tại
điểm 1/ √ n. Công thức này chứng tỏ giá trị của việc có thêm dữ liệu: độ chính xác của ^β j tăng
khi n tăng.
Định lý Gauss-Markov
Dưới 5 giả định MLR.1 đến MLR.5, ^β 0 , β^ 1 , … , β^ k là ước lượng tuyến tính không chệch tốt
nhất của β 0 , β 1 , … , β k .
3.6 Một vài nhận xét về ngôn ngữ trong phân tích hồi quy bội
Được quen thuộc với người mới, và không phải chưa từng nghe với nhà nghiêm cứu thực
nghiệm lâu năm, để nói rằng họ “ước lượng mô hình OLS”. Điều này là sai-và là sự phản ảnh của
sự hiểu lầm các thành phần của phân tích hồi quy bội.
Khi chúng ta gán điều kiện lên những giá trị của các biến độc lập trong mẫu, rõ ràng là phân
phối mẫu của ước lượng OLS phụ thuộc vào phân phối thực sự của the errors. Để làm cho phân
phối mẫu của ^β j dễ theo dõi, chúng ta mặc định rằng the error không quan sát được phân phối
chuẩn trong tổng thể. Chúng ta gọi nó là giả định normality
Giả định MLR.6 Nomality: Tổng thể error u không phụ thuộc vào biến giải thích
x 1 , x 2 ,… , x k và có phân phổi chuẩn với trung bình bằng không và phương sai σ 2:
2
u N (0 , σ )
Giả định MLR.6 mạnh hơn nhiều so với bất cứ giả định nào trước đó. Trong thực tế, bởi vì u
là không phụ thuộc vào x j với giả định MLR.6, E ( u| x 1 , … , x k )=E (u )=0 và
Var ( u| x 1 , … , x k )=Var ( u )=σ . Vậy nếu ta lập giả định MLR.6, thì chúng ta cần thiết phải dùng cả
2
MLR.4 và MLR.5. Để nhấn mạnh rằng chúng ta giả sử nhiều hơn lúc trước, chúng ta sẽ dùng
toàn bộ các giả định MLR.1 đến MLR.6.
Cho những áp dụng hồi quy dự liệu chéo, những giả định MLR.1 đến MLR.6 được gọi là
Những giả định mô hình tuyến tính kinh điển (CLM). Nên, chúng ta sẽ quan tâm đến mô hình
thỏa sáu giả định như mô hình tuyến tính kinh điển. Tốt nhất là nghĩ về giả định CLM chứa
những giả định Gauss-Markov cộng với một giả định về sự phân phối chuẩn của phần error.
Với những giả định CLM, ước lượng OLS β 0 , β 1 , … , Bk có tính hiệu quả mạnh hơn chính
chúng với giả định Gauss-Markov. Có thể chỉ ra rằng ước lượng OLS là ước lượng không chệch
có phương sai bé nhất, nghĩa là OLS có phương sai bé nhất trong những ước lượng không chệch
khác; không cần phải giới hạn so sánh của chúng ta với những ước lượng tuyến tính với y i.
Một cách súc tích để tổng hợp giả định tổng thể của the CLM là:
y|x ( β0 + β 1 x1 + β 2 x 2 +…+ Bk x k , σ 2)
Với điều kiện trên x, y có phân phối chuẩn với trung bình tuyến tính trong x 1 , … , x k và một
phương sai cố định. Với một biến đơn độc lập x .
Lập luận chứng minh cho phân phối chuẩn của the errors thường là như sau: Bởi vì u là tổng
của nhiều nhân tố không quan sát được khác nhau tác động y , chúng ta có thể phát biểu định lý
giới hạn trung tâm để suy ra u gần như có phân phối chuẩn. Lập luận này cũng có vài yếu điểm.
Đầu tiên, các nhân tố trong u có thể có những phân phối rất khác nhau trong tổng thể. Mặc dù
định lý giới hạn trung tâm vẫn được giữ trong những trường hợp đó, sự xấp xỉ chuẩn có thể sai
lệch phụ thuộc vào có bao nhiêu nhân tố xuất hiện trong u và chúng phân phối như thế nào.
Một vấn đề nghiêm trọng hơn với lập luận CLM là nó mặc định rằng tất cả các nhân tố không
quan sát được tác động y là tách biệt, theo hướng cộng thêm vào. Không có gì đảm bảo cho
điều này, Nếu u là một hàm phức tạp của các nhân tố không quan sát được, lập luận CLT không
thực sự được áp dụng.
Trong mọi trường hợp áp dụng, phân phối chuẩn của u có được thỏa mãn hay không thực sự
là một vấn đề thực tiễn. Ví dụ, không có định lý nào nói rằng wage là có điều kiện trên
educ , exper , và tenure là phân phối chuẩn. Nếu có, một suy luận đơn giản sẽ nói lên điều ngược
lại: bởi vì wage có thể không bé hơn không, không thể nói chắc chắn nó có phân phối chuẩn.
Hơn nữa, bởi vì có luật wage tối thiểu, một vài phần của tổng thể có được chính xác mức wage
tối thiểu, điều này vi phạm giả định normality. Không những vậy, trong vấn đề thực tế, chúng ta
có thể hỏi liệu phân phối có điều kiện của wage có gần với chuẩn hay không. Những bằng chứng
thực tế đã có nói rằng normality không là một giả định tốt cho wage .
Thông thường, với việc sử dụng phép biến đổi, đặc biệt như là log, ta có được phân phối gần
với chuẩn. Ví dụ như log ( price) có khuynh hướng có vẻ chuẩn hơn là phân phối của price. Một
lần nữa, đây là vấn đề thực tiễn. Chúng ta sẽ thảo luận hệ qua của tính phân phối chuẩn cho suy
diễn thống kê trong chương 5.
Có một vài trường hợp ứng dụng mà MLR.6 rõ ràng là sai, có thể chứng minh với sự tự quan
sát. Bất cứ khi nào y chỉ có một vài giá trị nó không thể có gì là gần với phân phối chuẩn.
Tính phân phối chuẩn của phần sai số được chuyển thành phân phối mẫu chuẩn của ước
lượng OLS:
Dưới các giả định CLM, có điều kiện trên giá trị mẫu của các biến độc lập:
^β N [ β ,Var ( β ) ]
j j j
2
σ
Với Var ( β j ) = , vậy nên:
SST j ( 1−R2j )
^β −β
j j
N (0 ,1)
^
sd ( β j)
Chứng minh cho định lý trên
1
không khó với tính chất đã có của biến ngẫu nhiên phân phối chuẩn. Mỗi ^β j =β j +∑ w ij ui, với
i=1
r^ ij
w ij = , r^ là phần dư thứ i từ hồi quy của x j lên tất cả các biến độc lập khác, và SS R j là
SS R j ij
tổng bình phương phần dư từ hồi quy này. Bởi vì w ij phụ thuộc vào biến độc lập, chúng có thể
coi như là không ngẫu nhiên. Vậy ^β j chỉ là kết hợp tuyến tính của sai số trong mẫu ui. Với giả
định MLR.6 (và MLR.2 lấy mẫu ngẫu nhiên), the errors là độc lập, phân phối chuẩn N (0 ,σ 2) các
biến ngẫu nhiên. Một điều quan trọng về biến độc lập phân phối chuẩn là một kết hợp tuyến
tính của những biến ngẫu nhiên như vậy cũng phân phối chuẩn. Điều này hoàn thành chứng
mình. Trong phần 3-3, chúng ta đã chỉ ra E( ^β j)=β j, và suy ra Var ( β^ ¿ ¿ j)¿ trong phần 3-4;
không cần suy luận lại.
Kết luận của định lý 4.1 có thể được làm mạnh hơn. Ngoài (4.1), mọi kết hợp tuyến tính của
^β , β^ , … , β^ cũng phân phối chuẩn, và bất kỳ tập con nào của β j cũng cùng phân phối chuẩn.
0 1 k
Những định lý này là cơ sở cho kết quả kiểm nghiệm trong phần còn lại của chương này.
4-2 Kiểm định một tham số tổng thể đơn: Kiểm định t
Phần này đề cập một chủ đề rất quan trọng của kiểm định giả thiết về bất kỳ tham số đơn
nào trong hàm hồi quy tổng thể. Mô hình tổng thể có thể được viết là:
y=β 0 + β 1 x 1 +…+ βk x k +u ,
Và ta mặc định rằng nó thỏa mãn những giả thiết CLM. Chúng ta biết rằng OLS cho ước lượng
không chệch của β j . Trong phần này, chúng ta học làm sao có thể kiểm định giả thiết của một β j
cụ thể. Để hiểu toàn diện việc kiểm định giả thiết, một điều cần nhớ là β j là một phần không
biết của tổng thể, và chúng ta không bao giờ biết được nó một cách chắc chắn. Nhưng không
dừng lại ở đó, chúng ta có thể lập giả thiết về giá trị của β j và sau đó dùng suy diễn thống kê để
kiểm định giả thiết của chúng ta.
Để thành lập giả thiết kiểm định, chúng ta cần kết quả sau:
Định lý 4.2 Phân phối t cho ước lượng chuẩn
Với k +1 là là số tham số chưa biết trong mô hình tổng thể, và n−(k +1) là số bậc tự do (df ¿
Kết quả này khác với định lý 4.1 ở một số điểm đáng chú ý. Định lý 4.1 chỉ ra, với giả định
^β −β
CLM,
1 1
N (0 , 1) . Phân phối t trong định lý 4.3 đến từ sự thật là σ cố định trong sd ( ^β 1) được
^
sd ( β 1 )
thay bởi biến ngẫu nhiên o^ thành se( β ^ ). Bằng chứng là nó dẫn đến việc phân phối t với n−k −1 bậc tự
1
do khó khăn và không mang tính chỉ dẫn tốt. Về bản chất, chứng minh chi ra rằng (4.3) có thể được viết
bằng tỉ số của biến ngẫu nhiên phân phối chuẩn ( ^β ¿¿ 1−β 1)/sd ( ^β 1)¿ dưới dạng căn bậc hai của
σ^ ∕ σ . Những biến ngẫu nhiên này có thể được chỉ ra là độc lập, và (n−k −1) σ^ ∕ σ χ n−k−1. Kết quả
2 2 2 2 2
Định lý 4.2 quan trọng vì nó cho phép chúng ta kiểm định giả thiết liên quan đến β j . Trong
phần lớn trường hợp, quan tâm đầu tiên của chúng ta là kiểm nghiệm giả thiết bác bỏ (the null
hypothesis)
H 0 : β j=0, (4.4)
với j tương ứng với mọi k biến độc lập. Quan trọng phải hiểu (4.4) nghĩa là gì và có thể mô tả
giả thiết này bằng ngôn ngữ đơn giản cho một trường hợp cụ thể. Bởi vì β j đo lường tác động
một phần của x j lên (giá trị kỳ vọng của) y , sau khi kiểm soát mọi biến độc lập khác, (4.4) có
nghĩa là, một khi x 1 , x 2 ,… , x j−1 , x j+1 , … , x κ đã được tính vào, x j không có tác động lên giá trị kỳ
vọng của y . Chúng ta không thể nói giả thiết bác bỏ là “ x j có tác động một phần lên y ” bởi vì
điều này đúng với mọi β j khác không. Kiểm nghiệm cổ điển phù hợp cho giả thiết đơn giản như
(4.4)
Bạn có thể nhớ lại từ khóa thống kê nền móng của kiểm định giả thiết cho trung bình từ tổng
thể chuẩn. Cơ chế của kiểm định (4.4) trong hồi quy bội cũng giống vậy. Phần khó khăn là tính
ước lượng của tham số, sai số chuẩn, và những giá trị quan trọng.
Thống kê mà ta dùng để kiểm định (4.4) được gọi là thống kê t hay tỉ số t của ^β j được định
nghĩa là:
^β
j
t ^β = (4.5)
j ^
se ( β j)
Chúng ta sẽ thấy trong phần sau một dạng tổng quát hơn của thống kê t cần cho việc kiểm định
giả thiết khác của β j . Bây giờ, quan trọng là biết (4.5) chỉ phù hợp để kiểm định (4.4).
Thống kê t dễ dàng được tính với với ^β j đã biết và sai số chuẩn của nó. Thực tế, hầu hết
phần mềm hồi quy sẽ làm sẵn điều này với mỗi hệ số và sai số chuẩn của nó.
Trước khi thảo luận (4.5) chính thức để kiểm định H 0, sẽ có ích để hiểu tại sao t ^β có tính
j
chất làm nó có thể là thống kê kiểm định để xác định β j ≠ 0. Thứ nhất, bởi vì se( ^β j) luôn dương,
t ^β có dấu hiệu giống ^β j : nếu ^β j là dương hoặc âm, t ^β cũng vậy. Thứ hai, với giá trị cho trước của
j j
se( ^β ) , giá trị của ^β lớn dẫn tới giá trị của t ^β lớn.
j j j
Bởi vì chúng ta đang kiểm định H 0 : β j=0, một cách tự nhiên ta sẽ nhìn vào ước lượng không
chệch của β j , ^β j . Với một trường hợp thực tế, ước lượng ^β j gần như không bao giờ đúng
bằng không, bất kể H 0 có đúng hay không. Câu hỏi đặt ra là: β j lớn hơn zero bao nhiêu? Giá
trị mẫu của của ^β j khác không rất lớn cho ta bằng chứng chống lại H 0 : β j=0. Tuy nhiên, ta
phải nhận ra rằng có sai số mẫu trong ước lượng ^β j , vậy nên kích thước của ^β j phải được
chú trọng hơn sai số mẫu của nó. Bởi vì sai số chuẩn của ^β là một ước lượng của độ lệch
j
chuẩn của ^β j , t ^β đo lường có bao nhiêu độ lệch chuẩn ước lượng của ^β j khác không. Đây
j
chính xác là điều mà ta đang kiểm định mặc dù trung bình tổng thể của sai số là bằng không,
sử dụng thống kê t chuẩn từ phần mềm thống kê. Giá trị của t ^β khác xa không sẽ dẫn đến sự
j
bác bỏ của H 0. Quy tắc bác bỏ chính xác phụ thuộc vào giả thiết thay thế và sự lựa chọn mức
ý nghĩa của kiểm định.
Xác định quy tắc để bác bỏ (4.4) tại một mức ý nghĩa cho trước, có nghĩa là, xác suất bác
bỏ H 0 khi nó đúng-đòi hỏi biết được phân phối của t ^β khi H 0 đúng. Từ định lý 4.2, ta biết nó
j
là t n−k−1. Đây là định lý chủ chốt cần thiết cho kiểm định (4.4).
Trước khi tiếp tục, nên nhớ rằng chúng ta đang kiểm định giả thiết về tổng thể của tham
số. Chúng ta không kiểm định giả thiết về ước lượng từ một mẫu cụ thể. Vậy nên, không có ý
nghĩa khi thành lập giả thiết bác bỏ như là “ H 0 : ^β 1=0”. Chúng ta đang kiểm định liệu rằng
giá trị tổng thể chưa biết, β 1 có bằng không.
Vài xử lí của phân tích hồi quy định nghĩa thống kế t như là giá trị chắc chắn của (4.5),
nên thống kê t luôn dương. Phương pháp này có điểm yếu là làm cho việc kiểm định thay
thế một chiều trở nên vụng về. Xuyên suốt giáo trình, thống kê t luôn có dấu hiệu tương ứng
với ước lượng hệ số OLS.
4-2a Kiểm định với giả thiết thay thế một bên
Để xác định quy tắc bác bỏ H 0, chúng ta cần quyết định giả thiết thay thế liên quan. Đầu
tiên xét giá thiết thay thế một bên dạng:
H 1 : β j >0 (4.6)
Khi ta lập giả thiết thay thế như (4.6), chúng ta thực sự nói rằng giả thiết bác bỏ là
H 0 : β j ≤0 . Ví dụ, nếu β j là một tham số của education trong hồi quy wage, chúng ta chỉ quan
tâm tới duy nhất xác định β j khác với không khi β j thực tế là dương. Nếu ta bác bỏ the null
β j =0, ta sẽ tự động bác bỏ β j <0 . Một cách hiệu quả hơn, chúng ta sẽ coi như chúng ta kiểm
định H 0 : β j=0 với H 1 : β j >0, bỏ qua β j <0 .
Ta nên chọn quy tắc bác bỏ như thế nào? Chúng ta phải đầu tiên quyết định mức ý nghĩa
hay xác xuất bác bỏ H 0 trong khi nó đúng. Cụ thể, giả sử chúng ta quyết định mức ý nghĩa là
5%, đây là lựa chọn phổ biến. Vậy, chúng ta sẵn sàng bác bỏ nhầm H 0 với trong khi nó đúng
với xác suất là 5%. Bây giờ, trong khi t ^β có phân phối t dưới H 0-vậy nó có trung bình bằng
j
không-dưới the alternative β j >0 , giá trị kỳ vọng của t ^β là dương. Vậy nên, ta sẽ tìm một
j
khoảng tin cậy có giá chứa giá trị của t ^β để bác bỏ H 0 : β j=0 để khẳng định H 1 : β j >0. Giá trị
j
Định nghĩa của “đủ lớn”, với mức ý nghĩa 5%, là phân vị thứ 95 trong phân phối t với
n−k −1 bậc tự do; kí hiệu là c . Nói cách khác, quy tắc bác bỏ là bác bỏ H 0 để khẳng định H 1,
tại mức ý nghĩa 5% nếu:
t ^β > c (4.7)
j
Bằng sự lựa chọn giá trị tới hạn, c , sự bác bỏ H 0 sẽ xảy ra với xác suất 5% của tất cả mẫu
ngẫu nhiên khi H 0 đúng.
Quy tắc bác bỏ trong (4.7) là một ví dụ của kiểm định một phía. Để có được c , chúng ta chỉ
cần có mức ý nghĩa là số bậc tự do. Ví dụ, với mức ý nghĩa 5% và n−k −1 bậc tự do, giá trị
tới hạn c=1.701 . Nếu t ^β ≤1.701, vậy chung ta không thể bác bỏ H 0 với mức ý nghĩa 5%.
j
Khi số bậc tự do trong phân phối t trở nên lớn, phân phối t tiến gần đến phân phối chuẩn,
với số bậc tự do lớn hơn 120, ta có thể dùng giá trị tới hạn chuẩn .
Bởi vì chúng ta có 522 bậc tự do, chúng ta có thể dùng giá trị tới hạn chuẩn của phân
phối chuẩn hóa. 5% giá trị tới hạn chuẩn là 1.645, 1% là 2.326. Thống kê t cho ^β exper là:
β exper 0.0041
t exper = = ≈ 2.41 ,
sⅇ ( ^β exper ) 0.0017
Vậy ^β exper là biến có ý nghĩa thống kê tại mức 1%. Chúng ta cùng nói rằng là “ ^β exper có tính
thống kê lớn hơn không tại mức ý nghĩa 1%”
Ước lượng cho một đơn vị của log (wage) thay đổi khi chỉ mỗi exper thay đổi, không quá
lớn. Hơn thế, chúng ta cũng được chỉ dẫn rằng tác động một phần của exper là dương trong
tổng thể.
Kiểm định một phía với giả thiết tham số bé hơn không cũng tương tự,
H 0 : β j=0 versus H 1 : β j <0
Bây giờ, chỉ cần chỉnh sửa một chút vì trong trường hợp này giá trị tới hạn chuẩn nằm phía
bên trái:
t ^β ←c ,
j
Ví dụ: với mức ý nghĩa 5% và số bậc tự do là 18, vậy c=1.734 , vậy chúng ta sẽ bác bỏ H 0
khẳng định H 1 khi t ^β ←1.734
j
4-2b Kiểm định với giả thiết thay thế hai bên
Trong thực tế, có nhiều trường hợp cần kiểm định H 0 : β j=0 versus H 1 : β j ≠ 0
Đây là giả thiết thay thế trong trường hợp dấu hiệu của β j không được xác định rõ bằng lý
thuyết hay trực quan. Kể cả khi chúng ta có biết β j là âm hay dương, kiểm định hai phía thường
sẽ thận trọng hơn. Ước lượng bằng hồi quy để giúp chúng ta lập giả thiết không hay giả thiết
đối không được phép vì suy diễn thống kê cổ điển mặc định rằng chúng ta thành lập giả thiết
không và đối về tổng thể trước khi ta có data.
Sau đó chúng ta tìm giá trị tới hạn chuẩn với mức ý nghĩa được yêu cầu và kết luận tương tự
như 3 trường hợp kiểm định định trái, phải và hai phía tương ứng.
P (|T|>|t |) ,
p−values tổng hợp tốt mức mạnh hoặc yếu của bằng chứng thực nghiệm chống lại giả thiết
không. Định nghĩa tốt nhất của p−values có lẽ là “xác suất quan sát được lớn nhất một thống
kê t nếu giả thiết không là đúng”. Để bác bỏ giả thiết không, chúng ta sẽ muốn p−values càng
nhỏ càng tốt.
Ví dụ: Với số bậc tự do df =40 và thống kê t=1.85, p−values được tính như sau:
Chúng ta sẽ kết thúc phần này với vài guideline cho thảo luận kinh tế và ý nghĩa thống kê của
một biến trong một mô hình hồi quy bội:
1. Kiểm tra ý nghĩa thống kê. Nếu một biến là có ý nghĩa thống kê, mô tả độ lớn
của hệ số để có một ý tưởng về tính quan trọng trong thực dụng hay kinh tế của nó.
Bước sau này cần cẩn thận, tùy vào biến độc lập và biến phụ thuộc xuất hiện như
nào trong phương trình (Đơn vị đo lường là gì? Những biến xuất hiện dưới dạng
level hay logarith?,…)
2. Nếu một biến không có ý nghĩa thống kê với mức thông thường như 10%, 5%,
1%, mày vẫn cần hỏi liệu rằng biến có tác động kỳ vọng lên y và liệu tác động đó có lớn
hay không. Nếu là lớn, mày nên tính p−values tại 20% (không bắt buộc). Với
p−values lớn, đồng nghĩa thống kê t nhỏ, chúng ta đang đối mặt với rủi ro ước lượng
chệch có thể vì sai số mẫu lớn: một mẫu ngẫu nhiên khác có thể cho một ước lượng
khác rất nhiều.
3. Thông thường ta tìm những biến với thống kê t nhỏ nghĩa rằng tín hiệu ta tìm
được là sai. Cho mục đích thực tế, điều này có thể bỏ qua: chúng ta kết luận rằng
những biến này có ý nghĩa thống kê. Một biến ý nghĩa có dấu hiệu không mong muốn
và có tác động lớn lên biến phụ thuộc khó giải quyết hơn rất nhiều
Với hằng số c là phân vị thứ 97.5 phần trăm trong phân phối t n−k−1
Cùng xem lại ý ngĩa của một khoảng tin cậy. Nếu một mẫu ngẫu nhiên được lấy lặp đi lặp lại,
với β j trên và dưới được tính cho mỗi lần, vậy thì giá trị tổng thể của β j sẽ nằm trong khoảng
[ j j j j ]
β^ −c . se ( ^β ) , ^β +c . se ( ^β ) với xác suất 95%, chúng ta hy vọng thế nhưng không thể chắc chắn.
Nhiều phần mềm hồi quy sẽ làm giúp chúng ta phần tính toán khoảng tin cậy với mức ý nghĩa
5%, hay khoảng tin cậy là 95%.
Mày nên nhớ rằng khoảng tin cậy chỉ tốt với những trường hợp thỏa giả định đứng sau nó.
Có nghĩa là không bỏ sót biến có tương quan với biến giải thích quan trọng, điều này dẫn tới
ước lượng chệch; phương sai của sai số không cố định, vậy sd ( ^β j ) là không thể sử dụng. Ta cũng
cần giả định Normality, nhưng ta sớm sẽ thấy, nếu có hàng trăm quan sát, giả định này không
quá quan trọng.
4-4 Kiểm định giả thiết về một kết hợp tuyến tính của tham số.
Hai phần trước chỉ ta cách sự định kiểm định giả thiết cổ điển hay khoảng tin cậy để kiểm định
giả thiết cho một tham số β j đơn lẻ. Trong thực tế, chúng ta phải kiểm định những giả thiết liên
quan nhiều hơn là 1 tham số tổng thể. Trong phần này, chúng ta tìm hiểu cách kiểm định một
giả thiết đơn như vậy. Phần 4-5 là về cách kiểm định giả thiết bội.
Để có tiếp cận chung, chúng ta sẽ xét một mô hình đơn giản:
log ( wage )=β 0 + β 1 jc+ β 2 univ+ β 3 exper+u ,
Ngoại trừ jc=0 và univ=0, mọi kết hợp giữa hai biến này được cho phép.
Chúng ta quan tâm tới giả thiết rằng liệu một năm ở cao đẳng có bằng một năm học đại học:
H 0 : β 1=β 2 ,
β^ 1− ^β 2
t= .
se ( β^ 1− ^β 2)
Tiếp đến ta so sánh thống kê t với hằng số c để bác bỏ giả thiết không. Việc khó khăn hơn so với
kiểm định một tham số là tính được se( ^β1− ^β2 ). Để làm điều này, chúng ta đầu tiên tính
phương sai của hiệu hai ước lượng:
{[ }
2 2 2
] [ ]
se ( β^ 1− β^ 2 ) = se ( ^β1 ) + se ( ^β1 ) −2 s 12 ,
Sẽ dễ dàng hơn để ước lượng một mô hình khác khi nó cho ta biết sai số chuẩn. Định nghĩa một
tham số mới là hiệu của β 1 và β 2: θ1= β1−β 2, vậy chúng ta sẽ kiểm định:
H 0 :θ1=0 against H 1 : θ1< 0
Thống kê t sẽ là: t=θ^ 1 / se ( θ^ 1), khó khăn lúc này là tìm se( θ^ 1), thay θ^ 1 vào mô hình, ta được:
Nếu muốn trực tiếp ước lượng θ1 và tính được sai số chuẩn se( θ^ 1), ta phải định nghĩa một biến
mới, trong trường hợp này có thể là totcoll= jc+univ :
log ( wage )=β 0 +θ1 jc+ β 2 totcoll+ β 3 exper+u ,
Lý do duy nhất chúng ta định nghĩa một mô hình mới như này là, khi ước lượng nó, hệ số trên
jc là θ^ 1, quan trọng hơn sai số chuẩn của θ^ 1 được tính theo dữ liệu của mô hình. Các kết quả
kiểm định cho mô hình mới sẽ không quá khác mô hình gốc.
+ β 4 hrunsyr + β 5 rbisyr +u ,
Giả sử, ta muốn test giả thiết không là, 3 biến từ β 3 trở đi không có partial effect lên salary . Ta
sẽ lập giả thiết không như sau:
H 0 : β 3=0 , β 4=0 , β 5=0.
Giả thiết không cấu thành từ ba exclusion restristions. Đây là một ví dụ cho một tập của
multiple restrictrions bởi vì chúng ta đang đưa vào nhiều hơn một restriction lên những tham
số. Kiểm định cho multiple restrictions được gọi là multiple hypothesis test hay joint
hypothesis test. Giả thiết đối cho H 0 đơn giản là:
H 1 : H 0 không đúng
Đây là kết luận sai. SSR sẽ tăng bao nhiêu khi chúng ta bỏ ba biến bavg ,hrunsyr , rbisyr khỏi
phương trình sẽ mách bảo ta điều gì đó. Khi bỏ ba biến, mô hình đơn giản còn:
log ( salary )=β 0+ β1 years+ β 2 gamesyr +u .
Phương trình trên được gọi là restricted model, có được từ phương trình unrestricted model.
Với 2 biến độc lập, ta có mô hình ước lượng:
^
log ( salary )=11.22+.0713 years+.0202 gamesyr
(.11) (.0125) (.0013)
2
n=353 , SSR=198.311, R =.5971
Tiếp theo ta cần có một thống kê để mô tả độ lớn hơn của SSR với phân phối đã biết. Chúng ta
sẽ kiểm định cho trường hợp tổng quát. Với unrestricted model với k biến độc lập:
y=β 0 + β 1 x 1 +…+ βk x k +u ,
Giả sử chúng ta có q exclusion restristions để kiểm định. Giả thiết không sẽ là:
H 0 : β k−q+1 =0 , … , β k =0 ,
Chúng ta mặc định rằng, cả restrictred và unrestricted model có chứa một hệ số chặn, bởi vì
đây là trường hợp được gặp nhiều nhất trong thực tế.
Bây giờ chúng ta cần lập một thống kê để tìm khoảng SSR tăng khi thay đổi mô hình: Thống kê F
(SSR ¿ ¿ r−SSRur )/q
F≡ ,¿
SSRur /(n−k−1)
Với SSRr là tổng bình phương phần dư của restricted model, còn SSRur là tổng bình phương
phần dư của unrestricted model.
Mày nên nhận thấy rằng, vì SSRr luôn lớn hơn SSRur , thống kê F luôn không âm. Một cách
đơn giản nhất để nhớ về thống kê F là một định lượng sự tăng lên của SSRur đến SSRr .
q trên tử số là số biến độc lập được bỏ khỏi unrestricted model, bằng hiệu số bậc tự do của
hai mô hình:
q=numerator degrees of freedom=ⅆ f r − ⅆ f ur ,
Thực ra, mẫu số của F chỉ là ước lượng ko chệch của σ 2=Var (u) trong unrestricted model
Để dùng được thống kê F , chúng ta phải biết phân phối mẫu của nó để chọn giá trị tới hạn
và miền bác bỏ. Có thể chỉ ra rằng, dưới H 0 và các giả định CLM , F có phân phối
Fisher Snedecor với (q ,n−k −1) bậc tự do:
F F q ,n −k−1 .
Khi có mức ý nghĩa, tiếp theo chúng ta xác định c , chúng ta sẽ bác bỏ H 0 khi:
F> c .
Khi df mẫu số và df tử số đến gần 120, phân phối F không còn nhạy với nó nữa, lúc này
phân phối chuẩn sẽ được dùng thay thế. Còn khi (n−k −1) quá nhỏ, thậm chí còn nhỏ hơn q
(mẫu lấy được quá ít với biến cần tìm hiểu), cả restricted lẫn unrestricted model fail từ bước
ước lượng, không cần xét tới kiểm định.
Nếu H 0 được bác bỏ, ta nói x k−q +1 , … , x k là joinly stastiscally significant. Có thể chỉ có một
hoặc tất cả các biến thuộc tập này có partial effect lên y .
Nếu H 0 không được bác bỏ, ta nói x k−q +1 , … , x k là joinly insignificant. Điều này tạo cơ sở cho
việc bỏ chúng khỏi mô hình.
Quay trở lại ví dụ the major league baseball với 3 bậc tự do tử và 347 bậc tự do mẫu, giá trị
tới hạn cho 5% là 2.60 và 1% là 3.78. Chúng ta bác bỏ H 0 với mức ý nghĩa 1% nếu F lớn hơn
3.78, và 2.60 cho mức ý nghĩa 5%. Chỉ cần thay SSR vào, ta có thống kê F :
198.311−183.186 347
F= . ≈ 9.55 .
183.186 3
Giá trị tính được lớn hơn giá trị tới hạn 1% khá nhiều, vậy chúng ta bác bỏ H 0.
Kết quả của joint test có vẻ ngạc nhiên khi mà thống kê t cho kết quả không ý nghĩa cho ba
biến. Điều gì đang xảy ra? Hai biến hrunsur và rbisyr có tương quan cao, và đa cộng tuyến làm
khó khăn hơn việc tính partial effect của mỗi biến; điều này được thể hiện bằng thống kê t .
Thống kê F kiểm định liệu những biến này có jointly significant, và đa cộng tuyến giữa hrunsur
và rbisyr ít liên quan hơn rất nhiều đến giả thiết này. Thống kê F hữu ích cho việc kiểm định
việc loại bỏ một nhóm biến khi các biến trong nhóm có tương quan cao.
Nhấn mạnh rằng f là một biến ngẫu nhiên phân phối F với (q ,n−k −1) bậc tự do, còn F là giá
trị thực của kiểm định. Giá trị p−valuecàng nhỏ là bằng chứng chống lại H 0 càng tốt và ngược
lại.
Chúng ta đang có q=4 restrictions và (n−4−1) bậc tự do trong unrestricted model. Thống kê
F đơn giản là:
(SS Rr −SSR ur)/q
F=
SSRur /(n−k −1)
Với thống kê t , ta không thể phủ định từng giả thiết thành phần của H 0. Chúng ta nên kiểm
định chúng cùng với nhau bằng kiểm định F thì sẽ hợp lý hơn.
Chapter 5: Phân tích hồi quy bội: OLS Asymptotics
Trong chương 3 và 4, chúng ta đã biết thứ gọi là thuộc tính mẫu hữu hạn, mẫu nhỏ, hay
chính xác của ước lượng OLS trong mô hình tổng thể. Ví dụ như tính không chệch của OLS dưới
những giả định Gauss-Markov là một tính chất mẫu hữu hạn bởi vì nó giữ cho mọi kích thước
mẫu n . Tương tự, sự thất là OLS là ước lượng không chệch tốt nhất dưới giả định Gauss-Markov
là một thuộc tính mẫu hữu hạn.
Trong chương 4, chúng ta thêm giả định MLR.6, điều này cho phép chúng ta suy diễn chính
xác phân phối lấy mẫu của ước lượng OLS.
Ngoài thuộc tính mẫu hữu hạn, quan trọng để biết rằng asymptotic properties hay large
sample properties (thuộc tính mẫu lớn) của những ước lượng và kiểm định giả thiết. Những
thuộc tính này không được định nghĩa cho một kích thước mẫu cụ thể, mà được định nghĩa như
kích thước mẫu lớn vô hạn. Rất may, dưới những giả định chúng ta có, OLS thỏa mãn thuộc tính
mẫu lớn.
Thực tế, ta chỉ có một mẫu kích thước cố định với trường hợp cụ thể, đây là nguyên nhân
chính một thuộc tính tiệm cận như tính vững khó có thể có được. Tính vững liên quan đến một
ý niệm về điều gì sẽ xảy ra khi kích thước mẫu trở nên lớn. Nếu thu được mẫu nhiều hơn không
đưa ta đến kết quả gần hơn với mô hình ước lượng, ta đang có một mô hình ước lượng tồi.
Giả định MLR.4’ yếu hơn MLR.4 với nghĩa là giả định sau ám chỉ giả định trước. Một cách để
mô tả đặc điểm của giả định zero condition mean, E ( u∨x1 , … , x k )=0 , mọi hàm của các biến
giải thích không có tương quan với u. Giả định MLR.4’ chỉ yêu cầu mỗi x j đều không có tương
quan với u. Giả định MLR.4’ dẫn chúng ta trực tiếp đến ước lượng OLS. Hơn nữa, khi ta nghĩ về
vi phạm giả định MLR.4 ta nghĩ đến ý nghĩa của Cov ( x j , u ) ≠ 0. Tại sao ta sử dụng MLR.4 cho đến
giờ? Có 2 lý do, chúng ta đã tiếp cận chúng từ trước. Đầu tiên, OLS hóa ra là chệch (nhưng
vững) dưới giả định MLR.4’ nếu E ( u∨x1 , … , x k ) phụ thuộc vào bất cứ biến x j nào. Bởi vì chúng
ta trước đó tìm hiểu mẫu hữu hạn, chúng ta cần giả định mạnh hơn.
Lý do thứ hai, có thể là lý do quan trọng hơn, là giả định zero conditional mean nghĩa là ta đã
mô hình hóa đúng hàm hồi quy tổng thể. Nếu ta chỉ giả định MLR.4’, hàm ước lượng không
nhất thiết là hàm hồi quy tổng thể, và chúng ta có khả năng gặp những hàm không tuyến tính
của x j , như x 2j có tương quan với sai số u. Trong trường hợp như vậy, chúng ta bỏ qua sự phi
tuyến tính trong mô hình có thể giúp giải thích y tốt hơn.
Chúng ta có thể dùng phương trinh này để suy diễn the asymtotic analog của độ chệch bỏ
sót biến. Giá sử mô hình đúng là:
y=β 0 + β 1 x 1 + β 2 x 2 +v ,
thỏa các giả định Gauss-Markov. Nếu ta bỏ sót biến x 2 khỏi hồi quy, và chạy hồi quy y lên x 1, có
~
được hệ số góc ước lượng OLS của hồi quy đơn này là β 1. Vậy:
~
plim β 1=β 1+ β2 δ 1 ,
Với:
Cov ( x 1 , u )
δ 1=
Var ( x 1 )
Cho mục đích thực tế, chúng ta có thể coi tính không vững giống như tính chệch. Điều khác biệt
là tính không vững được trình bày dưới dạng phương sai tổng thể của x 1 và hiệp phương sai
tổng thể của x 1 và x 2, trong khi tính chệch dựa trên đối mẫu của chúng.
Chúng ta biết rằng giả định Normality không ảnh hưởng gì đến tính không chệch của ước
lượng OLS, nhưng ảnh hưởng trực tiếp đến thống kê t và F , ảnh hưởng đến việc ta quyết định
những biến nào có ý nghĩa thống kê, thực tế, hay không, có nên bị loại bỏ khỏi mô hình.
Nếu như một biến phụ y cho mẫu quan sát được không phải là phân phối chuẩn, chúng ta có
phải bỏ thống kê t xác định biến nào là có ý nghĩa thống kê? Rất may là không, với định lý giới
hạn trung tâm, y sẽ có phân phối chuẩn khi mẫu quan sát của nó lớn.
( )
2 2
σ σ
i. √ n ( β^ j −β j ) N 0 , 2 , với 2
> 0 là phương sai tiệm cận của √ n ( β^ j −β j ),
aj aj
( ∑ )
n
a 2j =plim n−1 r^ 2ⅈj , với r^ ij là phần dư chạy hồi biến x j lên các biến độc lập còn lại;
i =1
2
σ^ là một ước lượng vững của σ =Var (u);
2
ii.
iii. ( ^β j−β j ) /sd ( β^ j) N ( 0 ,1 ) và ( ^β j−β j ) /se ( ^β j ) N ( 0 , 1 ).
Để hiểu được ý nghĩa của giả định 5.2, chúng ta cần phân biệt ý nghĩa của phân phối tổng thể
của phần sai số, u, và phân phối lấy mậy của ^β j khi kích thước mẫu tăng. Không có chuyện u sẽ
tiến tới gần phân phối chuẩn khi kích thước mẫu tăng.
Điều mà định lý trên phát biểu là, bỏ qua phân phối tổng thể của u, những ước lượng OLS,
khi được chuẩn hóa đúng, có phân phối chuẩn hóa. Khi mẫu trở nên lớn, sẽ không có sự khác
biệt nhiều giữa σ và σ^ , ( ^β j−β j ) /sd ( β^ j) và ( ^β j−β j ) /se ( ^β j ) đều có phân phối chuẩn hóa N ( 0 , 1 ).
Chúng ta sẽ sử dụng kết quả trên thế nào? Có vẻ có hệ quả rằng, nếu chúng ta yêu cầu một
phân tích large-sample, chúng ta nên sử dụng phân phối chuẩn hóa cho suy diễn hơn là phân
phối t . Nhưng từ góc độ thực tế, cũng hợp lệ nếu viết
( ^β j −β j )
t n−k−1 (5.8 ) ,
se ( ^β j )
bởi vì phân phối t xấp xỉ phân phối chuẩn khi n tiến đến vô cùng.
Phương trình (5.8) nói ta rằng kiểm định t và sự thành lập khoản tin cậy được thực hiện
chính xác dưới những giả định CLM. Điều này có nghĩa phân tích biến độc lập của chúng ta
không bị thay đổi chút nào nếu những giả định Gauss-Markov được giữ.
Nếu kích thước mẫu không đủ lớn, vậy phân phối N là một xấp xỉ không tốt cho thống kê t
khi sai số u không có phân phối chuẩn
σ^
2
^ ^
Khi u không có phân phối chuẩn, Var ( β j ) = 2 đôi khi được gọi là asymptoptic
SS T j ( 1−R j )
standard error, và phân phối t được gọi là asumptotic t stastistic.
Sử dụng lập luận trước đó về phương sai ước lượng, ta có thể viết:
cj
se ( β^ j ) ≈ ,(5.10)
√n
Với:
σ
c j= ,
σ j √ 1−ρ2j
Phương trình (5.10) chỉ là một xấp xỉ, nhưng nó mang đến một quy tắc dễ nhớ: sai số ước
lượng được kỳ vọng giảm với tốc độ căn bậc hai tốc độ kích thước mẫu.
Chúng ta muốn kiểm định rằng liệu q biến độc lập phía sau có hệ số tổng thể bằng không:
H 0 : β k−q−1=0 , … , β k =0 ,
Thống kê LM chỉ yêu cầu ước lượng của restricted model. Giả sử chúng ta đã chạy hồi quy:
~ ~ ~
y= β 0 + β 1 x 1 +…+ βk −q x k−q + ~
u,
Nếu biến bị bỏ sót x k−q +1 tới x k đúng là có hệ số tổng thể bằng không, vậy, xấp xỉ tối thiểu, ~
u
nên là không tương quan với bất kỳ biến nào trong mẫu. Điều này gợi ý chạy hồi quy của phần
dư lên những biến độc lập được loại bỏ này, điều gần như là việc kiểm định LM làm. Tuy nhiên,
để có được thống kê kiểm định, chúng ta phải bảo gồm tất cả biến độc lập trong hồi quy (bởi vì
những biến bị loại bỏ có tương quan với biến con lại trong restricted model). Chúng ta chạy hồi
quy của: ~
u lên x 1 , x 2 , … , x k ,
Đây là ví dụ cho hồi quy phù trợ, một hồi quy dùng để tính một thống kê nhưng có hệ số không
phải là hệ số đang được quan tâm.
Chúng ta sẽ dùng kết quả hồi quy này để kiểm định H 0 thế nào? Nếu H 0 đúng, R−bìnhcủa
hồi quy phù trợ nên “gần” với không. Câu hỏi như mọi khi kiểm định giả thiết, thống kê lớn đến
mức nào thì có thể bác bỏ H 0 với một mức ý nghĩa được chọn trước. Hóa ra rằng, dưới H 0, kích
thước mẫu nhân với R−bình từ hồi quy phù trợ có phân phối tiệm cận như là mẫu ngẫu nhiên
phân phối chi-bình phương với q bậc tự do. Điều này dẫn tới quá trình đơn giản để kiểm định
joint significance của tập q biến độc lập.
~
Ước lượng OLS có phương sai tiệm cận nhỏ nhất Avar √ n ( ^β j−β j ) ≤ Avar √ n ( β j−β j ).
Chapter 6: Phân tích hồi quy bội: các vấn đề khác.
Chương này mang nhiều vấn đề ra cùng một lúc trong phân tích hồi quy bội mà chúng ta chưa
thể tìm hiểu ở những chương trước. Những chủ đề này không là trọng tâm của chương 3,4,
nhưng nó quan trọng khi áp dụng hồi quy bội trong thực tế.
Ban đầu, đơn vị của bwght là ounces, ta muốn đổi đơn vị thành pound, ta chia 2 vế phương
trình cho 16:
bwght /16= ^β 0 /16+( ^β ¿ ¿1 /16)cigs+( ^β ¿ ¿ 2/16)faminc .¿ ¿
^
Điểm đáng chú ý ở đây là, sau các biến độc cũng được “chuyển đổi đơn vị” theo biến phụ
thuộc, chúng ta có các hệ số ước lượng chính xác bằng kết quả ước lượng ban đầu, không cần
quan tâm biến phụ thuộc được đo bằng đơn vị nào.
Vậy còn ý nghĩa thống kê thì sao? Như chúng ta kỳ vọng, thay đội biến phụ thuộc từ ounces
sang pound không các ảnh hưởng lên mức quan trọng thống kê của những biến độc lập. Sai số
chuẩn sẽ nhỏ hơn 16 lần sai số ban đầu. Một vài tính toán nhanh chóng chỉ ra rằng thống kê t
trong mô hình thay đổi đơn vị giống với thống kê t của mô hình gốc. Hai điểm đầu mút của
khoảng tin cậy sau sẽ bằng khoảng tin cậy trước chia cho 16.
SSR của mô hình gốc bằng 162 lần SSR của mô hình đổi đơn vị, nhưng R−bình không đổi.
Sai số chuẩn SER của mô hình chuyển đổi đơn vị nhỏ bằng 1/16 SER của mô hình gốc,
nhưng lưu ý rằng chúng ta không thể giảm sai số mô hồi quy bằng cách đổi đơn vị, sai số chỉ
phẩn ánh sự khác biệt trong đơn vị đo.
Nếu ta không chuyển đơn vị của biến phụ thuộc mà chuyển đơn vị của biến độc lập thì sao?
Ta đổi đơn vị của cigs từ số điếu thuốc hút một ngày thành số gói thuốc hút một ngày, mô hình
có thể được viết:
Ta thấy rằng hệ số trên (cigs/20) là 20 lần ^β 1, sai số của ^β 1 sẽ tăng 20 lần, nên thống kê t không
đổi.
Trong chương 2, chúng ta lập luận rằng, nếu biến phụ thuộc xuấ hiện dưới dạng loga, thay
đổi đơn vị không ảnh hưởng đến hệ số góc, chỉ thay đổi hệ số chặn.
6-1a Hệ số Beta
Đôi khi, trong kinh tế lượng ứng dụng, biến trọng yếu được đó lường on a scale mà khó để diễn
giải. Nhà kinh tế thường bao gồm điểm kiểm tra vào phương trình wage, và đơn vị những kiểm
tra đó được tính điểm thường là nhị phân. Trong hầu hết các trường hợp, chúng ta quan tâm
đến cách điểm của một cá nhân cụ thể so sánh với tổng thể. Vậy nên, thay vì hỏi về tác động
trên lương theo giờ, ví dụ, một điểm kiểm tra là lớn hơn 10 điểm, có ý nghĩa hơn nếu hỏi điều gì
xảy ra nếu điểm kiểm tra có một độ lệch chuẩn lớn hơn.
Không có gì ngăn chúng ta xem điều gì xảy ra với biến phụ thuộc khi một biến độc lập trong
mô hình ước lượng tăng một lượng bằng số lần độ lệch chuẩn, giả sử chúng ta đã có độ lệch
chuẩn mẫu của biến phụ thuộc. Ví dụ, chúng ta tìm tác động của điểm kiểm tra chuẩn hóa, như
là điểm SAT, hay GPA, chúng ta có thể tìm độ lệch chuẩn của SAT và xem là điều gì xảy ra khi
điểm SAT thay đổi một hoặc hai lần độ lệch chuẩn.
Đôi khi sẽ có ích để tính kết quả hồi quy khi tất cả biến được cho vào, tất cả các biến đều
được chuẩn hóa. Giả sử mô hình hồi quy gốc:
y i= β^ 0 + ^β 1 x i 1 + ^β 2 x i 2+ …+ ^β k x ik + u^ i ,
( y i− y ) / σ^ y =( σ^ 1 / σ^ y ) [ ^β1 ( x i 1−x 1) / σ^ 1 ] +…
+ ( σ^ k / σ^ y ) [ ^β k ( x ik −x k ) / σ^ k ]+ ( u^ i / σ^ y ) .
z y =b^ 1 z 1 + b^ 2 z 2 …+ b^ k z k + error ,
b^ j=( σ^ j / σ^ y ) ^β j
Hệ số beta có ý nghĩa thú vị từ phương trình z-score: nếu x 1 tăng một độ lệch chuẩn, vậy ^y
sẽ thay đổi b^ 1 độ lệch chuẩn. Vậy, chúng ta đang đo lường tác động thay đổi không phải theo
đơn vị của biến nào, nhưng theo đơn vị độ lệch chuẩn
Kết quả ước lượng ^β 2=0.306 hóa ra không chính xác cho trường hợp này bởi vì khi thay đổi
trong log ( y ) trở nên càng lớn, tính xấp xỉ %Δy=100. Δlog ( y ) càng kém chính xác. Rất may,
một phép tính đơn giản có sẵn cho ta tính chính xác phần trăm thay đổi.
Chúng ta sẽ mô tả quá trình này:
^
log ( y )= ^β0 + β^ 1 log ( x 1) + ^β2 x 2 .
Nếu cố định x 1, ta có ^
Δ log ( y )= ^β 2 Δ x 2, bằng tính chất đại số, ta có một phép tính chính xác:
%Δ ^y =100 [ ⅇ −1 ] ,
( ^β2 Δ x2 )
%Δ ^y =100 [ ⅇ −1 ] ,
^β2
quá quan trọng trong những trường hợp thay đổi phần trăm nhỏ. Nhưng khi thay đổi phần
trăm là lớn, sự khác biệt sẽ càng rõ rệt.
Tính xấp xỉ logarithmic với thay đổi phần trăm có một ưu điểm là đánh giá báo cáo của nó kể
cả khi thay đổi phần trăm là lớn. Ví dụ trong ví dụ giá nhà, ta tính được từ công thức xấp xỉ và
chính xác cho thay đổi phần trăm của giá nhà lần lượt là 30.6% và 35.8%. Nhưng nếu chúng ta
muốn ước lượng phần trăm thay đổi khi giảm số phòng đi 1? Với công thức chính xác ta biết
phần trăm house pricing giảm 26.4%. Nói cách khác, bằng cách đơn giản nhân hệ số cho 100
cho ta một ước lượng luôn nằm giữa giá trị chắc chắn của ước lượng cho một lượng tăng và
giảm. Nếu chúng ta quan tâm đặc biệt đến lượng tăng hoặc giảm, chúng ta có thể dùng phép
tính chính xác.
Có một vài quy tắc cho việc sử dụng logs, mặc dù nó không chính thống. Khi môt biến là số
tiền dương (dollar, euro, pound,…) thường được dùng hàm log. Chúng ta cũng thấy điều tương
tự cho các biến tiền lương, thu nhập, doanh thu, giá trị thị trường. Những biến như dân số,
tổng người lạp động, cư dân thành phó thường xuất hiện dưới dạng logarithmic .
6-2b Mô hình với biến bậc hai.
Mô hình:
2
y=β 0 + β 1 x + β 2 x +u ,
^y = β^ 0 + β^ 1 x + β^ 2 x 2
Δ ^y =( β^ 1 +2 β2 x ) Δx
Phương trình này nói rằng quan hệ giữa x và y phụ thuộc vào giá trị của x . Nếu ta chỉ quan tâm
tới việc tính toán thay đổi trong y với giá trị cho trước của x và thay đổi của x , ta có thể sử
dụng phương trình này. Tuy nhiên, ta thường lại quan tâm tới việc tổng hợp nhanh tác động
của x lên y . Thông thường, chúng ta có thể thay giá trị trung bình của x trong mẫu, hoặc các giá
trị thú vị khác, như trung vị hay các giá trị tứ phân vị.
Trong phương trình ước lượng với ^β 1> 0 và β 2 <0, điểm chuyển đổi (đáy parabol, the turning
point) luôn được tính bằng:
x ¿=|^β 1 ∕ 2 β^ 2|
Trong phương trình wage, exper, điểm chuyển đổi là exper=24.4 years , có nghĩa là lợi suất
của kinh nghiệm bằng không với 24.4 năm. Chúng ta có thể suy ra được thêm gì? Có ít nhất 3
giải thích có thể: Thứ nhất, có thể có ít số người trong mẫu có kinh nghiệm nhiều hơn 24.4
năm, vậy thì phần bên phải đường parabol có thể bỏ qua. Một nhược điểm khi dùng hàm bậc là
là phải bỏ qua phần quay ngược lại của hàm. Nếu điểm này nằm vượt qua hầu hết các điểm
trong mẫu trừ một số nhỏ phần trăm, nó không ảnh hưởng gì nhiều. Nhưng nếu phần trăm
quoay ngược dấu hiệu mẫu là quá cao thì không thể bỏ qua.
Không có giả định nào của hồi quy đơn yêu cầu R2phải lớn trên một giá trị nào, R2đơn giản là
một ước lượng độ biến thiên của y được giải thích bao nhiêu bởi các x trong tổng thể. Chúng ta
đã thấy nhiều biến hồi quy có R2 khá thấp. Mặc dù điều này có nghĩa là ta đã bỏ qua nhiều nhân
tố tác động đến y , điều này không có nghĩa là những nhân tố trong u có tương quan với các
biến độc lập. Giả định MLR.4 là điều xác định chúng ta có ước lượng không chệch của tác động
ceteris paribus của biến độc lập, và độ lớn của R2không ảnh hưởng gì đến nó.
Một R2 chỉ ra rằng phương sai của sai số là lớn liên quan đến sai số của y , có nghĩa là chúng
ta có thể khó khăn để xác định chính xác β j .Nhưng nhớ lại trong phần 3.4 rằng một phương sai
sai số lớn có thể bù lại bằng một mẫu lớn: nếu chúng ta có đủ dữ liệu, chúng ta có thể ước
lượng chính xác tác động một phần của mặc dù chúng ta không kiểm soát được các biến nhân
tố không qua sát được khác. Chúng ta có thể có ước lượng chính xác hay không tùy thuộc vào
trường hợp cụ thể. Ví dụ, giả sử những sinh viên sắp tới học tại một trường đại học lớn ngẫu
nhiên sử dụng tiền trợ cấp để mua thiết bị máy tính. Nếu số tiền trợ cấp là ngẫu nhiên, chúng ta
có thể ước lượng tác động ceteris paribus của lượng tiền trợ cấp và điểm trung bình GPA của
sinh viên bằng phân tích hồi quy đơn. (những nhân tố khác tác động đến GPA không tương
quan với lưỡng tiền trợ cấp). Có vẻ lượng tiền trợ cấp sẽ giải thích được một phần nhỏ sự biến
thiên của GPA, R2 sẽ nhỏ, nhưng nếu chúng ta có, chúng ta sẽ có cơ sở ước lượng đúng tác
động của lượng tiền trợ cấp.
Nhớ rằng, mặc dù, thay đổi liên quan đến R2 khi biến độc lập được thêm vào một phương
trình là rất hữu dụng: thống kê F khi kiểm định joint significant nhất thiết dựa trên khác biệt
của R2 của resticted model và unrestricted model.
Một hệ quả của R2 thấp là việc dự đoán sẽ khó khăn. Bởi vì độ biến thiên của y phần lớn
được giải thích bằng các nhân tố không quan sát được trong u, chúng ta nhìn chúng sẽ khó khăn
để dự đoán y khi có β j . Về cơ bản, phần lớn các nhân tố giải thích y không được đưa ra trong
các biến giải thích.
Ta có thể viết:
2
R =1−(SSR/n)/(SST /n)
Ký hiệu cho phương sai tổng thể của y là σ 2y và phương sai tổng thể của phần sai số u là σ 2u.
R−bình tổng thể được định nghĩa là ρ2=1−σ 2u ∕ σ 2y
2
R =1−¿
Một hấp dẫn trước hết của R2 là nó áp một penalty khi thêm một biến độc lập vào một mô
hình. Chúng ta biết rằng R2 không bao giờ giảm trong những trường hợp như vậy.
Có một sự thật là: nếu chúng ta thêm một biến độc lập mới vào phương trình, R2 tăng khi và
chỉ khi thống kê t trên biến mới đó lớn hơn một. (một mở rộng của nó là R2 tăng khi thêm một
nhóm biến vài mô hình nếu và chỉ nếu thống kê F trên biến mới đó lớn hơn một). Vậy chúng
thấy ngay rằng sử dụng R2 để quyết định liệu một (hay một nhóm) biến độc lập có nên thêm
vào mô hình không cho ta một câu tra lời khác so với kiểm định t và F . R−bình điều chỉnh còn
có công thức như sau:
^y = β^ 0 + β^ 1 x 1 ++ ^β 2 x 2 +…+ β^ k x k
Khi ta thay vào những giá trị cụ thể của các biến độc lập, ta được giá trị dự báo của y . Ta sẽ ký
hiệu giá trị dự báo của y ứng với các giá trị cụ thể của các biến độc lập c 1 , … , ck là θ0 :
θ0 =β 0+ β1 c 1+ β2 c 2+ …+ β k c k
¿ E ( y| x 1=c 1 , x 2=c 2 , … , x k =c k )
Giá trị này có thể được tính dễ dàng, nhưng nếu chúng ta muốn có một con số đo lường sự
không chắc chắn của giá trị dự báo này thì sao? Chúng ta một cách tự nhiên sẽ muốn lập một
khoảng tin cậy cho θ0 , khoảng chứa θ^ 0 và nhận θ^ 0 là trung tâm.
Đầu tiên ta cần một phương sai sai số của θ^ 0 .Vậy, với một df lớn, chúng ta có thể lập một
khoảng tin cậy 95% với quy tắc θ^ 0 ± 2 se ( θ^ 0 ). (chúng ta dùng các phần trăm chính xác trong phân
phối xác suất t ).
Và có:
y=θ 0 + β 1 ( x 1−c 1 ) + β 2 ( x 2−c 2) + …+ β k ( x k −c k ) +u ,
Bằng cách chạy hồi quy phương trình trên, hệ số chặn hồi quy sẽ là tổng của θ0 +u .
Chúng ta gọi tên biến giả như nào không quan trọng khi sử dụng nó trong hồi quy, nhưng nó
luôn có ích để làm rõ các phương trình và phép tính.
Tại sao chúng ta lại dùng giá trị không và một? Trong một ý nghĩa, những giá trị này là tùy ý: bất
kỳ hai giá trị nào cũng như vậy. Lợi ích thật sự của việc gắn thông tin định tính sử dụng biến
không-một chính là nó dẫn ta tới mô hình hồi quy mà tham số có diễn giải rất tự nhiên.
Chúng ta sẽ gắn thông tin nhị phân vào mô hình hồi quy như nào? Với chỉ một biến giải thích
giả, chúng ta sẽ thêm nó vào như một biến độc lập trong phương trình. Ví dụ:
Trong mô hình một biến giả và một biến độc lập định lượng. Tham số δ 0 sẽ có giải thích như
sau: δ 0 là sự khác biệt trong lương theo giờ giữa nam và nữ, giữ các yếu tố khác không đổi.
Tương tự đối với mô hình một biến giả và nhiều biến độc lập định lượng. Không có khác biệt
trong hồi quy OLS đối với biến giả, sự khác biệt duy nhất chỉ là cách diễn giải