Chuong8 - Tuong Quan Va Hoi Quy2022 - SV

XSTK XSTK
N.T. M. Ngọc N.T. M. Ngọc Phân tích hồi quy

1. Giới thiệu
2. Mô hình
hồi quy tuyến
tính đơn
Bài toán: trong các hoạt động về khoa học - kỹ thuật, kinh tế, xã
Chương 8: Tương quan và hồi quy 2.1 Mô hình hồi quy hội, . . . ta có nhu cầu xác định mối liên giữa hai hay nhiều biến ngẫu
tuyến tính đơn
2.2 Ước lượng các hệ nhiên với nhau. Ví dụ:
số hồi quy
2.3 Độ đo sự biến
thiên của dữ liệu • Mối liên hệ giữa chiều cao và cỡ giầy của một người, từ đó một
2.4 Hệ số xác định
Ước lượng phương
cửa hàng bán giầy dép có thể xác định chính xác cỡ giầy của
sai σ 2 của sai số
2.5 Tính chất của
một khách hàng khi biết chiều cao,
các ước lượng BPBN
2.6 Khoảng tin cậy • Độ giãn nở của một loại vật liệu theo nhiệt độ môi trường,
Nguyễn Thị Mộng Ngọc cho hệ số hồi quy
2.7 Dự đoán giá trị
University of Science, VNU - HCM quan trắc mới • Doanh thu khi bán 1 loại sản phẩm và số tiền chi cho quảng
3.Tương quan cáo và khuyến mãi,
ngtmngoc@hcmus.edu.vn
4. Mô hình
hồi quy tuyến • ...
tính bội
Để giải quyết các vấn đề trên, ta sử dụng kỹ thuật phân tích hồi quy
(Regression Analysis).
XSTK XSTK
N.T. M. Ngọc Phân tích hồi quy N.T. M. Ngọc Phân tích hồi quy
1. Giới thiệu 1. Giới thiệu
2. Mô hình 2. Mô hình
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
• Mối liên hệ giữa X1 , . . . , Xp và Y được biểu
2.1 Mô hình hồi quy
tuyến tính đơn
• Phân tích hồi quy được sử dụng để xác định
tuyến tính đơn diễn bởi một hàm tuyến tính.
2.2 Ước lượng các hệ 2.2 Ước lượng các hệ
số hồi quy
thiên của dữ liệu
mối liên hệ giữa:
số hồi quy
• Sự thay đổi trong Y được giả sử do những
• một biến phụ thuộc Y (biến đáp ứng), và
thay đổi trong X1 , . . . , Xp gây ra.
• Trên cơ sở xác định mối liên hệ giữa biến phụ
2.5 Tính chất của 2.5 Tính chất của
2.6 Khoảng tin cậy
• một hay nhiều biến độc lập X1 , X2 , . . . , Xp ; các ước lượng BPBN
cho hệ số hồi quy cho hệ số hồi quy
quan trắc mới
các biến này còn được gọi là biến giải thích. 2.7 Dự đoán giá trị
quan trắc mới
thuộc Y và các biến giải thích X1 , X2 , . . . , Xp ,
3.Tương quan • Biến phụ thuộc Y phải là biến liên tục, 3.Tương quan ta có thể:
4. Mô hình • Các biến độc lập X1 , X2 , . . . , Xp có thể là biến liên tục, rời 4. Mô hình
hồi quy tuyến
tính bội rạc hoặc phân loại. hồi quy tuyến
tính bội
• dự đoán, dự báo giá trị của Y ,
• giải thích tác động của sự thay đổi trong các
biến giải thích lên biến phụ thuộc.
XSTK XSTK
N.T. M. Ngọc Mô hình hồi quy tuyến tính đơn N.T. M. Ngọc Mô hình hồi quy tuyến tính đơn
hồi quy tuyến
tính đơn
Định nghĩa hồi quy tuyến
tính đơn
tuyến tính đơn
Một mô hình hồi quy tuyến tính đơn liên quan đến một biến ngẫu 2.1 Mô hình hồi quy
tuyến tính đơn
2.2 Ước lượng các hệ nhiên Y và một biến giải thích x là phương trình: 2.2 Ước lượng các hệ
số hồi quy
số hồi quy
Trong mô hình (1), sự thay đổi của Y được sử
2.4 Hệ số xác định Y = β0 + β1 x + ε (1) 2.4 Hệ số xác định
dụng bởi:
Ước lượng phương Ước lượng phương
sai σ 2 của sai số sai σ 2 của sai số
Varepsilon 2.5 Tính chất của
các ước lượng BPBN • Mối liên hệ tuyến tính của X và Y: β0 + β1 x ;
trong đó, 2.6 Khoảng tin cậy
• Tác động của các yếu tố khác (không phải

2.7 Dự đoán giá trị 2.7 Dự đoán giá trị
quan trắc mới
• β0 và β1 là các tham số chưa biết (được gọi lần lượt là hệ số quan trắc mới
3.Tương quan
chặn (intercept) và hệ số góc (slope) của đường thẳng hồi quy); 3.Tương quan X): thành phân sai số ε.
hồi quy tuyến • Y là biến phụ thuộc và x là biến độc lập; hồi quy tuyến
tính bội tính bội
• ε là thành phần sai số,

ε được giả sử có phân phối chuẩn N (0, σ 2 ).
XSTK XSTK
N.T. M. Ngọc Mô hình hồi quy tuyến tính đơn N.T. M. Ngọc Các giả định về sai số ngẫu nhiên
1. Giới thiệu Từ mẫu ngẫu nhiên ((X1 , Y1 ), ..., (Xn , Yn )) ta có n cặp giá trị quan 1. Giới thiệu
2. Mô hình trắc (x1 , y1 ), ..., (xn , yn ). Mô hình hồi quy tuyến tính đơn của mẫu là 2. Mô hình • Các sai số ngẫu nhiên εi trong mô hình (2) được giả sử
hồi quy tuyến hồi quy tuyến
tính đơn tính đơn thỏa các điều kiện sau:
Yi = β0 + β1 xi + εi , với i = 1, 2, ..., n (2)
tuyến tính đơn
tuyến tính đơn • Các sai số εi độc lập với nhau,
2
2.2 Ước lượng các hệ
trong đó, (εi ) i.i.d. ∼ N (0, σ ). 2.2 Ước lượng các hệ
số hồi quy
số hồi quy
• E(εi ) = 0 và Var (εi ) = σ 2 ,
thiên của dữ liệu thiên của dữ liệu
Ước lượng phương Đồ thị phân tán của n cặp giá trị quan sát (xi , yi ), i = 1, 2, ..., n.
• Các sai số có phân phối chuẩn: εi ∼ N (0, σ 2 ) và có
2.5 Tính chất của 2.5 Tính chất của phương sai không đổi.
các ước lượng BPBN các ước lượng BPBN
cho hệ số hồi quy
• Với quan trắc x đã biết,
quan trắc mới quan trắc mới
3.Tương quan 3.Tương quan E(Y |x ) = β0 + β1 x (3)

hồi quy tuyến
tính bội
hồi quy tuyến
tính bội
• Từ (3) ta có
Y ∼ N (β0 + β1 x , σ 2 ) (4)
XSTK XSTK
N.T. M. Ngọc Ước lượng các hệ số hồi quy N.T. M. Ngọc Phương pháp bình phương bé nhất
1. Giới thiệu 1. Giới thiệu (PPBPBN)
Với dữ liệu (xi , yi ), i = 1, . . . , n, ta có
• Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1 .
tính đơn tính đơn
2.1 Mô hình hồi quy 2.1 Mô hình hồi quy
tuyến tính đơn tuyến tính đơn ŷi = β̂0 + β̂1 xi
số hồi quy
• Đường thẳng hồi quy với các hệ số ước lượng 2.2 Ước lượng các hệ
số hồi quy
2.3 Độ đo sự biến 2.3 Độ đo sự biến
Ta định nghĩa thặng dư (residual) thứ i:
(fitted regression line): thiên của dữ liệu
sai σ 2 của sai số ei = yi − ŷi = yi − (β̂0 + β̂1 xi ) (6)
Ŷ = βˆ0 + βˆ1 x (5) 2.5 Tính chất của
quan trắc mới
• Một đường thẳng ước lượng tốt phải "gần với quan trắc mới
Tổng bình phương sai số (Sum of Squares for Errors - SSE) hay tổng
3.Tương quan 3.Tương quan bình phương thặng dư cho n điểm dữ liệu được định nghĩa như sau
4. Mô hình các điểm dữ liệu". 4. Mô hình
hồi quy tuyến hồi quy tuyến n n h i2
• Tìm βˆ0 và βˆ1 : dùng phương pháp bình
X X
SSE = ei2 = yi − (β̂0 + β̂1 xi ) (7)
i=1 i=1
phương bé nhất (method of least squares).
Nội dung của PPBPBN là tìm các ước lượng βˆ0 và βˆ1 sao cho SSE
đạt giá trị bé nhất.
XSTK XSTK
N.T. M. Ngọc Ước lượng bình phương bé nhất N.T. M. Ngọc Ước lượng bình phương bé nhất
Từ (7), lấy đạo hàm theo β0 và β1 và giải hệ phương trình , ta tìm

2. Mô hình
hồi quy tuyến
tính đơn được các ước lượng BPBN của β0 và β1 là
2. Mô hình
hồi quy tuyến
tính đơn
• Các ước lượng βˆ0 và βˆ1 tìm được gọi là các
tuyến tính đơn
Pn Pn 2.1 Mô hình hồi quy
tuyến tính đơn
ước lượng BPBN.
Pn ( i=1 xi )( i=1 yi )
xi yi − 2.2 Ước lượng các hệ
số hồi quy
2.3 Độ đo sự biến βˆ1 = i=1 Pn n 2 =
Sxy
(8)
số hồi quy
2.3 Độ đo sự biến • Đường thẳng ŷ = βˆ0 + βˆ1 x gọi là đường
thiên của dữ liệu Pn 2− ( xi ) Sxx thiên của dữ liệu
x
i=1 i
i=1
n
thẳng BPBN, thỏa các tính chất sau:
βˆ0 = ȳ − βˆ1 x̄ (9) sai σ 2 của sai số
(1)
các ước lượng BPBN các ước lượng BPBN n
X
(yi − ŷi )2
2.6 Khoảng tin cậy 2.6 Khoảng tin cậy
với Sxx và Sxy xác định bởi cho hệ số hồi quy SSE =
quan trắc mới quan trắc mới i=1
n n Pn 2
i=1 xi
3.Tương quan 3.Tương quan
X X đạt giá trị bé nhất,
4. Mô hình Sxx = (xi − x̄ )2 = xi2 − (10) 4. Mô hình
hồi quy tuyến n hồi quy tuyến
(2)
i=1 i=1 n n
n n Pn Pn X X
X X
i=1 xi i=1 yi SE = (yi − ŷi ) = ei = 0
Sxy = (xi − x̄ )(yi − ȳ ) = xi yi − (11) i=1 i=1
n
i=1 i=1
với SE là tổng các thặng dư (Sum of Errors).
XSTK XSTK
N.T. M. Ngọc Ví dụ : N.T. M. Ngọc Giải:

Giả sử, chi phí (triệu đồng) nghiên cứu và phát triển sản phẩm
tính đơn Chi phí (triệu đồng) nghiên cứu và phát triển sản phẩm (R&D) tính đơn
(R&D) và doanh số (tỉ đồng) có mối liên hệ tuyến tính. Khi
tuyến tính đơn và doanh số (tỉ đồng) của 10 công ty trong ngành công nghiệp tuyến tính đơn
đó, mô hình hồi quy tuyến tính đơn thể hiện mối liên hệ tuyến
số hồi quy
như sau: số hồi quy
tính giữa chi phí X và doanh số Y là
2.4 Hệ số xác định 2.4 Hệ số xác định
Công ty A B C D E G H L M N sai σ 2 của sai số Y = β0 + β1 X + ε.
2.5 Tính chất của R&D 280 300 250 400 500 150 600 300 200 250 2.5 Tính chất của
Doanh số 8 5 4 12 20 3 18 6 4 5 2.6 Khoảng tin cậy Dùng phương pháp bình phương bé nhất (OLS) để ước lượng
quan trắc mới
quan trắc mới
β0 và β1 từ mẫu dữ liệu đã cho, ta có được phương trình
3.Tương quan 3.Tương quan đường thẳng hồi quy biểu diễn mối liên hệ giữa chi phí (X) và
4. Mô hình Tìm phương trình đường thẳng hồi quy biểu diễn mối liên hệ 4. Mô hình doanh số (Y) như sau:
tính bội giữa chi phí (X) và doanh số (Y). Giải thích ý nghĩa của hệ số tính bội
Ŷ = β̂0 + β̂1 X
góc.
trong đó, β̂0 và β̂1 được tính như sau:
XSTK XSTK
N.T. M. Ngọc Giải: N.T. M. Ngọc Ví dụ khác

1. Giới thiệu n n 1. Giới thiệu
1X 3230 1X 85
2. Mô hình • x̄ = xi = = 323 ; • ȳ = yi = = 8, 5. 2. Mô hình
Một nhà thực vật học khảo sát mối liên hệ giữa tổng diện tích bề
hồi quy tuyến n 10 n 10 hồi quy tuyến
tính đơn
2.1 Mô hình hồi quy n
i=1
n
i=1 tính đơn
mặt (đv: cm2 ) của các lá cây đậu nành và trọng lượng khô (đv: g)
của các cây này. Nhà thực vật học trồng 13 cây trong nhà kính và đo
tuyến tính đơn
X X tuyến tính đơn
2.2 Ước lượng các hệ • xi yi = 34640 và • xi2 = 1215900. 2.2 Ước lượng các hệ
số hồi quy
i=1 i=1
số hồi quy tổng diện tích lá và trọng lượng của các cây này sau 16 ngày trồng,
thiên của dữ liệu n
X thiên của dữ liệu kết quả cho bởi bảng sau
xi yi − nx̄ ȳ 2.4 Hệ số xác định
sai σ 2 của sai số 34640 − 10 ∗ 323 ∗ 8, 5 sai σ 2 của sai số
2.5 Tính chất của • βˆ1 = i=1
n = = 0, 0416. 2.5 Tính chất của X 411 550 471 393 427 431 492 371 470 419 407 489 439
các ước lượng BPBN X 1215900 − 10 ∗ (323)2 các ước lượng BPBN
cho hệ số hồi quy xi2 2
− n(x̄ ) 2.6 Khoảng tin cậy
Y 2.00 2.46 2.11 1.89 2.05 2.30 2.46 2.06 2.25 2.07 2.17 2.32 2.12

quan trắc mới
i=1 quan trắc mới
3.Tương quan • βˆ0 = ȳ − βˆ1 x̄ = 8, 5 − 0, 0416 ∗ 323 = −4, 9368. 3.Tương quan (a) Vẽ biểu đồ phân tán biểu diễn diện tích lá X và trọng lượng khô
Y của cây đậu nành với mẫu quan sát đã cho.
4. Mô hình
hồi quy tuyến
Như vậy, phương trình đường thẳng hồi quy biểu diễn mối liên hệ 4. Mô hình
hồi quy tuyến
tính bội tính bội (b) Tìm đường thẳng hồi quy biểu diễn mối liên hệ giữa trọng lượng
giữa chi phí (X) và doanh số (Y) là Ŷ = −4, 9368 + 0, 0416X . Với hệ
cây Y theo diện tích lá X . Vẽ đường thẳng hồi quy tìm được
số góc βˆ1 = 0, 0416 (hệ số góc dương) nên ta có thể nói rằng khi chi trên đồ thị phân tán.
phí R&D tăng 1 triệu đồng thì doanh số tăng 0,0416 tỉ đồng.
XSTK XSTK
N.T. M. Ngọc Độ đo sự biến thiên của dữ liệu N.T. M. Ngọc Độ đo sự biến thiên của dữ liệu
2. Mô hình Gọi 2. Mô hình

tính đơn
• SST : Tổng bình phương toàn phần (Total Sum of Squares) tính đơn - SST : đo sự biến thiên của các giá trị yi xung quanh giá trị
tuyến tính đơn n
tuyến tính đơn
trung tâm của dữ liệu ȳ ,
X
(yi − ȳ )2
số hồi quy SST = số hồi quy
- SSR: giải thích sự biến thiên liên quan đến mối quan hệ tuyến
thiên của dữ liệu i=1 thiên của dữ liệu
tính của X và Y ,
sai σ 2 của sai số • SSR: Tổng bình phương hồi quy (Regression Sum of Squares) sai σ 2 của sai số - SSE : giải thích sự biến thiên của các nhân tố khác (không liên
các ước lượng BPBN các ước lượng BPBN quan đến mối quan hệ tuyến tính của X và Y ).
2.6 Khoảng tin cậy n 2.6 Khoảng tin cậy
X
2.7 Dự đoán giá trị SSR = (ŷi − ȳ )2 2.7 Dự đoán giá trị Ta có:
i=1 n n n
3.Tương quan 3.Tương quan X X X
(yi − ȳ )2 = (ŷi − ȳ )2 + (yi − ŷi )2 (12)
4. Mô hình
hồi quy tuyến
• SSE : Tổng bình phương sai số (Error Sum of Squares) 4. Mô hình
hồi quy tuyến i=1 i=1 i=1
n
X SST = SSR + SSE
SSE = (yi − ŷi )2
i=1
XSTK XSTK
N.T. M. Ngọc Độ đo sự biến thiên của dữ liệu N.T. M. Ngọc Hệ số xác định
tuyến tính đơn
tuyến tính đơn
Hệ số xác định (Coefficient of Determination) là tỷ lệ của tổng sự
số hồi quy
số hồi quy
biến thiên trong biến phụ thuộc gây ra bởi sự biến thiên của các biến
độc lập (biến giải thích) so với tổng sự biến thiên toàn phần. Hệ số
Ước lượng phương Ước lượng phương xác định thường được gọi là R - bình phương (R-squared), ký hiệu là
2.5 Tính chất của 2.5 Tính chất của R 2.
2.6 Khoảng tin cậy 2.6 Khoảng tin cậy Công thức tính:
SSR
quan trắc mới
quan trắc mới
R2 = (13)
SST
Chú ý: 0 ≤ R 2 ≤ 1.
• Hệ số xác định của một mô hình hồi quy cho phép ta đánh giá mô
hình tìm được có giải thích tốt cho mối liên hệ giữa biến phụ thuộc
Y và biến phụ thuộc X hay không.
XSTK XSTK
N.T. M. Ngọc Hệ số xác định và mối liên hệ giữa N.T. M. Ngọc Hệ số xác định và mối liên hệ giữa
1. Giới thiệu X và Y 1. Giới thiệu X và Y
tuyến tính đơn tuyến tính đơn
số hồi quy số hồi quy
XSTK XSTK
N.T. M. Ngọc Hệ số xác định và mối liên hệ giữa N.T. M. Ngọc Ước lượng phương sai σ 2 của sai số
1. Giới thiệu X và Y 1. Giới thiệu
2. Mô hình 2. Mô hình Xét mô hình

hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
Yi = β0 + β1 xi + εi , i = 1, . . . , n
2.1 Mô hình hồi quy 2.1 Mô hình hồi quy 2
tuyến tính đơn tuyến tính đơn Thành phần sai số thứ i: εi ∼ N (0, σ ). Ta cần ước lượng phương
số hồi quy
số hồi quy sai σ 2 .
thiên của dữ liệu Từ (4), ta có: Yi ∼ N (β0 + β1 xi , σ 2 ). Do đó,
sai σ 2 của sai số sai σ 2 của sai số Yi − (β0 + β1 xi )
2.5 Tính chất của 2.5 Tính chất của ∼ N (0, 1)
σ
quan trắc mới
quan trắc mới
Ta có, h i2
3.Tương quan 3.Tương quan n
X Yi − (βˆ0 + βˆ1 xi ) SSE
4. Mô hình 4. Mô hình = ∼ χ2 (n − 2)
σ2 σ2
i=1
Nên,
SSE SSE
E = n − 2 hay E = σ2
σ2 n−2
XSTK XSTK
2
N.T. M. Ngọc Ước lượng phương sai σ của sai số N.T. M. Ngọc Ước lượng phương sai σ 2 của sai số
1. Giới thiệu 1. Giới thiệu • Tìm SSE :
2. Mô hình 2. Mô hình SSE = SST − βˆ1 Sxy
SSE
hồi quy tuyến
tính đơn
Ta kết luận rằng n−2 là một ước lượng không chệch cho σ 2 . Suy ra hồi quy tuyến
tính đơn • Sai số chuẩn (Standard Error) của σ̂ 2
tuyến tính đơn
ước lượng σ̂ 2 của σ 2 được tính bởi 2.1 Mô hình hồi quy
tuyến tính đơn r
số hồi quy
số hồi quy
SSE
2 SSE SE (σ̂) =
thiên của dữ liệu σ̂ = (14) 2.3 Độ đo sự biến
thiên của dữ liệu n−2
2.4 Hệ số xác định n−2 2.4 Hệ số xác định
sai σ 2 của sai số sai σ 2 của sai số Sử dụng SE (σ̂) để đo sự biến thiên của các giá trị quan trắc y với
các ước lượng BPBN đường thẳng hồi quy.
2.6 Khoảng tin cậy Trung bình bình phương sai số (Mean Squares Error − MSE) của mô 2.6 Khoảng tin cậy
2.7 Dự đoán giá trị hình hồi quy tuyến tính đơn: 2.7 Dự đoán giá trị
3.Tương quan SSE 3.Tương quan

MSE =
4. Mô hình
hồi quy tuyến
n−2 4. Mô hình
hồi quy tuyến
Trung bình bình phương sai số chính là ước lượng không chệch cho
phương sai σ 2 của thành phần sai số của mô hình.
XSTK XSTK
N.T. M. Ngọc Tính chất của các ước lượng N.T. M. Ngọc Tính chất của các ước lượng
1. Giới thiệu BPBN 1. Giới thiệu BPBN
tính đơn Định lý tính đơn
tuyến tính đơn Xét Y = β0 + β1 x + ε là một mô hình hồi quy tuyến tính đơn với tuyến tính đơn
số hồi quy ε ∼ N (0, σ 2 ); với n quan trắc độc lập yi , i = 1, . . . , n ta có tương số hồi quy
thiên của dữ liệu ứng các sai số εi .
Trong mô hình hồi quy tuyến tính đơn, sai số
Gọi βˆ0 và βˆ1 là các ước lượng của β0 và β1 tìm được từ phương pháp
chuẩn (SE) của các ước lượng βˆ0 và βˆ1 là
bình phương bé nhất, khi đó 2.5 Tính chất của
các ước lượng BPBN các ước lượng BPBN v
(a) βˆ0 và βˆ1 tuân theo luật phân phối chuẩn.

x̄ 2  2
u
cho hệ số hồi quy u 1
SE (βˆ0 ) = + σ̂ (17)
u
quan trắc mới
(b) Kỳ vọng và phương sai của βˆ0 và βˆ1 lần lượt là quan trắc mới
t
3.Tương quan 3.Tương quan n Sxx
x̄ 2

1
v
E(βˆ0 ) = β0 , Var (βˆ0 ) = σ2 , σ̂ 2
u
hồi quy tuyến + (15) hồi quy tuyến
SE (βˆ1 ) =
u
tính bội n Sxx tính bội t
(18)
σ2 Sxx
E(βˆ1 ) = β1 , Var (βˆ1 ) = (16)
Sxx
XSTK XSTK
N.T. M. Ngọc Tính chất của các ước lượng N.T. M. Ngọc 2.6 Khoảng tin cậy cho hệ số hồi
1. Giới thiệu BPBN 1. Giới thiệu quy
• Xét đường thẳng hồi quy:
Ŷ = βˆ0 + βˆ1 x
số hồi quy
Định lý Gauss - Markov số hồi quy
Xét mô hình hồi quy tuyến tính đơn 2.4 Hệ số xác định
2
• Vì βˆ1 ∼ N β1 , Sσxx , đặt
2.6 Khoảng tin cậy Y = β0 + β1 x + ε 2.6 Khoảng tin cậy βˆ1 − β1
cho hệ số hồi quy cho hệ số hồi quy Z1 = √ ∼ N (0, 1)
quan trắc mới
quan trắc mới
σ/ Sxx
3.Tương quan có βˆ0 và βˆ1 là các ước lượng BPBN cho β0 và 3.Tương quan
• Do SSE
độc lập với βˆ1 và SSE
∼ χ2 (n − 2) nên
β1 , khi đó βˆ0 và βˆ1 là các ước lượng không chệch
4. Mô hình 4. Mô hình σ2 σ2
tính bội tính bội Z1
tốt nhất. Tβ1 = q
(SSE /σ 2 )
∼ t(n − 2)
n−2
XSTK XSTK
N.T. M. Ngọc Khoảng tin cậy cho hệ số hồi quy N.T. M. Ngọc Khoảng tin cậy cho hệ số hồi quy
x̄ 2
tính đơn tính đơn • Tương tự, vì βˆ0 ∼ N β0 , n1 + Sxx σ 2 , đặt
tuyến tính đơn
• Đặt tuyến tính đơn
n h
số hồi quy
SSE 1 X i2 số hồi quy
βˆ − β0
thiên của dữ liệu MSE = = yi − (βˆ0 + βˆ1 xi ) 2.3 Độ đo sự biến
thiên của dữ liệu Z0 = q0 ∼ N (0, 1)
n−2 n−2 2.4 Hệ số xác định
2
σ n1 + Sx̄xx
i=1
2.5 Tính chất của MSE gọi là trung bình bình phương sai số (Mean Square Error). Khi 2.5 Tính chất của
2.6 Khoảng tin cậy đó
• Do βˆ0 và SSE độc lập nên ta có
βˆ1 − β1 cho hệ số hồi quy
quan trắc mới Tβ1 = q (19) 2.7 Dự đoán giá trị
quan trắc mới
Z0 βˆ0 − β0
MSE Tβ0 = q =r (20)
3.Tương quan Sxx 3.Tương quan
(SSE /σ 2 )

x̄ 2
4. Mô hình 4. Mô hình n−2 MSE n1 + Sxx
hồi quy tuyến Tβ1 có phân phối Student với n − 2 bậc tự do. hồi quy tuyến
Tβ0 có phân phối Student với n − 2 bậc tự do.

XSTK XSTK
N.T. M. Ngọc Khoảng tin cậy cho hệ số hồi quy N.T. M. Ngọc Dự đoán giá trị quan trắc mới
1. Giới thiệu
2. Mô hình
1. Giới thiệu
2. Mô hình
• Giả sử với giá trị x0 , ta cần dự đoán giá trị
hồi quy tuyến • Khoảng tin cậy 100(1 − α)% cho β1 : hồi quy tuyến
quan trắc Y0 trong tương lai tương ứng với x0
bằng bao nhiêu. Từ mô hình hồi quy, ta có
r r
tuyến tính đơn
ˆ n−2 MSE ˆ n−2 MSE tuyến tính đơn
số hồi quy
β1 − t1−α/2 ≤ β1 ≤ β1 + t1−α/2 (21) 2.2 Ước lượng các hệ
số hồi quy
Sxx Sxx 2.3 Độ đo sự biến
• Khoảng tin cậy 100(1 − α)% cho β0 :
2.4 Hệ số xác định Ŷ0 = βˆ0 + βˆ1 x0 (23)
Ŷ0 là một ước lượng điểm của giá trị quan trắc
s s
2 x̄ 2

ˆ n−2 1 x̄ ˆ n−2 1 2.6 Khoảng tin cậy
cho hệ số hồi quy β0 −t1−α/2 MSE + ≤ β0 ≤ β0 +t1−α/2 MSE + cho hệ số hồi quy
quan trắc mới
n Sxx n Sxx 2.7 Dự đoán giá trị
quan trắc mới
mới Y0 .
3.Tương quan
(22) 3.Tương quan
4. Mô hình
với 4. Mô hình
• Cần tìm khoảng tin cậy cho Y0 .
tính bội - n = số cặp giá trị quan trắc (xi , yi ); tính bội • Cho trước giá trị x0 , cần phân biệt rõ khoảng
n−2
- t1−α/2 là phân vị mức 1 − α/2 của biến ngẫu nhiên t(n − 2). tin cậy giữa trung bình của biến ngẫu nhiên Y là
µY |x0 và khoảng tin cậy của giá trị quan trắc
thực sự của Y tương ứng với x0 .
XSTK XSTK
N.T. M. Ngọc Dự đoán giá trị quan trắc mới N.T. M. Ngọc Dự đoán giá trị quan trắc mới
• Đặt
tính đơn tính đơn η = Y0 − Ŷ0
2.2 Ước lượng các hệ 2.2 Ước lượng các hệ Vì Y0 và Ŷ0 có phân phối chuẩn nên η có phân phối chuẩn với kỳ
2.3 Độ đo sự biến 2.3 Độ đo sự biến vọng và phương sai là
E(η) = E(Y0 ) − E(Ŷ0 ) = 0
1 (x̄ − x0 )2

2 2
2.6 Khoảng tin cậy 2.6 Khoảng tin cậy Var (η) = Var (Y0 ) + Var (Ŷ0 ) = σ + σ +
cho hệ số hồi quy cho hệ số hồi quy n Sxx
1 (x̄ − x0 )2 2

3.Tương quan 3.Tương quan = 1+ + σ
n Sxx
tính bội tính bội Do đó,
1 (x̄ − x0 )2 2

η ∼ N 0, 1 + + σ
n Sxx
XSTK XSTK
N.T. M. Ngọc Dự đoán giá trị quan trắc mới N.T. M. Ngọc Dự đoán giá trị quan trắc mới
2. Mô hình
hồi quy tuyến • Và, 2. Mô hình
hồi quy tuyến
tuyến tính đơn
Ŷ0 − Y0
tuyến tính đơn
• Khoảng tin cậy 100(1 − α)% cho giá trị dự báo
∼ N (0, 1)
số hồi quy
Z= s số hồi quy
mới Y0 ứng với một giá trị x0 cho trước là
(x̄ −x0 )2
σ 2 1 + n1 +
Sxx Ước lượng phương
r h
1 (x̄ − x0 )2
i r h
1 (x̄ − x0 )2
i
sai σ 2 của sai số sai σ 2 của sai số n−2 n−2
Ŷ0 −t1−α/2 MSE 1 + + ≤ Y0 ≤ Ŷ0 +t1−α/2 MSE 1 + +
2.5 Tính chất của 2.5 Tính chất của n Sxx n Sxx
2 2 SSE
cho hệ số hồi quy • Nếu ta thay thế σ bởi σ̂ = MSE = n−2 , thu 2.6 Khoảng tin cậy
với
(25)

quan trắc mới
được quan trắc mới
n−2
- t1−α/2 là phân vị mức 1 − α/2 của t(n − 2),
SSE
4. Mô hình 4. Mô hình - MSE = n−2 .
hồi quy tuyến Ŷ0 − Y0 hồi quy tuyến
tính bội
T = s ∼ t(n − 2) (24) tính bội
1 (x̄ −x0 )2
MSE 1 + + n Sxx
XSTK XSTK
N.T. M. Ngọc Ví dụ: dự đoán giá trị của quan N.T. M. Ngọc Ví dụ khác
1. Giới thiệu sát mới 1. Giới thiệu Các cặp giá trị quan sát của mẫu 10 nhà hàng được tóm tắt trong
2. Mô hình 2. Mô hình bảng sau:
số hồi quy
Trở lại ví dụ "mức chi phí R&D" của các công ty trước đó, giả 2.2 Ước lượng các hệ
số hồi quy
sử ta quan tâm đến mức chi phí R&D là 350 triệu đồng thì 2.3 Độ đo sự biến
doanh số tương ứng sẽ là bao nhiêu? 2.4 Hệ số xác định
Ta có, xn+1 = 350, nên ta thay vào phương trình đường thẳng 2.5 Tính chất của
2.6 Khoảng tin cậy hồi quy tuyến tính mẫu ta được: 2.6 Khoảng tin cậy
ŷn+1 = β̂0 + β̂1 xn+1 = −4, 9368 + 0, 0416 ∗ 350 = 9, 6232.
hồi quy tuyến Như vậy, khi chi phí R&D ở mức 350 triệu đồng, doanh số hồi quy tuyến
tính bội tính bội Tìm phương trình đường thẳng hồi quy (ước lượng) biểu diễn mối
được ước lượng là khoảng 9,6232 tỷ đồng.
liên hệ giữa doanh số Y theo số lượng sinh viên X . Giải thích ý nghĩa
của hệ số góc. Sau đó, dự đoán doanh số bán theo quý của một nhà
hàng được đặt gần một trương với 16 000 sinh viên?
XSTK XSTK
N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Gợi ý giải:

Dựa vào dữ liệu mẫu, ta tính:
2. Mô hình n n 2. Mô hình
hồi quy tuyến 1X 1X hồi quy tuyến
tính đơn • x̄ = xi = 14 ; • ȳ = yi = 130 tính đơn
n n
2.1 Mô hình hồi quy i=1 i=1 2.1 Mô hình hồi quy
n n
X X
số hồi quy
• xi yi = 21040 và • xi2 = 2528. số hồi quy
i=1
n
i=1 thiên của dữ liệu
Với hệ số góc βˆ1 = 5 > 0, có nghĩa là khi số sinh viên tăng lên,
X Ước lượng phương
sai σ 2 của sai số xi yi − nx̄ ȳ sai σ 2 của sai số
doanh số cũng tăng lên. Chúng ta có thể kết luận rằng, sự gia
• βˆ1 = i=1
n = ... = 5 các ước lượng BPBN
2.6 Khoảng tin cậy tăng số lượng sinh viên thêm 1 đơn vị (1000 người) sẽ tương
X cho hệ số hồi quy
2.7 Dự đoán giá trị xi2 − n(x̄ )2 2.7 Dự đoán giá trị
quan trắc mới
i=1
quan trắc mới ứng với sự gia tăng doanh số kỳ vọng là 5 000 đô la.
• βˆ0 = ȳ − βˆ1 x̄ = 130 − 5 ∗ 14 = 60
hồi quy tuyến Như vậy, phương trình đường thẳng hồi quy biểu diễn mối liên hệ hồi quy tuyến
giữa doanh số bán theo quý Y theo số lượng sinh viên X là
ŷ = 60 + 5x .
XSTK XSTK
N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Ví dụ khác

2. Mô hình
Với hệ số góc βˆ1 = 5 > 0, có nghĩa là khi số sinh viên tăng lên, 2. Mô hình
hồi quy tuyến
tính đơn
doanh số cũng tăng lên. Chúng ta có thể kết luận rằng, sự gia hồi quy tuyến
tính đơn
tuyến tính đơn
tăng số lượng sinh viên thêm 1000 người (1 đơn vị ) sẽ tương 2.1 Mô hình hồi quy
tuyến tính đơn
ứng với sự gia tăng doanh số kỳ vọng là 5 000 đô la. 2.2 Ước lượng các hệ Xét mẫu ngẫu nhiên gồm 10 cặp giá trị (xi , yi ) cho bởi bảng
x -1 0 2 -2 5 6 8 11 12 -3
Ước lượng phương Chúng ta muốn dự đoán doanh số bán theo quý cho một nhà Ước lượng phương y -5 -4 2 -7 6 9 13 21 20 -9
hàng được đặt gần trường với 16 000 sinh viên, chúng ta tính 2.5 Tính chất của
toán: Ta có, xn+1 = 16, nên ta thay vào phương trình đường 2.6 Khoảng tin cậy
cho hệ số hồi quy (a) Vẽ biểu đồ phân tán cho dữ liệu, tìm đường thẳng hồi quy.
quan trắc mới
thẳng hồi quy tuyến tính (ước lượng) vừa tìm ta được: 2.7 Dự đoán giá trị
quan trắc mới

(b) Tìm ước lượng σ̂ 2 cho phương sai σ 2 của sai số ngẫu nhiên.
4. Mô hình ŷn+1 = β̂0 + β̂1 xn+1 = 60 + 5xn+1 = 60 + 5 ∗ 16 = 140 4. Mô hình (c) Thiết lập khoảng tin cậy 95% cho các hệ số β0 và β1 .
(d) Thiết lập khoảng dự đoán 95% tại x = 5.
Như vậy, chúng ta dự đoán doanh số bán theo quý cho một
nhà hàng được đặt gần trường với 16 000 sinh viên là 140 000
đô la.
XSTK XSTK
N.T. M. Ngọc Phân tích tương quan N.T. M. Ngọc Phân tích tương quan
tuyến tính đơn
tuyến tính đơn Hệ số tương quan (Correlation coefficient) của
• Phân tích tương quan (Correlation Analysis) dùng để đo độ mạnh 2.2 Ước lượng các hệ
số hồi quy
của mối liên hệ tuyến tính giữa hai biến ngẫu nhiên.
số hồi quy
hai biến ngẫu nhiên X và Y , ký hiệu ρXY , được
xác định như sau
2.5 Tính chất của Xét hai biến ngẫu nhiên X , Y . Hiệp phương sai (Covariance) của X 2.5 Tính chất của
2.6 Khoảng tin cậy và Y , ký hiệu là Cov (X , Y ), được định nghĩa như sau
2.6 Khoảng tin cậy Cov (X , Y )
ρXY = q (27)
quan trắc mới
Cov (X , Y ) = E [(X − E(X ))(Y − E(Y ))] = E(XY ) − E(X )E(Y )
quan trắc mới Var (X )Var (Y )
(26)
tính bội tính bội Với hai biến ngẫu nhiên X và Y bất kỳ
−1 ≤ ρXY ≤ 1
XSTK XSTK
N.T. M. Ngọc Phân tích tương quan N.T. M. Ngọc Phân tích tương quan
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
Chú ý rằng: v
u SST
u
βˆ1 =
t rXY
số hồi quy
số hồi quy
SXX
Với mẫu ngẫu nhiên cỡ n: (Xi , Yi ), i = 1, . . . , n. Hệ số tương quan
mẫu, ký hiệu rXY , được xác định như sau
suy ra,
các ước lượng BPBN Pn các ước lượng BPBN
2 SXX SXY SSR
rXY = qP i=1
(Xi − X̄ )(Yi − Ȳ )
=√
SXY
(28)
2
rXY = βˆ1 = βˆ1 =
quan trắc mới
n
i=1 (X i − X̄ ) 2
Pn
i=1 (Yi − Ȳ )2 S XX SST
quan trắc mới SST SST SST
4. Mô hình 4. Mô hình • Hệ số xác định, R 2 , của mô hình hồi quy tuyến

tính bội tính bội tính đơn bằng với bình phương của hệ số tương
quan mẫu R2 = r 2 XY
XSTK XSTK
N.T. M. Ngọc Đánh giá hiệp phương sai N.T. M. Ngọc Đánh giá hệ số tương quan
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
• Miền giá trị: −1 ≤ rXY ≤ 1,
• −1 ≤ rXY < 0: tương quan âm. rXY càng gần
2.3 Độ đo sự biến 2.3 Độ đo sự biến −1 biểu thị mối liên hệ tuyến tính nghịch
2.4 Hệ số xác định • Cov (X , Y ) > 0: X và Y có xu hướng thay thiên của dữ liệu
Ước lượng phương Ước lượng phương giữa X và Y càng mạnh.
đổi cùng chiều. sai σ 2 của sai số
• 0 < rXY ≤ 1: tương quan dương. rXY càng

cho hệ số hồi quy • Cov (X , Y ) < 0: X và Y có xu hướng thay 2.6 Khoảng tin cậy
quan trắc mới
quan trắc mới
gần 1 biểu thị mối liên hệ tuyến tính thuận
3.Tương quan
đổi ngược chiều. 3.Tương quan
giữa X và Y càng mạnh.
4. Mô hình
hồi quy tuyến
• Cov (X , Y ) = 0: X và Y độc lập (tuyến tính). 4. Mô hình
hồi quy tuyến
• rXY càng gần 0, biểu thị mối liên hệ tuyến
tính yếu. rXY = 0: không có mối liên hệ tuyến

tính giữa X và Y .
XSTK XSTK
N.T. M. Ngọc Đánh giá hệ số tương quan N.T. M. Ngọc Kiểm định giả thuyết cho hệ số
1. Giới thiệu 1. Giới thiệu tương quan
tuyến tính đơn
tuyến tính đơn • Ta cần kiểm định giả thuyết H0 : không có
số hồi quy
số hồi quy
mối liên hệ tuyến tính giữa X và Y
H0 : ρ = 0
quan trắc mới
quan trắc mới
• Thống kê kiểm định
3.Tương quan 3.Tương quan v
u
u n−2
hồi quy tuyến hồi quy tuyến T = rXY t
2 (29)
1 − rXY
có phân phối Student với n − 2 bậc tự do.
XSTK XSTK
N.T. M. Ngọc Kiểm định giả thuyết cho hệ số N.T. M. Ngọc Kiểm định giả thuyết cho hệ số
1. Giới thiệu tương quan 1. Giới thiệu tương quan
tuyến tính đơn
số hồi quy
tuyến tính đơn
số hồi quy
Các bước kiểm định
1 Phát biểu giả thuyết H0 và đối thuyết,
Ước lượng phương • Bài toán kiểm định giả thuyết cho hệ số tương quan gồm các Ước lượng phương
2.5 Tính chất của trường hợp sau:
2 Xác định mức ý nghĩa α,
(
H0 : ρ = 0
(
H0 : ρ = 0
(
H0 : ρ = 0
3 Tính thống kê kiểm định:
quan trắc mới (a) (b) (c) quan trắc mới
H1 : ρ 6= 0 H1 : ρ < 0 H1 : ρ > 0
v
3.Tương quan 3.Tương quan u
u n−2
4. Mô hình 4. Mô hình T = rXY t
2
hồi quy tuyến
tính bội
với mức ý nghĩa α cho trước. hồi quy tuyến
tính bội
1 − rXY
T có phân phối Student với n − 2 bậc tự do.
XSTK XSTK
N.T. M. Ngọc Kiểm định giả thuyết cho hệ số N.T. M. Ngọc Ví dụ

1. Giới thiệu tương quan 1. Giới thiệu
2. Mô hình 2. Mô hình Điểm thi giữa kỳ (x ) và cuối kỳ (y ) của một lớp có 9 sinh viên là như
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
sau:
tuyến tính đơn tuyến tính đơn x 77 50 71 72 81 94 96 99 67
số hồi quy số hồi quy y 82 66 78 34 47 85 99 99 68
2.3 Độ đo sự biến 4. Xác định miền bác bỏ 2.3 Độ đo sự biến
Đối thuyết Miền bác bỏ p - giá trị Ước lượng phương
(a) Ước lượng đường hồi quy tuyến tính.
2.5 Tính chất của n−2 2.5 Tính chất của
các ước lượng BPBN H1 : ρ 6= 0 |t| > t1−α/2 p = 2P(Tn−2 ≥ |t|) các ước lượng BPBN
(b) Ước lượng điểm bài thi cuối kỳ của một sinh viên có điểm giữa
H1 : ρ < 0 n−2
t < −t1−α p = P(Tn−2 ≤ t)
cho hệ số hồi quy kỳ là 85.
3.Tương quan H1 : ρ > 0 n−2

t > t1−α p = P(Tn−2 ≥ t) 3.Tương quan
(c) Tính σ̂ 2 = s 2
4. Mô hình 4. Mô hình (d) Xây dựng khoảng tin cậy 95% cho β0
hồi quy tuyến 5. Kết luận: Bác bỏ H0 /Chưa đủ cơ sở để bác bỏ H0 . hồi quy tuyến
(e) Xây dựng khoảng tin cậy 95% cho β1
(f) Sử dụng giá trị s 2 đã tìm được ở câu (c), hãy xây dựng khoảng
tin cậy 95% cho µY |85 .
XSTK
N.T. M. Ngọc 4. Mô hình hồi quy tuyến tính bội

1. Giới thiệu
2. Mô hình
hồi quy tuyến
tính đơn
tuyến tính đơn
số hồi quy
Bài tập lớn
quan trắc mới
3.Tương quan
4. Mô hình
hồi quy tuyến
tính bội

Chuong8 - Tuong Quan Va Hoi Quy2022 - SV

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chuong8 - Tuong Quan Va Hoi Quy2022 - SV

Uploaded by

Copyright:

Available Formats

XSTK XSTK

N.T. M. Ngọc N.T. M. Ngọc Phân tích hồi quy

• Tác động của các yếu tố khác (không phải

• ε là thành phần sai số,

3.Tương quan 3.Tương quan E(Y |x ) = β0 + β1 x (3)

Từ (7), lấy đạo hàm theo β0 và β1 và giải hệ phương trình , ta tìm

N.T. M. Ngọc Ví dụ : N.T. M. Ngọc Giải:

N.T. M. Ngọc Giải: N.T. M. Ngọc Ví dụ khác

2.7 Dự đoán giá trị 2.7 Dự đoán giá trị

2. Mô hình Gọi 2. Mô hình

3.Tương quan 3.Tương quan

2. Mô hình 2. Mô hình Xét mô hình

3.Tương quan SSE 3.Tương quan

Tβ0 có phân phối Student với n − 2 bậc tự do.

2.7 Dự đoán giá trị 2.7 Dự đoán giá trị

N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Gợi ý giải:

N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Ví dụ khác

3.Tương quan 3.Tương quan

4. Mô hình 4. Mô hình • Hệ số xác định, R 2 , của mô hình hồi quy tuyến

• 0 < rXY ≤ 1: tương quan dương. rXY càng

tính yếu. rXY = 0: không có mối liên hệ tuyến

N.T. M. Ngọc Kiểm định giả thuyết cho hệ số N.T. M. Ngọc Ví dụ

3.Tương quan H1 : ρ > 0 n−2

N.T. M. Ngọc 4. Mô hình hồi quy tuyến tính bội

You might also like