Chuong7 - Tuong Quan Va Hoi Quy - SV

XSTK XSTK
N.T. M. Ngọc N.T. M. Ngọc Phân tích hồi quy

1. Giới thiệu
2. Mô hình
hồi quy tuyến
tính đơn
Bài toán: trong các hoạt động về khoa học - kỹ thuật, kinh tế, xã
Chương 8: Tương quan và hồi quy 2.1 Mô hình hồi quy hội, . . . ta có nhu cầu xác định mối liên giữa hai hay nhiều biến ngẫu
tuyến tính đơn
2.2 Ước lượng các hệ nhiên với nhau. Ví dụ:
số hồi quy
2.3 Độ đo sự biến
thiên của dữ liệu • Mối liên hệ giữa chiều cao và cỡ giầy của một người, từ đó một
2.4 Hệ số xác định
Ước lượng phương
cửa hàng bán giầy dép có thể xác định chính xác cỡ giầy của
sai σ 2 của sai số
2.5 Tính chất của
một khách hàng khi biết chiều cao,
các ước lượng BPBN
3. Khoảng tin
• Độ giãn nở của một loại vật liệu theo nhiệt độ môi trường,
Nguyễn Thị Mộng Ngọc cậy cho mô
University of Science, VNU - HCM hình hồi quy • Doanh thu khi bán 1 loại sản phẩm và số tiền chi cho quảng
3. 1 Khoảng tin cậy
ngtmngoc@hcmus.edu.vn cho hệ số hồi quy cáo và khuyến mãi,

3.2 Khoảng tin cậy
cho trung bình biến
đáp ứng • ...
3.3 Dự đoán giá trị
quan trắc mới
Để giải quyết các vấn đề trên, ta sử dụng kỹ thuật phân tích hồi quy
4. Kiểm định
giả thuyết cho (Regression Analysis).
mô hình hồi
quy
4.1 Kiểm định giả
thuyết cho β0
thuyết cho β1
5. Phân tích
thặng dư
6.Tương quan
XSTK 7. Mô hình
XSTK
hồi quy tuyến
N.T. M. Ngọc Phân tích hồi quy tính
N.T.bội
M. Ngọc Phân tích hồi quy
1. Giới thiệu 1. Giới thiệu
2. Mô hình 2. Mô hình
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
• Mối liên hệ giữa X1 , . . . , Xp và Y được biểu
2.1 Mô hình hồi quy
tuyến tính đơn
• Phân tích hồi quy được sử dụng để xác định
tuyến tính đơn diễn bởi một hàm tuyến tính.
2.2 Ước lượng các hệ 2.2 Ước lượng các hệ
số hồi quy
thiên của dữ liệu
mối liên hệ giữa:
số hồi quy
• Sự thay đổi trong Y được giả sử do những
• một biến phụ thuộc Y (biến đáp ứng), và
thay đổi trong X1 , . . . , Xp gây ra.
• Trên cơ sở xác định mối liên hệ giữa biến phụ
2.5 Tính chất của 2.5 Tính chất của
• một hay nhiều biến độc lập X1 , X2 , . . . , Xp ; các ước lượng BPBN
3. Khoảng tin 3. Khoảng tin

cậy cho mô
hình hồi quy
các biến này còn được gọi là biến giải thích. cậy cho mô
hình hồi quy
thuộc Y và các biến giải thích X1 , X2 , . . . , Xp ,
cho hệ số hồi quy
• Biến phụ thuộc Y phải là biến liên tục, 3. 1 Khoảng tin cậy
cho hệ số hồi quy ta có thể:
3.2 Khoảng tin cậy • Các biến độc lập X1 , X2 , . . . , Xp có thể là biến liên tục, rời 3.2 Khoảng tin cậy
• dự đoán, dự báo giá trị của Y ,

cho trung bình biến cho trung bình biến
đáp ứng
rạc hoặc phân loại. đáp ứng
quan trắc mới quan trắc mới
4. Kiểm định 4. Kiểm định • giải thích tác động của sự thay đổi trong các
giả thuyết cho giả thuyết cho
mô hình hồi
quy
mô hình hồi
quy biến giải thích lên biến phụ thuộc.
4.1 Kiểm định giả 4.1 Kiểm định giả
thuyết cho β0 thuyết cho β0
5. Phân tích 5. Phân tích

XSTK XSTK
N.T. M. Ngọc Mô hình hồi quy tuyến tính đơn N.T. M. Ngọc Mô hình hồi quy tuyến tính đơn
hồi quy tuyến hồi quy tuyến
tính đơn Định nghĩa tính đơn
2.1 Mô hình hồi quy 2.1 Mô hình hồi quy
tuyến tính đơn Một mô hình hồi quy tuyến tính đơn liên quan đến một biến ngẫu tuyến tính đơn
số hồi quy nhiên Y và một biến giải thích x là phương trình: số hồi quy
Trong mô hình (1), sự thay đổi của Y được sử
2.3 Độ đo sự biến 2.3 Độ đo sự biến
thiên của dữ liệu thiên của dữ liệu
Y = β0 + β1 x + Varepsilon (1) 2.4 Hệ số xác định
dụng bởi:
sai σ 2 của sai số sai σ 2 của sai số
trong đó,
các ước lượng BPBN • Mối liên hệ tuyến tính của X và Y: β0 + β1 x ;
cậy cho mô
hình hồi quy
• β0 và β1 là các tham số chưa biết (được gọi lần lượt là hệ số cậy cho mô
hình hồi quy
• Tác động của các yếu tố khác (không phải
chặn (intercept) và hệ số góc (slope) của đường thẳng hồi quy); 3. 1 Khoảng tin cậy
cho hệ số hồi quy X): thành phân sai số Varepsilon.
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy
đáp ứng
• Y là biến phụ thuộc và x là biến độc lập; cho trung bình biến
đáp ứng
3.3 Dự đoán giá trị 3.3 Dự đoán giá trị
quan trắc mới • Varepsilon là thành phần sai số, quan trắc mới
4. Kiểm định
giả thuyết cho
Varepsilon được giả sử có phân phối chuẩn N (0, σ 2 ). 4. Kiểm định
giả thuyết cho
mô hình hồi mô hình hồi
quy quy

thặng dư thặng dư
6.Tương quan 6.Tương quan
7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Mô hình hồi quy tuyến tính đơn tính
N.T.bội
M. Ngọc Các giả định về sai số ngẫu nhiên
1. Giới thiệu Từ mẫu ngẫu nhiên ((X1 , Y1 ), ..., (Xn , Yn )) ta có n cặp giá trị quan 1. Giới thiệu
2. Mô hình trắc (x1 , y1 ), ..., (xn , yn ). Mô hình hồi quy tuyến tính đơn của mẫu là 2. Mô hình • Các sai số ngẫu nhiên Varepsiloni trong mô hình (2)
tính đơn tính đơn được giả sử thỏa các điều kiện sau:
Yi = β0 + β1 xi + Varepsiloni , với i = 1, 2, ..., n (2)
tuyến tính đơn
tuyến tính đơn • Các sai số Varepsiloni độc lập với nhau,
2
2.2 Ước lượng các hệ
trong đó, (Varepsiloni ) i.i.d. ∼ N (0, σ ). 2.2 Ước lượng các hệ
số hồi quy
số hồi quy
• E(Varepsiloni ) = 0 và Var (Varepsiloni ) = σ 2 ,
Ước lượng phương Đồ thị phân tán của n cặp giá trị quan sát (xi , yi ), i = 1, 2, ..., n.
• Các sai số có phân phối chuẩn: Varepsiloni ∼ N (0, σ 2 )
2.5 Tính chất của 2.5 Tính chất của và có phương sai không đổi.
các ước lượng BPBN các ước lượng BPBN
3. Khoảng tin 3. Khoảng tin • Với quan trắc x đã biết,

cậy cho mô cậy cho mô
hình hồi quy hình hồi quy
E(Y |x ) = β0 + β1 x (3)
đáp ứng
đáp ứng
• Từ (??) ta có
4. Kiểm định
giả thuyết cho
4. Kiểm định
giả thuyết cho Y ∼ N (β0 + β1 x , σ 2 ) (4)
quy quy

XSTK XSTK
N.T. M. Ngọc Ước lượng các hệ số hồi quy N.T. M. Ngọc Phương pháp bình phương bé nhất
1. Giới thiệu 1. Giới thiệu (PPBPBN)
Với dữ liệu (xi , yi ), i = 1, . . . , n, ta có
• Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1 .
tính đơn tính đơn
tuyến tính đơn tuyến tính đơn ŷi = β̂0 + β̂1 xi
số hồi quy
• Đường thẳng hồi quy với các hệ số ước lượng 2.2 Ước lượng các hệ
số hồi quy
Ta định nghĩa thặng dư (residual) thứ i:
(fitted regression line): thiên của dữ liệu
sai σ 2 của sai số ei = yi − ŷi = yi − (β̂0 + β̂1 xi ) (6)
các ước lượng BPBN Ŷ = βˆ0 + βˆ1 x (5) 2.5 Tính chất của

hình hồi quy
• Một đường thẳng ước lượng tốt phải "gần với hình hồi quy
Tổng bình phương sai số (Sum of Squares for Errors - SSE) hay tổng
cho hệ số hồi quy cho hệ số hồi quy bình phương thặng dư cho n điểm dữ liệu được định nghĩa như sau
các điểm dữ liệu". 3.2 Khoảng tin cậy
đáp ứng đáp ứng n n h i2
• Tìm βˆ0 và βˆ1 : dùng phương pháp bình
X X
ei2 =
quan trắc mới quan trắc mới SSE = yi − (β̂0 + β̂1 xi ) (7)
i=1 i=1
4. Kiểm định
giả thuyết cho phương bé nhất (method of least squares). 4. Kiểm định
giả thuyết cho
quy
quy
Nội dung của PPBPBN là tìm các ước lượng βˆ0 và βˆ1 sao cho SSE
thuyết cho β0
thuyết cho β0
đạt giá trị bé nhất.

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Ước lượng bình phương bé nhất tính
N.T.bội
M. Ngọc Ước lượng bình phương bé nhất
Từ (??), lấy đạo hàm theo β0 và β1 và giải hệ phương trình , ta tìm

2. Mô hình
hồi quy tuyến
tính đơn được các ước lượng BPBN của β0 và β1 là
2. Mô hình
hồi quy tuyến
tính đơn
• Các ước lượng βˆ0 và βˆ1 tìm được gọi là các
tuyến tính đơn
Pn Pn 2.1 Mô hình hồi quy
tuyến tính đơn
ước lượng BPBN.
Pn ( i=1 xi )( i=1 yi )
xi yi − 2.2 Ước lượng các hệ
số hồi quy
2.3 Độ đo sự biến βˆ1 = i=1 Pn n 2 =
Sxy
(8)
số hồi quy
2.3 Độ đo sự biến • Đường thẳng ŷ = βˆ0 + βˆ1 x gọi là đường
thiên của dữ liệu Pn 2− ( xi ) Sxx thiên của dữ liệu
x
i=1 i
i=1
n
thẳng BPBN, thỏa các tính chất sau:
βˆ0 = ȳ − βˆ1 x̄ (9) sai σ 2 của sai số
(1)
các ước lượng BPBN các ước lượng BPBN n
X
3. Khoảng tin với Sxx và Sxy xác định bởi 3. Khoảng tin SSE = (yi − ŷi )2
hình hồi quy hình hồi quy i=1
3. 1 Khoảng tin cậy n n Pn 2 3. 1 Khoảng tin cậy
i=1 xi cho hệ số hồi quy đạt giá trị bé nhất,
X X
3.2 Khoảng tin cậy Sxx = (xi − x̄ )2 = xi2 − (10) 3.2 Khoảng tin cậy
đáp ứng
n cho trung bình biến
đáp ứng
(2)
i=1 i=1 n n
n n Pn Pn X X
quan trắc mới X X
i=1 xi i=1 yi
quan trắc mới
SE = (yi − ŷi ) = ei = 0
4. Kiểm định Sxy = (xi − x̄ )(yi − ȳ ) = xi yi − (11) 4. Kiểm định
i=1 i=1
giả thuyết cho n giả thuyết cho
mô hình hồi i=1 i=1 mô hình hồi
quy quy với SE là tổng các thặng dư (Sum of Errors).

XSTK XSTK
N.T. M. Ngọc Ví dụ : N.T. M. Ngọc Giải:

Giả sử, chi phí (triệu đồng) nghiên cứu và phát triển sản phẩm
tính đơn Chi phí (triệu đồng) nghiên cứu và phát triển sản phẩm (R&D) tính đơn
(R&D) và doanh số (tỉ đồng) có mối liên hệ tuyến tính. Khi
tuyến tính đơn và doanh số (tỉ đồng) của 10 công ty trong ngành công nghiệp tuyến tính đơn
đó, mô hình hồi quy tuyến tính đơn thể hiện mối liên hệ tuyến
số hồi quy
như sau: số hồi quy
tính giữa chi phí X và doanh số Y là
2.4 Hệ số xác định 2.4 Hệ số xác định
Ước lượng phương Ước lượng phương
Công ty A B C D E G H L M N sai σ 2 của sai số Y = β0 + β1 X + Varepsilon.
2.5 Tính chất của R&D 280 300 250 400 500 150 600 300 200 250 2.5 Tính chất của
Doanh số 8 5 4 12 20 3 18 6 4 5 Dùng phương pháp bình phương bé nhất (OLS) để ước lượng
cậy cho mô
hình hồi quy
cậy cho mô
hình hồi quy
β0 và β1 từ mẫu dữ liệu đã cho, ta có được phương trình
đường thẳng hồi quy biểu diễn mối liên hệ giữa chi phí (X) và
Tìm phương trình đường thẳng hồi quy biểu diễn mối liên hệ 3.2 Khoảng tin cậy
doanh số (Y) như sau:
đáp ứng đáp ứng
quan trắc mới
giữa chi phí (X) và doanh số (Y). Giải thích ý nghĩa của hệ số 3.3 Dự đoán giá trị
quan trắc mới
Ŷ = β̂0 + β̂1 X
4. Kiểm định
giả thuyết cho
góc. 4. Kiểm định
giả thuyết cho
quy quy
trong đó, β̂0 và β̂1 được tính như sau:

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Giải: tính
N.T.bội
M. Ngọc Ví dụ khác
1. Giới thiệu n n 1. Giới thiệu
1X 3230 1X 85
2. Mô hình • x̄ = xi = = 323 ; • ȳ = yi = = 8, 5. 2. Mô hình
Một nhà thực vật học khảo sát mối liên hệ giữa tổng diện tích bề
hồi quy tuyến n 10 n 10 hồi quy tuyến
tính đơn
2.1 Mô hình hồi quy n
i=1
n
i=1 tính đơn
mặt (đv: cm2 ) của các lá cây đậu nành và trọng lượng khô (đv: g)
của các cây này. Nhà thực vật học trồng 13 cây trong nhà kính và đo
tuyến tính đơn
X X tuyến tính đơn
2.2 Ước lượng các hệ • xi yi = 34640 và • xi2 = 1215900. 2.2 Ước lượng các hệ
số hồi quy
i=1 i=1
số hồi quy tổng diện tích lá và trọng lượng của các cây này sau 16 ngày trồng,
thiên của dữ liệu n
X thiên của dữ liệu kết quả cho bởi bảng sau
xi yi − nx̄ ȳ 2.4 Hệ số xác định
sai σ 2 của sai số 34640 − 10 ∗ 323 ∗ 8, 5 sai σ 2 của sai số
2.5 Tính chất của • βˆ1 = i=1
n = = 0, 0416. 2.5 Tính chất của X 411 550 471 393 427 431 492 371 470 419 407 489 439
các ước lượng BPBN X 1215900 − 10 ∗ (323)2 các ước lượng BPBN
3. Khoảng tin xi2 2

− n(x̄ ) 3. Khoảng tin
Y 2.00 2.46 2.11 1.89 2.05 2.30 2.46 2.06 2.25 2.07 2.17 2.32 2.12

hình hồi quy
i=1 hình hồi quy
• βˆ0 = ȳ − βˆ1 x̄ = 8, 5 − 0, 0416 ∗ 323 = −4, 9368. 3. 1 Khoảng tin cậy
(a) Vẽ biểu đồ phân tán biểu diễn diện tích lá X và trọng lượng khô
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy Y của cây đậu nành với mẫu quan sát đã cho.
đáp ứng
Như vậy, phương trình đường thẳng hồi quy biểu diễn mối liên hệ cho trung bình biến
đáp ứng
3.3 Dự đoán giá trị 3.3 Dự đoán giá trị (b) Tìm đường thẳng hồi quy biểu diễn mối liên hệ giữa trọng lượng
quan trắc mới giữa chi phí (X) và doanh số (Y) là Ŷ = −4, 9368 + 0, 0416X . Với hệ quan trắc mới
4. Kiểm định 4. Kiểm định

cây Y theo diện tích lá X . Vẽ đường thẳng hồi quy tìm được
giả thuyết cho số góc βˆ1 = 0, 0416 (hệ số góc dương) nên ta có thể nói rằng khi chi giả thuyết cho trên đồ thị phân tán.
quy quy
phí R&D tăng 1 triệu đồng thì doanh số tăng 0,0416 tỉ đồng. 4.1 Kiểm định giả

XSTK XSTK
N.T. M. Ngọc Độ đo sự biến thiên của dữ liệu N.T. M. Ngọc Độ đo sự biến thiên của dữ liệu
2. Mô hình Gọi 2. Mô hình

tính đơn
• SST : Tổng bình phương toàn phần (Total Sum of Squares) tính đơn - SST : đo sự biến thiên của các giá trị yi xung quanh giá trị
tuyến tính đơn n
tuyến tính đơn
trung tâm của dữ liệu ȳ ,
X
(yi − ȳ )2
số hồi quy SST = số hồi quy
- SSR: giải thích sự biến thiên liên quan đến mối quan hệ tuyến
thiên của dữ liệu i=1 thiên của dữ liệu
tính của X và Y ,
sai σ 2 của sai số • SSR: Tổng bình phương hồi quy (Regression Sum of Squares) sai σ 2 của sai số - SSE : giải thích sự biến thiên của các nhân tố khác (không liên
các ước lượng BPBN các ước lượng BPBN quan đến mối quan hệ tuyến tính của X và Y ).
n
3. Khoảng tin X 3. Khoảng tin
cậy cho mô SSR = (ŷi − ȳ )2 cậy cho mô Ta có:
i=1 3. 1 Khoảng tin cậy n n n
cho hệ số hồi quy cho hệ số hồi quy X X X
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy (yi − ȳ )2 = (ŷi − ȳ )2 + (yi − ŷi )2 (12)
đáp ứng
• SSE : Tổng bình phương sai số (Error Sum of Squares) cho trung bình biến
đáp ứng
i=1 i=1 i=1
quan trắc mới n
X quan trắc mới
SST = SSR + SSE
4. Kiểm định SSE = (yi − ŷi )2 4. Kiểm định
mô hình hồi i=1 mô hình hồi
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Độ đo sự biến thiên của dữ liệu tính
N.T.bội
M. Ngọc Hệ số xác định
tuyến tính đơn
tuyến tính đơn
Hệ số xác định (Coefficient of Determination) là tỷ lệ của tổng sự
số hồi quy
số hồi quy
biến thiên trong biến phụ thuộc gây ra bởi sự biến thiên của các biến
độc lập (biến giải thích) so với tổng sự biến thiên toàn phần. Hệ số
Ước lượng phương Ước lượng phương xác định thường được gọi là R - bình phương (R-squared), ký hiệu là
2.5 Tính chất của 2.5 Tính chất của R 2.
Công thức tính:
SSR
cậy cho mô
hình hồi quy
cậy cho mô
hình hồi quy
R2 = (13)
3. 1 Khoảng tin cậy 3. 1 Khoảng tin cậy
SST
cho hệ số hồi quy cho hệ số hồi quy
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy Chú ý: 0 ≤ R 2 ≤ 1.
đáp ứng
đáp ứng
• Hệ số xác định của một mô hình hồi quy cho phép ta đánh giá mô
hình tìm được có giải thích tốt cho mối liên hệ giữa biến phụ thuộc
Y và biến phụ thuộc X hay không.
quy quy

XSTK XSTK
N.T. M. Ngọc Hệ số xác định và mối liên hệ giữa N.T. M. Ngọc Hệ số xác định và mối liên hệ giữa
1. Giới thiệu X và Y 1. Giới thiệu X và Y
tuyến tính đơn tuyến tính đơn
số hồi quy số hồi quy


quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Hệ số xác định và mối liên hệ giữa tính
N.T.bội
M. Ngọc Ước lượng phương sai σ 2 của sai số
1. Giới thiệu X và Y 1. Giới thiệu
Xét mô hình
tính đơn tính đơn Yi = β0 + β1 xi + Varepsiloni , i = 1, . . . , n
số hồi quy
số hồi quy
Thành phần sai số thứ i: Varepsiloni ∼ N (0, σ 2 ). Ta cần ước lượng
phương sai σ 2 .
2.4 Hệ số xác định 2.4 Hệ số xác định Từ (??), ta có: Yi ∼ N (β0 + β1 xi , σ 2 ). Do đó,
Yi − (β0 + β1 xi )
∼ N (0, 1)
3. Khoảng tin 3. Khoảng tin σ
hình hồi quy hình hồi quy Ta có, i2
3. 1 Khoảng tin cậy 3. 1 Khoảng tin cậy h
Yi − (βˆ0 + βˆ1 xi )
n
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy X SSE
đáp ứng
đáp ứng = ∼ χ2 (n − 2)
3.3 Dự đoán giá trị 3.3 Dự đoán giá trị σ2 σ2
quan trắc mới quan trắc mới i=1
4. Kiểm định 4. Kiểm định Nên,

SSE SSE
E = n − 2 hay E = σ2
quy
quy
σ2 n−2

XSTK XSTK
2
N.T. M. Ngọc Ước lượng phương sai σ của sai số N.T. M. Ngọc Ước lượng phương sai σ 2 của sai số
1. Giới thiệu 1. Giới thiệu • Tìm SSE :
2. Mô hình 2. Mô hình SSE = SST − βˆ1 Sxy
SSE
hồi quy tuyến
tính đơn
Ta kết luận rằng n−2 là một ước lượng không chệch cho σ 2 . Suy ra hồi quy tuyến
tính đơn • Sai số chuẩn (Standard Error) của σ̂ 2
tuyến tính đơn
ước lượng σ̂ 2 của σ 2 được tính bởi 2.1 Mô hình hồi quy
tuyến tính đơn r
số hồi quy
số hồi quy
SSE
2 SSE SE (σ̂) =
thiên của dữ liệu σ̂ = (14) 2.3 Độ đo sự biến
thiên của dữ liệu n−2
2.4 Hệ số xác định n−2 2.4 Hệ số xác định
sai σ 2 của sai số sai σ 2 của sai số Sử dụng SE (σ̂) để đo sự biến thiên của các giá trị quan trắc y với
các ước lượng BPBN đường thẳng hồi quy.
Trung bình bình phương sai số (Mean Squares Error − MSE) của mô
cậy cho mô hình hồi quy tuyến tính đơn: cậy cho mô
cho hệ số hồi quy SSE cho hệ số hồi quy
3.2 Khoảng tin cậy MSE = 3.2 Khoảng tin cậy
đáp ứng
n−2 cho trung bình biến
đáp ứng
quan trắc mới
Trung bình bình phương sai số chính là ước lượng không chệch cho quan trắc mới
4. Kiểm định
giả thuyết cho
phương sai σ 2 của thành phần sai số của mô hình. 4. Kiểm định
giả thuyết cho
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Tính chất của các ước lượng tính
N.T.bội
M. Ngọc Tính chất của các ước lượng
1. Giới thiệu BPBN 1. Giới thiệu BPBN
tính đơn Định lý tính đơn
tuyến tính đơn Xét Y = β0 + β1 x + Varepsilon là một mô hình hồi quy tuyến tính tuyến tính đơn
số hồi quy đơn với Varepsilon ∼ N (0, σ 2 ); với n quan trắc độc lập số hồi quy
thiên của dữ liệu yi , i = 1, . . . , n ta có tương ứng các sai số Varepsiloni .
Trong mô hình hồi quy tuyến tính đơn, sai số
Gọi βˆ0 và βˆ1 là các ước lượng của β0 và β1 tìm được từ phương pháp
chuẩn (SE) của các ước lượng βˆ0 và βˆ1 là
bình phương bé nhất, khi đó 2.5 Tính chất của
các ước lượng BPBN các ước lượng BPBN v
(a) βˆ0 và βˆ1 tuân theo luật phân phối chuẩn.

x̄ 2  2
u
3. Khoảng tin 3. Khoảng tin u 1
SE (βˆ0 ) = + σ̂ (17)
u
hình hồi quy (b) Kỳ vọng và phương sai của βˆ0 và βˆ1 lần lượt là hình hồi quy
t
n Sxx
x̄ 2
1
v
E(βˆ0 ) = β0 , Var (βˆ0 ) = σ2 ,
σ̂ 2
u
đáp ứng + (15) đáp ứng
SE (βˆ1 ) =
u
quan trắc mới
n Sxx 3.3 Dự đoán giá trị
quan trắc mới
t
(18)
4. Kiểm định σ2 4. Kiểm định Sxx
giả thuyết cho E(βˆ1 ) = β1 , Var (βˆ1 ) = (16) giả thuyết cho
mô hình hồi Sxx mô hình hồi
quy quy

XSTK XSTK
N.T. M. Ngọc Tính chất của các ước lượng N.T. M. Ngọc 3. 1 Khoảng tin cậy cho hệ số hồi
1. Giới thiệu BPBN 1. Giới thiệu quy
• Xét đường thẳng hồi quy:
Ŷ = βˆ0 + βˆ1 x
số hồi quy
Định lý Gauss - Markov số hồi quy
Xét mô hình hồi quy tuyến tính đơn 2.4 Hệ số xác định
2
• Vì βˆ1 ∼ N β1 , Sσxx , đặt
Y = β0 + β1 x + Varepsilon βˆ1 − β1
3. Khoảng tin 3. Khoảng tin Z1 = √ ∼ N (0, 1)
cậy cho mô
hình hồi quy
cậy cho mô
hình hồi quy
σ/ Sxx
có βˆ0 và βˆ1 là các ước lượng BPBN cho β0 và 3. 1 Khoảng tin cậy
SSE
độc lập với βˆ1 và SSE
∼ χ2 (n − 2) nên
• Do
β1 , khi đó βˆ0 và βˆ1 là các ước lượng không chệch
3.2 Khoảng tin cậy 3.2 Khoảng tin cậy σ2 σ2
3.3 Dự đoán giá trị 3.3 Dự đoán giá trị Z1
quan trắc mới
tốt nhất. quan trắc mới
Tβ1 = q
(SSE /σ 2 )
∼ t(n − 2)
giả thuyết cho giả thuyết cho n−2
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Khoảng tin cậy cho hệ số hồi quy tính
N.T.bội
M. Ngọc Khoảng tin cậy cho hệ số hồi quy
x̄ 2
tính đơn tính đơn • Tương tự, vì βˆ0 ∼ N β0 , n1 + Sxx σ 2 , đặt
tuyến tính đơn
• Đặt tuyến tính đơn
n h
số hồi quy
SSE 1 X i2 số hồi quy
βˆ − β0
thiên của dữ liệu MSE = = yi − (βˆ0 + βˆ1 xi ) 2.3 Độ đo sự biến
thiên của dữ liệu Z0 = q0 ∼ N (0, 1)
n−2 n−2 2.4 Hệ số xác định
2
σ n1 + Sx̄xx
i=1
2.5 Tính chất của MSE gọi là trung bình bình phương sai số (Mean Square Error). Khi 2.5 Tính chất của
đó
• Do βˆ0 và SSE độc lập nên ta có
3. Khoảng tin
cậy cho mô βˆ1 − β1 3. Khoảng tin
cậy cho mô
hình hồi quy Tβ1 = q (19) hình hồi quy Z0 βˆ0 − β0
MSE Tβ0 = q =r (20)
cho hệ số hồi quy Sxx cho hệ số hồi quy (SSE /σ 2 )

x̄ 2
n−2 MSE n1 + Sxx
đáp ứng Tβ1 có phân phối Student với n − 2 bậc tự do. cho trung bình biến
đáp ứng

Tβ0 có phân phối Student với n − 2 bậc tự do.
quy quy

XSTK XSTK
N.T. M. Ngọc Khoảng tin cậy cho hệ số hồi quy N.T. M. Ngọc 3.2 Khoảng tin cậy cho trung bình
1. Giới thiệu 1. Giới thiệu biến đáp ứng
hồi quy tuyến • Khoảng tin cậy 100(1 − α)% cho β1 : hồi quy tuyến
tính đơn tính đơn • Cho trước giá trị x0 , cần tìm khoảng tin cậy cho
2.1 Mô hình hồi quy r r 2.1 Mô hình hồi quy
µY |x0 = E(Y |x0 ) = β0 + β1 x0 , gọi là trung bình biến đáp ứng. Ước
tuyến tính đơn
ˆ n−2 MSE ˆ n−2 MSE tuyến tính đơn
số hồi quy
β1 − t1−α/2 ≤ β1 ≤ β1 + t1−α/2 (21) 2.2 Ước lượng các hệ
số hồi quy lượng của µY |x0 từ đường thẳng hồi quy là
Sxx Sxx 2.3 Độ đo sự biến
• Khoảng tin cậy 100(1 − α)% cho β0 :
µ̂Y |x0 = βˆ0 + βˆ1 x0
• µ̂Y |x0 có các tính chất sau
s s
2 x̄ 2

ˆ n−2 1 x̄ ˆ n−2 1
3. Khoảng tin β0 −t1−α/2 MSE + ≤ β0 ≤ β0 +t1−α/2 MSE + 3. Khoảng tin
cậy cho mô n Sxx n Sxx cậy cho mô (1) µ̂Y |x0 tuân theo luật phân phối chuẩn.
3. 1 Khoảng tin cậy (22) 3. 1 Khoảng tin cậy
cho hệ số hồi quy cho hệ số hồi quy (2) Kỳ vọng và phương sai của µ̂Y |x0 lần lượt là
3.2 Khoảng tin cậy với 3.2 Khoảng tin cậy
3.3 Dự đoán giá trị - n = số cặp giá trị quan trắc (xi , yi ); 3.3 Dự đoán giá trị
E(µ̂Y |x0 ) = β0 + β1 x0
1 (x̄ − x0 )2 2

n−2
4. Kiểm định - t1−α/2 là phân vị mức 1 − α/2 của biến ngẫu nhiên t(n − 2). 4. Kiểm định Var (µ̂Y |x0 ) = + σ
giả thuyết cho
mô hình hồi
giả thuyết cho
mô hình hồi
n Sxx
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Khoảng tin cậy cho trung bình tính
N.T.bội
M. Ngọc Khoảng tin cậy cho trung bình
1. Giới thiệu biến đáp ứng 1. Giới thiệu biến đáp ứng
tuyến tính đơn
tuyến tính đơn
• Khoảng tin cậy 100(1 − α)% cho trung bình
• Ta có
số hồi quy
số hồi quy biến đáp ứng là
thiên của dữ liệu µ̂Y |x0 − E(µ̂Y |x0 ) (βˆ0 + βˆ1 x0 ) − (β0 + β1 x0 ) thiên của dữ liệu
= ∼ N (0, 1)
r r h i
1 (x̄ − x0 )2 1 (x̄ − x0 )2
p q
Var (µ̂Y |x0 ) σ 1 + (x̄ −x0 )
2 Ước lượng phương
n−2
µ̂Y |x0 −t1−α/2 MSE ( +
n−2
) ≤ µY |x0 ≤ µ̂Y |x0 +t1−α/2 MSE +
n Sxx n Sxx n Sxx
các ước lượng BPBN các ước lượng BPBN (24)
2 2
3. Khoảng tin • Vì µ̂Y |x0 độc lập với SSE /σ ∼ χ (n − 2) nên 3. Khoảng tin với
hình hồi quy
3. 1 Khoảng tin cậy µ̂Y |x − (β0 + β1 x0 ) µ̂Y |x − (β0 + β1 x0 )
hình hồi quy
- µ̂Y |x0 = βˆ0 + βˆ1 x0 ,
q 0 q =r 0 h i ∼ t(n − 2) (23) cho hệ số hồi quy
n−2
cho trung bình biến 1
+ (x̄ −x0 )2 SSE 1 (x̄ −x0 )2
cho trung bình biến - t1−α/2 : phân vị mức 1 − α/2 của biến ngẫu nhiên T tuân theo
đáp ứng n Sxx n−2 MSE n + Sxx đáp ứng
quan trắc mới
quan trắc mới
phân phối Student với bậc tự do (n − 2),
4. Kiểm định
giả thuyết cho
4. Kiểm định
giả thuyết cho
- MSE = SSE /(n − 2): trung bình bình phương sai số.
quy quy

XSTK XSTK
N.T. M. Ngọc Dự đoán giá trị quan trắc mới N.T. M. Ngọc Dự đoán giá trị quan trắc mới
1. Giới thiệu
2. Mô hình
• Giả sử với giá trị x0 , ta cần dự đoán giá trị 1. Giới thiệu
2. Mô hình
hồi quy tuyến
tính đơn quan trắc Y0 trong tương lai tương ứng với x0 hồi quy tuyến
tính đơn
tuyến tính đơn
bằng bao nhiêu. Từ mô hình hồi quy, ta có tuyến tính đơn
2.4 Hệ số xác định Ŷ0 = βˆ0 + βˆ1 x0 (25) thiên của dữ liệu
Ŷ0 là một ước lượng điểm của giá trị quan trắc các ước lượng BPBN

cậy cho mô
hình hồi quy
mới Y0 . cậy cho mô
hình hồi quy
• Cần tìm khoảng tin cậy cho Y0 . cho hệ số hồi quy
quan trắc mới
• Cho trước giá trị x0 , cần phân biệt rõ khoảng 3.3 Dự đoán giá trị
quan trắc mới
4. Kiểm định
giả thuyết cho
tin cậy giữa trung bình của biến ngẫu nhiên Y là 4. Kiểm định
giả thuyết cho
quy µY |x0 và khoảng tin cậy của giá trị quan trắc quy
thuyết cho β0
thực sự của Y tương ứng với x0 . thuyết cho β0

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Dự đoán giá trị quan trắc mới tính
N.T.bội
M. Ngọc Dự đoán giá trị quan trắc mới
2. Mô hình
hồi quy tuyến
• Đặt 2. Mô hình
hồi quy tuyến • Và,
tính đơn η = Y0 − Ŷ0 tính đơn
tuyến tính đơn
Vì Y0 và Ŷ0 có phân phối chuẩn nên η có phân phối chuẩn với kỳ
tuyến tính đơn
Ŷ0 − Y0
∼ N (0, 1)
số hồi quy
2.3 Độ đo sự biến vọng và phương sai là
số hồi quy
Z= s
1 (x̄ −x0 )2
σ2 1+ +
Ước lượng phương E(η) = E(Y0 ) − E(Ŷ0 ) = 0 Ước lượng phương
n Sxx
1 (x̄ − x0 )2

2 2 SSE
3. Khoảng tin
Var (η) = Var (Y0 ) + Var (Ŷ0 ) = σ + σ
n
+
Sxx 3. Khoảng tin • Nếu ta thay thế σ 2 bởi σ̂ 2 = MSE = n−2 , thu
1 (x̄ − x0 )2 2 được
hình hồi quy
hình hồi quy
3. 1 Khoảng tin cậy = 1+ + σ 3. 1 Khoảng tin cậy
n Sxx cho hệ số hồi quy
đáp ứng
đáp ứng Ŷ0 − Y0
quan trắc mới
Do đó,
1 (x̄ − x0 )2 2
quan trắc mới
T = s ∼ t(n − 2) (26)
η ∼ N 0, 1 + + σ 1 (x̄ −x0 )2
4. Kiểm định
giả thuyết cho n Sxx
4. Kiểm định
giả thuyết cho
MSE 1 + + n Sxx
quy quy

XSTK XSTK
N.T. M. Ngọc Dự đoán giá trị quan trắc mới N.T. M. Ngọc Ví dụ: dự đoán giá trị của quan
1. Giới thiệu 1. Giới thiệu sát mới
tuyến tính đơn
• Khoảng tin cậy 100(1 − α)% cho giá trị dự báo 2.1 Mô hình hồi quy
tuyến tính đơn
2.2 Ước lượng các hệ Trở lại ví dụ "mức chi phí R&D" của các công ty trước đó, giả
số hồi quy
mới Y0 ứng với một giá trị x0 cho trước là số hồi quy
sử ta quan tâm đến mức chi phí R&D là 350 triệu đồng thì
r h
1 (x̄ − x0 )2
i r h
1 (x̄ − x0 )2
i 2.4 Hệ số xác định
doanh số tương ứng sẽ là bao nhiêu?
sai σ 2 của sai số n−2 n−2 sai σ 2 của sai số
Ŷ0 −t1−α/2 MSE 1 + + ≤ Y0 ≤ Ŷ0 +t1−α/2 MSE 1 + + Ta có, xn+1 = 350, nên ta thay vào phương trình đường thẳng
2.5 Tính chất của n Sxx n Sxx 2.5 Tính chất của
(27) hồi quy tuyến tính mẫu ta được:
cậy cho mô với cậy cho mô
hình hồi quy n−2 hình hồi quy
3. 1 Khoảng tin cậy - t1−α/2 là phân vị mức 1 − α/2 của t(n − 2), 3. 1 Khoảng tin cậy
ŷn+1 = β̂0 + β̂1 xn+1 = −4, 9368 + 0, 0416 ∗ 350 = 9, 6232.
SSE
đáp ứng
- MSE = n−2 .
đáp ứng Như vậy, khi chi phí R&D ở mức 350 triệu đồng, doanh số
quan trắc mới quan trắc mới được ước lượng là khoảng 9,6232 tỷ đồng.
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Ví dụ khác tính
N.T.bội
M. Ngọc Gợi ý giải:
1. Giới thiệu Các cặp giá trị quan sát của mẫu 10 nhà hàng được tóm tắt trong 1. Giới thiệu
Dựa vào dữ liệu mẫu, ta tính:
2. Mô hình bảng sau: 2. Mô hình n n
hồi quy tuyến hồi quy tuyến 1X 1X
tính đơn tính đơn • x̄ = xi = 14 ; • ȳ = yi = 130
n n
2.1 Mô hình hồi quy 2.1 Mô hình hồi quy i=1 i=1
n n
X X
• xi yi = 21040 và • xi2 = 2528.
thiên của dữ liệu thiên của dữ liệu i=1 i=1
2.4 Hệ số xác định 2.4 Hệ số xác định n
X
sai σ 2 của sai số sai σ 2 của sai số xi yi − nx̄ ȳ
• βˆ1 = i=1
n = ... = 5
3. Khoảng tin 3. Khoảng tin X
cậy cho mô cậy cho mô xi2 2
− n(x̄ )
i=1
• βˆ0 = ȳ − βˆ1 x̄ = 130 − 5 ∗ 14 = 60
đáp ứng
đáp ứng Như vậy, phương trình đường thẳng hồi quy biểu diễn mối liên hệ
quan trắc mới
Tìm phương trình đường thẳng hồi quy (ước lượng) biểu diễn mối 3.3 Dự đoán giá trị
quan trắc mới
giữa doanh số bán theo quý Y theo số lượng sinh viên X là
4. Kiểm định liên hệ giữa doanh số Y theo số lượng sinh viên X . Giải thích ý nghĩa 4. Kiểm định
giả thuyết cho giả thuyết cho ŷ = 60 + 5x .
quy của hệ số góc. Sau đó, dự đoán doanh số bán theo quý của một nhà quy
thuyết cho β0
hàng được đặt gần một trương với 16 000 sinh viên? thuyết cho β0

XSTK XSTK
N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Gợi ý giải:

Với hệ số góc βˆ1 = 5 > 0, có nghĩa là khi số sinh viên tăng lên,
hồi quy tuyến
tính đơn
hồi quy tuyến
tính đơn
doanh số cũng tăng lên. Chúng ta có thể kết luận rằng, sự gia
tuyến tính đơn
tuyến tính đơn
tăng số lượng sinh viên thêm 1000 người (1 đơn vị ) sẽ tương
số hồi quy
số hồi quy
ứng với sự gia tăng doanh số kỳ vọng là 5 000 đô la.
Với hệ số góc βˆ1 = 5 > 0, có nghĩa là khi số sinh viên tăng lên, thiên của dữ liệu
Ước lượng phương Ước lượng phương Chúng ta muốn dự đoán doanh số bán theo quý cho một nhà
doanh số cũng tăng lên. Chúng ta có thể kết luận rằng, sự gia sai σ 2 của sai số
2.5 Tính chất của hàng được đặt gần trường với 16 000 sinh viên, chúng ta tính
3. Khoảng tin
tăng số lượng sinh viên thêm 1 đơn vị (1000 người) sẽ tương 3. Khoảng tin
toán: Ta có, xn+1 = 16, nên ta thay vào phương trình đường
cậy cho mô
hình hồi quy ứng với sự gia tăng doanh số kỳ vọng là 5 000 đô la.
cậy cho mô
hình hồi quy
thẳng hồi quy tuyến tính (ước lượng) vừa tìm ta được:
ŷn+1 = β̂0 + β̂1 xn+1 = 60 + 5xn+1 = 60 + 5 ∗ 16 = 140

Như vậy, chúng ta dự đoán doanh số bán theo quý cho một
mô hình hồi mô hình hồi nhà hàng được đặt gần trường với 16 000 sinh viên là 140 000
quy quy
thuyết cho β0
thuyết cho β0
đô la.

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Ví dụ khác tính
N.T.bội
M. Ngọc Kiểm định giả thuyết cho β0
2.2 Ước lượng các hệ Xét mẫu ngẫu nhiên gồm 10 cặp giá trị (xi , yi ) cho bởi bảng 2.2 Ước lượng các hệ
số hồi quy
số hồi quy
• Bài toán kiểm định giả thuyết cho hệ số chặn β0 trong mô hình hồi
x -1 0 2 -2 5 6 8 11 12 -3 thiên của dữ liệu
quy tuyến tính đơn gồm các trường hợp sau:
y -5 -4 2 -7 6 9 13 21 20 -9 Ước lượng phương
( ( (
2.5 Tính chất của 2.5 Tính chất của H0 : β0 = b0 H 0 : β0 = b 0 H0 : β0 = b0
(a) (b) (c)
3. Khoảng tin (a) Vẽ biểu đồ phân tán cho dữ liệu, tìm đường thẳng hồi quy. 3. Khoảng tin H1 : β0 6= b0 H1 : β0 < b0 H1 : β0 > b0
(b) Tìm ước lượng σ̂ 2 cho phương sai σ 2 của sai số ngẫu nhiên. 3. 1 Khoảng tin cậy với giá trị b0 và mức ý nghĩa α cho trước. Thông thường b0 = 0.
cho trung bình biến (c) Thiết lập khoảng tin cậy 95% cho các hệ số β0 và β1 . 3.2 Khoảng tin cậy
quan trắc mới (d) Thiết lập khoảng dự đoán 95% tại x = 5. 3.3 Dự đoán giá trị
quan trắc mới

quy quy

XSTK XSTK
N.T. M. Ngọc Kiểm định giả thuyết cho β0 N.T. M. Ngọc Kiểm định giả thuyết cho β0
tuyến tính đơn Các bước kiểm định 2.1 Mô hình hồi quy
tuyến tính đơn
số hồi quy
số hồi quy
4. Xác định miền bác bỏ
1 Phát biểu giả thuyết H0 và đối thuyết, 2.3 Độ đo sự biến
2.4 Hệ số xác định 2.4 Hệ số xác định Đối thuyết Miền bác bỏ p - giá trị
sai σ 2 của sai số 2 Xác định mức ý nghĩa α, Ước lượng phương
H1 : β0 6= b0 n−2
|tβ0 | > t1−α/2 p = 2P(Tn−2 ≥ |tβ0 |)
3. Khoảng tin
3 Tính giá trị thống kê kiểm định: các ước lượng BPBN
3. Khoảng tin H 1 : β0 < b 0 tβ0 < −t1−αn−2

p = P(Tn−2 ≤ tβ0 )
cậy cho mô cậy cho mô n−2
hình hồi quy hình hồi quy H 1 : β0 > b 0 tβ0 > t1−α p = P(Tn−2 ≥ tβ0 )
3. 1 Khoảng tin cậy βˆ0 − b0 3. 1 Khoảng tin cậy
tβ0 = s
5. Kết luận: Bác bỏ H0 /Chưa đủ cơ sở để bác bỏ H0 .
1 x̄ 2
đáp ứng
quan trắc mới
MSE n + Sxx
đáp ứng
quan trắc mới

quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Kiểm định giả thuyết cho β1 tính
N.T.bội
M. Ngọc Kiểm định giả thuyết cho β1
tuyến tính đơn
tuyến tính đơn
Các bước kiểm định
số hồi quy
• Bài toán kiểm định giả thuyết cho hệ số góc β1 trong mô hình hồi số hồi quy
quy tuyến tính đơn gồm các trường hợp sau:
thiên của dữ liệu 1 Phát biểu giả thuyết H0 và đối thuyết,
(
H0 : β1 = b1
(
H 0 : β1 = b 1
(
H0 : β1 = b1
2 Xác định mức ý nghĩa α,
(a) (b) (c) các ước lượng BPBN
3. Khoảng tin H1 : β1 6= b1 H1 : β1 < b1 H1 : β1 > b1 3. Khoảng tin 3 Tính thống kê kiểm định:
với giá trị b1 và mức ý nghĩa α cho trước. Thông thường b1 = 0. 3. 1 Khoảng tin cậy
cho hệ số hồi quy βˆ1 − b1
tβ1 = r
đáp ứng đáp ứng MSE
quan trắc mới
quan trắc mới
Sxx
quy quy

XSTK XSTK
N.T. M. Ngọc Kiểm định giả thuyết cho β1 N.T. M. Ngọc Phân tích thặng dư
2. Mô hình
hồi quy tuyến
2. Mô hình
hồi quy tuyến
• Phân tích thặng dư (Analysis of Residuals) được sử dụng để kiểm
tính đơn tính đơn tra các giả định của mô hình hồi quy tuyến tính.
4. Xác định miền bác bỏ 2.2 Ước lượng các hệ
• Các giả định của mô hình:
thiên của dữ liệu 1 Đường thẳng hồi quy tổng thể: Y = β0 + β1 x + Varepsilon với
2.4 Hệ số xác định Đối thuyết Miền bác bỏ p - giá trị 2.4 Hệ số xác định
β0 và β1 là các hằng số sao cho với mỗi giá trị x ,
n−2 E(Y |x ) = β0 + β1 x .
H1 : β1 6= b1 |tβ1 | > t1−α/2 p = 2P(Tn−2 ≥ |tβ1 |) sai σ 2 của sai số
n−2 Phương sai bằng nhau: phương sai của biến đáp ứng (biến phụ
3. Khoảng tin H 1 : β1 < b 1 tβ1 < −t1−α p = P(Tn−2 ≤ tβ1 ) 3. Khoảng tin
2
cậy cho mô n−2 cậy cho mô thuộc) Y bằng nhau với mọi giá trị của biến độc lập X , tức là
hình hồi quy H 1 : β1 > b 1 tβ1 > t1−α p = P(Tn−2 ≥ tβ1 ) hình hồi quy
3. 1 Khoảng tin cậy 3. 1 Khoảng tin cậy Var (Y |x ) = σ 2 .
5. Kết luận: Bác bỏ H0 /Chưa đủ cơ sở để bác bỏ H0 . 3.2 Khoảng tin cậy
cho trung bình biến 3 Phân phối chuẩn: với mỗi giá trị của biến độc lập, phân phối có
3.3 Dự đoán giá trị 3.3 Dự đoán giá trị điều kiện (cho trước giá trị x ) của biến đáp ứng là phân phối
chuẩn, Y |x ∼ N (β0 + β1 x , σ 2 ).
mô hình hồi mô hình hồi 4 Độc lập: các quan trắc của biến đáp ứng Y độc lập với nhau.
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Phân tích thặng dư tính
N.T.bội
M. Ngọc Phân tích thặng dư
tuyến tính đơn • Với n cặp quan trắc (xi , yi ), gọi ei = yi − ŷi là thặng dư thứ i. Để 2.1 Mô hình hồi quy
tuyến tính đơn • Đồ thị thặng dư:
số hồi quy kiểm tra các giả định của mô hình có thỏa hay không, nhận xét trên 2.2 Ước lượng các hệ
số hồi quy
thiên của dữ liệu đồ thị của các giá trị thặng dư. 2.3 Độ đo sự biến
• Nếu các giả định của mô hình hồi quy thỏa, thì: Ước lượng phương
các ước lượng BPBN • Đồ thị của các giá trị thặng dư tương ứng với các giá trị biến các ước lượng BPBN
3. Khoảng tin
cậy cho mô
độc lập X phải có hình dạng thô, không đều (roughly), trải dọc 3. Khoảng tin
cậy cho mô
hình hồi quy theo chiều ngang và đối xứng qua trục Ox . hình hồi quy
• Đồ thị xác suất chuẩn (Normal Probability plot) của các giá trị cho hệ số hồi quy
đáp ứng thặng dư phải có dạng gần tuyến tính (roughly linear). đáp ứng

quy quy

XSTK XSTK
N.T. M. Ngọc Phân tích thặng dư N.T. M. Ngọc Phân tích tương quan
tuyến tính đơn • Đồ thị phân vị chuẩn (Q-Q plot): 2.1 Mô hình hồi quy
tuyến tính đơn
số hồi quy
số hồi quy • Phân tích tương quan (Correlation Analysis) dùng để đo độ mạnh
của mối liên hệ tuyến tính giữa hai biến ngẫu nhiên.
Xét hai biến ngẫu nhiên X , Y . Hiệp phương sai (Covariance) của X
và Y , ký hiệu là Cov (X , Y ), được định nghĩa như sau
Cov (X , Y ) = E [(X − E(X ))(Y − E(Y ))] = E(XY ) − E(X )E(Y )
(28)

quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Phân tích tương quan tính
N.T.bội
M. Ngọc Phân tích tương quan
tuyến tính đơn
Hệ số tương quan (Correlation coefficient) của 2.1 Mô hình hồi quy
tuyến tính đơn
số hồi quy
hai biến ngẫu nhiên X và Y , ký hiệu ρXY , được số hồi quy
Với mẫu ngẫu nhiên cỡ n: (Xi , Yi ), i = 1, . . . , n. Hệ số tương quan
xác định như sau 2.4 Hệ số xác định
mẫu, ký hiệu rXY , được xác định như sau
Cov (X , Y ) các ước lượng BPBN Pn
(Xi − X̄ )(Yi − Ȳ ) SXY
3. Khoảng tin
cậy cho mô
ρXY =q (29) 3. Khoảng tin
cậy cho mô
rXY = qP i=1 =√
S
(30)
Var (X )Var (Y ) n n XX SST
2
P 2
i=1 (X i − X̄ ) i=1 (Yi − Ȳ )
đáp ứng
Với hai biến ngẫu nhiên X và Y bất kỳ
đáp ứng

giả thuyết cho
mô hình hồi −1 ≤ ρXY ≤ 1 giả thuyết cho
mô hình hồi
quy quy

XSTK XSTK
N.T. M. Ngọc Phân tích tương quan N.T. M. Ngọc Đánh giá hiệp phương sai
hồi quy tuyến
tính đơn
Chú ý rằng: v
hồi quy tuyến
tính đơn
u SST
u 2.1 Mô hình hồi quy
βˆ1 =
t rXY 2.2 Ước lượng các hệ
số hồi quy
2.3 Độ đo sự biến SXX số hồi quy
suy ra,
2.4 Hệ số xác định • Cov (X , Y ) > 0: X và Y có xu hướng thay
2.5 Tính chất của đổi cùng chiều.
2 SXX SXY SSR các ước lượng BPBN
3. Khoảng tin
2
rXY = βˆ1 = βˆ1 = 3. Khoảng tin • Cov (X , Y ) < 0: X và Y có xu hướng thay
cậy cho mô
hình hồi quy
SST SST SST cậy cho mô
hình hồi quy
3. 1 Khoảng tin cậy 3. 1 Khoảng tin cậy đổi ngược chiều.
• Hệ số xác định, R 2 , của mô hình hồi quy tuyến
đáp ứng
đáp ứng
• Cov (X , Y ) = 0: X và Y độc lập (tuyến tính).
quan trắc mới
tính đơn bằng với bình phương của hệ số tương 3.3 Dự đoán giá trị
quan trắc mới
4. Kiểm định
giả thuyết cho
quan mẫu R2 = r 2
4. Kiểm định
giả thuyết cho
mô hình hồi XY mô hình hồi
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Đánh giá hệ số tương quan tính
N.T.bội
M. Ngọc Đánh giá hệ số tương quan
hồi quy tuyến
tính đơn
• Miền giá trị: −1 ≤ rXY ≤ 1, hồi quy tuyến
tính đơn
• −1 ≤ rXY < 0: tương quan âm. rXY càng gần

−1 biểu thị mối liên hệ tuyến tính nghịch 2.3 Độ đo sự biến
giữa X và Y càng mạnh. Ước lượng phương
• 0 < rXY ≤ 1: tương quan dương. rXY càng


cậy cho mô
hình hồi quy
gần 1 biểu thị mối liên hệ tuyến tính thuận cậy cho mô
hình hồi quy
giữa X và Y càng mạnh. 3. 1 Khoảng tin cậy
đáp ứng
• rXY càng gần 0, biểu thị mối liên hệ tuyến đáp ứng
4. Kiểm định tính yếu. rXY = 0: không có mối liên hệ tuyến 4. Kiểm định
mô hình hồi
quy
tính giữa X và Y . mô hình hồi
quy

XSTK XSTK
N.T. M. Ngọc Kiểm định giả thuyết cho hệ số N.T. M. Ngọc Kiểm định giả thuyết cho hệ số
1. Giới thiệu tương quan 1. Giới thiệu tương quan
tuyến tính đơn • Ta cần kiểm định giả thuyết H0 : không có 2.1 Mô hình hồi quy
tuyến tính đơn
số hồi quy
mối liên hệ tuyến tính giữa X và Y số hồi quy
Ước lượng phương Ước lượng phương • Bài toán kiểm định giả thuyết cho hệ số tương quan gồm các
H0 : ρ = 0 sai σ 2 của sai số
2.5 Tính chất của trường hợp sau:
3. Khoảng tin
• Thống kê kiểm định 3. Khoảng tin ( ( (
cậy cho mô cậy cho mô H0 : ρ = 0 H0 : ρ = 0 H0 : ρ = 0
hình hồi quy hình hồi quy (a) (b) (c)
3. 1 Khoảng tin cậy v 3. 1 Khoảng tin cậy H1 : ρ 6= 0 H1 : ρ < 0 H1 : ρ > 0
u
u n−2 3.2 Khoảng tin cậy
đáp ứng T = rXY t
2 (31) cho trung bình biến
đáp ứng với mức ý nghĩa α cho trước.
quan trắc mới 1 − rXY 3.3 Dự đoán giá trị
quan trắc mới

giả thuyết cho
mô hình hồi có phân phối Student với n − 2 bậc tự do. giả thuyết cho
mô hình hồi
quy quy

7. Mô hình
XSTK 7. Mô hình
XSTK
tính
N.T.bội
M. Ngọc Kiểm định giả thuyết cho hệ số tính
N.T.bội
M. Ngọc Kiểm định giả thuyết cho hệ số
1. Giới thiệu tương quan 1. Giới thiệu tương quan
tuyến tính đơn
số hồi quy
Các bước kiểm định tuyến tính đơn
số hồi quy
2.3 Độ đo sự biến 2.3 Độ đo sự biến 4. Xác định miền bác bỏ
1 Phát biểu giả thuyết H0 và đối thuyết, thiên của dữ liệu
Ước lượng phương Ước lượng phương Đối thuyết Miền bác bỏ p - giá trị
2 Xác định mức ý nghĩa α, sai σ 2 của sai số
2.5 Tính chất của n−2
các ước lượng BPBN các ước lượng BPBN H1 : ρ 6= 0 |t| > t1−α/2 p = 2P(Tn−2 ≥ |t|)
3. Khoảng tin
cậy cho mô
3 Tính thống kê kiểm định: 3. Khoảng tin
cậy cho mô H1 : ρ < 0 n−2
t < −t1−α p = P(Tn−2 ≤ t)
v n−2
H1 : ρ > 0 t > t1−α p = P(Tn−2 ≥ t)
u
u n−2 3. 1 Khoảng tin cậy
cho trung bình biến T = rXY t
2
đáp ứng
1 − rXY đáp ứng
5. Kết luận: Bác bỏ H0 /Chưa đủ cơ sở để bác bỏ H0 .

giả thuyết cho T có phân phối Student với n − 2 bậc tự do. giả thuyết cho
quy quy

XSTK XSTK
N.T. M. Ngọc Ví dụ N.T. M. Ngọc 7. Mô hình hồi quy tuyến tính bội
2. Mô hình Điểm thi giữa kỳ (x ) và cuối kỳ (y ) của một lớp có 9 sinh viên là như 2. Mô hình
hồi quy tuyến
tính đơn
sau: hồi quy tuyến
tính đơn
tuyến tính đơn x 77 50 71 72 81 94 96 99 67 tuyến tính đơn
số hồi quy y 82 66 78 34 47 85 99 99 68 số hồi quy
(a) Ước lượng đường hồi quy tuyến tính. Ước lượng phương
(b) Ước lượng điểm bài thi cuối kỳ của một sinh viên có điểm giữa
Bài tập lớn
3. Khoảng tin
cậy cho mô
kỳ là 85. 3. Khoảng tin
cậy cho mô
3. 1 Khoảng tin cậy (c) Tính σ̂ 2 = s 2 3. 1 Khoảng tin cậy
cho trung bình biến (d) Xây dựng khoảng tin cậy 95% cho β0 3.2 Khoảng tin cậy
quan trắc mới (e) Xây dựng khoảng tin cậy 95% cho β1 quan trắc mới

giả thuyết cho (f) Sử dụng giá trị s 2 đã tìm được ở câu (??), hãy xây dựng giả thuyết cho
quy
khoảng tin cậy 95% cho µY |85 . quy

tính bội tính bội

Chuong7 - Tuong Quan Va Hoi Quy - SV

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chuong7 - Tuong Quan Va Hoi Quy - SV

Uploaded by

Copyright:

Available Formats

XSTK XSTK

N.T. M. Ngọc N.T. M. Ngọc Phân tích hồi quy

ngtmngoc@hcmus.edu.vn cho hệ số hồi quy cáo và khuyến mãi,

3. Khoảng tin 3. Khoảng tin

• dự đoán, dự báo giá trị của Y ,

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

3. Khoảng tin 3. Khoảng tin • Với quan trắc x đã biết,

5. Phân tích 5. Phân tích

3. Khoảng tin 3. Khoảng tin

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

Từ (??), lấy đạo hàm theo β0 và β1 và giải hệ phương trình , ta tìm

5. Phân tích 5. Phân tích

N.T. M. Ngọc Ví dụ : N.T. M. Ngọc Giải:

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

3. Khoảng tin xi2 2

cậy cho mô cậy cho mô

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

2. Mô hình Gọi 2. Mô hình

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

3. Khoảng tin 3. Khoảng tin

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

3. Khoảng tin 3. Khoảng tin

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

N.T. M. Ngọc Gợi ý giải: N.T. M. Ngọc Gợi ý giải:

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

3. Khoảng tin H 1 : β0 < b 0 tβ0 < −t1−αn−2

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

5. Phân tích 5. Phân tích

5. Phân tích 5. Phân tích

6.Tương quan 6.Tương quan

4. Kiểm định 4. Kiểm định

5. Phân tích 5. Phân tích