PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI TIỂU

GIẢNG VIÊN: TRẦN HÀ SƠN

ĐẠI HỌC KHOA HỌC TỰ NHIÊN-ĐHQG TPHCM

Ngày 3 tháng 4 năm 2023

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 1 / 18

Overview

1 Đặt vấn đề

2 Phép chiếu một vector lên một đường thẳng qua gốc tọa độ

3 Phép chiếu vuông góc xuống không gian con

4 Phương pháp bình phương tối tiểu

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 2 / 18

Nghiệm bình phương tối tiểu

Bài toán.
Hãy tìm vector x̂ sao cho vector Ax̂ gần b nhất, tức là kAx̂ − bk nhỏ nhất.
Vector x̂ thỏa tính chất trên được gọi là nghiệm bình phương tối tiểu của
hệ
Ax = b.

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 3 / 18

Phép chiếu vuống góc một vector lên đường thẳng qua gốc
tọa độ

Định lý
Hình chiếu của vector b lên đường thẳng đi qua gốc tọa độ O có phương
là vector a là
aT b
p = x̂a = T · a.
a a

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 4 / 18

Phép chiếu vuống góc một vector lên một không gian con

Định lý
Cho H là không gian con của không gian Euclide X , kho đó mọi vector x
bất kì đều phân tích được duy nhất thành:

x = u + v,

trong đó u ∈ H và v ∈ H ⊥ . Phần tử u trong khai triển này được gọi là

hình chiếu vuông góc của x xuống không gian con H và được ký hiệu là
pH (x).

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 5 / 18

Phép chiếu vuống góc một vector lên một không gian con

Định lý
Cho không gian con H của không gian vector Euclide X và x ∈ X .
1 Phần tử pH (x) là phần tử thuộc H gần x nhất, nói cách khác

kx − pH (x)k = min kx − y k.
y ∈H

2 Nếu e1 , e2 , . . . , er là cơ sở trực chuẩn của H thì

pH (x) = (x, e1 )e1 + (x, e2 )e2 + · · · + (x, er )er .

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 6 / 18

Phép chiếu vuống góc một vector lên một không gian con

Ví dụ
Trong R3 với tích vô hướng chính tắc, cho
     
1 1 2
x1 = 1 , x2 = 0 , x3 = 1 , H = span(x1 , x2 ).
    
1 1 2

Hãy biểu diễn x thành x = u + v , trong đó u ∈ H, v ∈ H ⊥ .

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 7 / 18

Phép chiếu vuống góc một vector lên một không gian con

Ví dụ
Xây dựng cơ sở trực chuẩn của H theo phương pháp Gram − Schmidt như
(x2 , y1 )
sau: Đặt y1 = x1 , y2 = x2 − y1 . Khi đó
(y1 , y1 )
       
1 1 1 0
3
y1 = 1 , y2 = 0 − 1 = −1
3
1 1 1 1
Từ đó    
1 0
y1 1   y2 1  
e1 = = √ 1 , e2 = = √ −1 .
ky1 k 3 1 ky2 k 2 1

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 8 / 18

Phép chiếu vuống góc một vector lên một không gian con

Ví dụ
Với e1 , e2 là cơ sở trực chuẩn của H, ta có u = (x, e1 )e1 + (x, e2 )e2 .
Nghĩa là
10
 
   
1 0 6
5 1 1 1 7
u = √ · √ 1 + √ · √ −1 =  6

3 3 1 2 2 1  13 
6
1
 
 3 
 1
và v = x − u =  − 6 

 1
−
6

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 9 / 18

Phương pháp bình phương tối tiểu

Định lý
Cho ma trận A ∈ Mm×n (R), nghiệm bình phương tối tiểu của phương
trình Ax = b là vector x̂ thỏa

Ax̂ = pH (b),

trong đó H = span(A1 , A2 , . . . , An ).

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 10 / 18

Phương pháp bình phương tối tiểu

Nhận xét
Hệ Ax̂ = pH (b) luôn có nghiệm và b − pH (x) = b − Ax̂ ⊥ H, tức là
b − Ax̂ trực giao với tất cả các cột của A, nên

AT (Ax̂ − b) = 0 =⇒ AT Ax̂ = AT b.

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 11 / 18

Phương pháp bình phương tối tiểu

Nhận xét
Để tìm nghiệm bình phương tối tiểu, ta làm theo các bước sau:
Bước 1. Tìm cơ sở không gian cột H của ma trận A.
Bước 2. Trực chuẩn hóa cơ sở của H.
Bước 3. Tìm pH (b).
Bước 4. Giải hệ Ax̂ = pH (b) (hệ này luôn có nghiệm).

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 12 / 18

Phương pháp bình phương tối tiểu

Định lý
Nếu ma trận A ∈ Mn (R) có hạng n thì AT A là ma trận vuông cấp n khả
nghịch, nên phương trình Ax = b có duy nhất một nghiệm bình phương
tối tiểu là x̂ = (AT A)−1 AT b.

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 13 / 18

Phương pháp bình phương tối tiểu

Áp dụng phương pháp bình phương tối tiểu.

Cho các hàm số f1 (t), f2 (t), f3 (t), . . . , fn (t) và m cặp giá trị
(t1 , b1 ), (t2 , b2 ), . . . , (tm , bm ). Hãy tìm hàm số có dạng

f (t) = x1 f1 (t) + x2 f2 (t) + · · · + xn fn (t)

thỏa mãn điều kiện f (ti ) = bi , i = 1, 2, . . . , m.

Tức là 

 x1 f1 (t1 ) + x2 f2 (t1 ) + · · · + xn fn (t1 ) = b1
x1 f1 (t2 ) + x2 f2 (t2 ) + · · · + xn fn (t2 ) = b2


 ··················
x1 f1 (tn ) + x2 f2 (tn ) + · · · + xn fn (tn ) = bn


FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 14 / 18

Phương pháp bình phương tối tiểu

Ví dụ
Tìm hàm bậc nhất y = ax + b thỏa mãn điều kiện

x 0 3 6
y 1 4 5

Chứng minh.
   
0 1   1
a
Đặt A = 3 1 , X =
  , 4 . Ta được AX = C .
b
6 1 5
 
2
T −1 T 3
Nghiệm bình phương tối tiểu x̂ = (A A) A C =  4  .
3
2 4 2 4
Do đó a = , b = . Tức là y = x + .
3 3 3 3
FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 15 / 18
Phương pháp bình phương tối tiểu

Nhận xét
Đường thẳng ∆ không đi qua các điểm M(0, 1), N(3, 4), P(6, 5) nhưng
tổng AM 2 + BN 2 + PC 2 nhỏ nhất.

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 16 / 18

Phương pháp bình phương tối tiểu

Ví dụ
Tìm hàm y = C + Dt + Et 2 thỏa mãn điều kiện

t 0 1 2
y 6 0 0

Đáp án: x̂ = (C , D, E ) = (6, −9, 3).

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 17 / 18

Phương pháp bình phương tối tiểu

Ví dụ
Tìm hàm y = C + Dt + Et 2 thỏa mãn điều kiện

t -2 -1 0 1 2
y 0 0 1 0 0
34 10
Đáp án: x̂ = (C , D, E ) = ( , 0, − ).
70 70

FIT (HCMUS) LINEAR ALGEBRA Ngày 3 tháng 4 năm 2023 18 / 18