Chương 1.

Cơ sở lý thuyết của phân tích SVD

1.1 Giới thiệu chung về SVD
- Phương pháp phân tích suy biến (singular value decomposition ) viết tắt là
SVD là một trong những phương pháp được phát triển lần đầu bởi những
nhà hình học vi phân. Ban đầu mục đích của phương pháp này là tìm ra một
phép xoay không gian sao cho tích vô hướng của các vecto không thay đổi.
Từ mối liên hệ này khái niệm về ma trận trực giao đã được hình thành để tạo
ra các phép xoay đặc biệt.
- Phương pháp SVD đã được phát triển dựa trên những tính chất của ma trận
trực giao và ma trận đường chéo để tìm ra một ma trận xấp xỉ ma trận gốc.
- Phương pháp này sau đó đã được ứng dụng hiệu quả trong các bài toán gợi ý
( recommedation ).

1.2 Phân tích ma trận SVD

Một ma trận Amxn bất kỳ đều có thể phân tích thành dạng
Amxn = U mxm ∑ mmxn (V nxn)T
Trong đó U,V là các ma trận trực giao, Σ là một ma trận đường chéo cùng kích
thước với A. Ma trận U là ma trận gồm các vecto riêng trái của A, ma trận V là
ma trận gồm các vecto riêng phải của A và ma trận Σ là ma trận đường chéo,
mỗi phần tử đường chéo là một trị riêng của A. Các trị riêng được sắp xếp trên
đường chéo chính theo thứ tự sau:
σ 1 ≥ σ 2 ≥ …≥ σ r ≥ σ r +1=…=σ p=0
Với r là hạng (rank) của ma trận A và p = min {m,n}
SVD của một ma trận bất kỳ luôn tồn tại và cách biểu diễn là không duy nhất.
Để thấy được mối quan hệ mật thiết giữa phép phân tích suy biến và phân tích
riêng sau khi khai triển tích.
Để tìm các ma trận Σ ,U , V ta thực hiện các bước sau:
Bước 1: Tìm ma trận V.
 AT'A =(U∑EVTI) U∑EVTI

=V. ∑2.UT.U. ∑Z.VT

= V∑ET∑EVT =V. ∑E2Z.VT

 Dấu bằng gần cuối xảy ra vì UT'U = I do U là một ma trận trực giao.
Như vậy, để tìm ma trận S và V, ta chỉ cần tìm các trị riêng và các
vector riêng của AT'.A vì ta thấy các trị riêng của ATT .A chính là bình
phương các phần tử của L còn các vector riêng của ATT.A chính là các
cột của V. 3

Bước 2: Tìm ma trận U. Nhân hai vế của (2.1) với AT" và sử dụng VTIV
=1
→ AATT= U. ∑2Z'.UTT
Vậy các cột của U chính là các vector riêng của AA. Cuối cùng, ta
phân tích ma trận A dưới dạng như sau:

()
T1
V
⋯
( σ ¿ ¿
A=( u1 … ur … un ) 1
⋯ ¿ ¿ )
¿¿ ⋯ ¿¿ σn ¿ V
T

⋯
r

VT n

A và ∑ là các ma trận kích thước mxn, U là ma trận mxm và V là ma trận nxn

Các phần tử 𝜎i ơi trên đường chéo chính của ∑2 được gọi là giá trị suy biến
(singular values)
của ma trận A. Các cột của ma trận V là hệ vector riêng ứng với trị riêng
của ∑T∑ 2"I và còn được gọi là hệ vector suy biến trái (left - singular
vectors). Các cột của U được gọi là hệ vector suy biến phải (right - singular
vectors).

=> Ma trận AT'A luôn là ma trận nửa xác định dương nên các trị riêng của nó là
không âm. Các 𝜎i ơ, là căn bậc hai của các trị riêng của ATA"A còn được gọi
là singular values của
A. Cái tên Singular Value Decomposition (SVD) xuất phát từ đây.

1.3. SVD rút gọn

- - Khi nói đến kỹ thuật phân tích nhân tử ma trận, SVD rút gọn là một
phương pháp phổ biến để tạo ra các đặc trưng bao gồm ma trận M thành
ba ma trận U , Σ và V .
 - Không giống như SVD thông thường, SVD rút gọn tạo ra một thừa
số hóa trong đó số lượng cột có thể được chỉ định bị cắt bớt.
- - Chú ý rằng trong ma trận L, các giá trị trên đường chéo là không âm và
giảm dần 𝜎1 oi≥ 𝜎2022...,≥ 𝜎r 0,≥ 0 = 0 =...= 0. Thông thường, chỉ một
lượng nhỏ các ơi mang giá trị lớn, các giá trị còn lại thường nhỏ và gần
0. Khi đó ta có thể xấp xixỉ ma trận A bằng tông của k ≤ r ma trận có
hạng 1:

❑ ❑ ❑ ❑
A❑❑ ❑❑ ❑❑ ( ❑❑) ❑❑❑❑❑ ❑ ❑❑❑❑❑ ❑❑❑❑❑❑ ❑

Nếu ma trận A có rank nhỏ hơn rất nhiều so với số hàng và số cột r m ,n , ta sẽ
được lợi nhiều về việc lưu trữ.
Dưới đây là ví dụ minh hhọaọạ với m=4 , n=6 , r=2.