Phân Tích Số Liệu: Matrix Algebra And Random Vectors

PHÂN TÍCH SỐ LIỆU
MATRIX ALGEBRA AND RANDOM VECTORS
Giảng viên: Lê Xuân Lý

Nhóm 01 - lớp Toán Tin - học kỳ 20211
Viện Toán ứng dụng và Tin học

Trường đại học Bách Khoa Hà Nội
Ngày 21 tháng 2 năm 2023

Khái niệm cơ bản về ma trận và vector Một vài ứng dụng của ma trận Phần bổ sung
Thành viên nhóm
1 Nguyễn Thái Thịnh - 20195921

2 Vũ Văn Xứng - 20195943
3 Nguyễn Trường Giang - 20195868
4 Cao Đình Đạt - 20195850
5 Thịnh Xuân Đông - 20195855
6 Nguyễn Minh Đức - 20195858
PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Đánh giá hiệu quả nhóm
Cả nhóm đều tham gia đóng góp vào công việc chung để tạo ra sản
phẩm cuối cùng. Cụ thể:
Nhóm trưởng Thịnh: Lập kế hoạch, phân chia công việc, làm phần bài
tập và Excel.
Thành viên Giang và Đạt: Làm phần khái niệm cơ bản của ma trận và
vectors.
Thành viên Đức: Làm phần bất đẳng thức ma trận và cực đại hóa.
Thành viên Xứng và Đông: Làm phần vectors và ma trận ngẫu nhiên;
vector trung bình mẫu và ma trận hiệp phương sai.
Đánh giá của trưởng nhóm: Cả nhóm tích cực. Do tất cả các thành
viên đều tham gia đầy đủ các buổi họp, hoàn thành công việc được
giao, đồng thời tham gia thuyết trình phần bài làm của mình.

Nội dung chính
1 Khái niệm cơ bản về ma trận và vector

Vector
Ma trận
2 Một vài ứng dụng của ma trận
3 Phần bổ sung

Nội dung chính

Vector
Ma trận
3 Phần bổ sung

Nội dung chính

Vector
Ma trận
3 Phần bổ sung

Vector
Định nghĩa
Định nghĩa
Vector là một mảng của n số thực x1 , x2 , . . . , xn ; thường được biểu diễn
dưới dạng :
 
x1
 x2 
  h i
T
 ..  hoặc x = x1 , x2 , . . . , xn
x= 
 . 
xn
Ký hiệu T biểu thị phép chuyển vị.

Vector
Định nghĩa
Về mặt hình học, một vector gồm n phần tử được coi là một điểm
trong không gian n chiều.
Vector có các đặc tính là chiều dài và hướng.

Vector
Định nghĩa
Về mặt hình học, một vector gồm n phần tử được coi là một điểm
trong không gian n chiều.
Vector có các đặc tính là chiều dài và hướng.
" #
x
Ví dụ, Trong không gian R2 , điểm A(x1 , x2 ), xét vector x = 1 có
x2
q
hướng theo tia OA và độ dài |x| = x21 + x22

Vector
Minh họa
q
" # Lx = x21 + x22
x1 x2
x=
x2 x2
x1
p
x1 Hình: Độ dài của x = x21 + x22
0
Hình: Vector x ∈ R2

Vector
Cộng trừ
x, y là 2 vector n chiều :
     
x1 y1 x 1 ± y1
 x2   y2   x2 ± y2 
     
x±y = . ± . =
     .. 
 ..   ..   .


xn yn xn ± yn
Quy tắc đường chéo hình bình hành

Vector
Cộng trừ
Quy tắc đường chéo hình bình hành:

x+y
x−y
−y
Hình: Phép cộng và trừ 2 vector
Vector
Nhân vô hướng với một số thực
- Nhân vector x với c ∈ R :

 
cx1
 cx2 
 
cx = 
 .. 

 . 
cxn

Vector
- Nhân vector x với c ∈ R :

 
cx1
 cx2 
 
cx = 
 .. 

 . 
cxn
c > 0 : vector giữ nguyên hướng

c < 0 : vector đổi hướng ngược lại
c = L−1
x = |x|
−1 : nhận vector đơn vị

Vector
(cx1 , cx2 )
c>1
(y1 , y2 )
(x1 , x2 )
(cy1 , cy2 )
0<c<1
0
c<0
Hình: Phép nhân vector x và vector y với c

Vector
Phép toán giữa 2 vector
Phép nhân vô hướng (Inner dot) :
x′ y = y ′ x = x1 y1 + x2 y2 + . . . + xn yn
Góc giữa 2 vector được xác định bởi :
x′ y
cos (θ) =
Lx Ly
Phép nhân có hướng:
x × y = ⃗n|x||y|sin(θ)
⃗n trực giao với x,y, có hướng xác định theo quy tắc bàn tay phải.

Vector
Không gian vector
Không gian vector

Tập hợp V ̸= ∅ được gọi là một không gian vector trên Rn nếu nó được
trang bị hai phép toán gồm :
a)Phép cộng vector
b)Phép nhân vector với vô hướng

Vector
Không gian vector
Không gian vector

Tập hợp V ̸= ∅ được gọi là một không gian vector trên Rn nếu nó được
trang bị hai phép toán gồm :
a)Phép cộng vector
b)Phép nhân vector với vô hướng
Bao tuyến tính

n o
Cho V là một không gian vector. S = x1 , x2 , . . . , xn là một họ các
vector của V . Tập hợp tất cả các tổ hợp tuyến tính của các vector của S
được gọi là bao tuyến tính của S
Ký hiệu: span(S)
Nếu span(S)=V , S được coi là hệ sinh của không gian vector V .

Vector
Không gian vector
Độc lập tuyến tính

Hệ các vector x1 , x2 , . . . , xn được gọi là độc lập tuyến tính nếu hệ thức
c1 x1 + c2 x2 + . . . + cn xn = 0
chỉ xảy ra khi cn

1 = c2 = . . . =ocn = 0
Hệ vector S = v1 , v2 , . . . , vn được gọi là phụ thuộc tuyến tính nếu nó
không độc lập tuyến tính.

Vector
Không gian vector
Độc lập tuyến tính

Hệ các vector x1 , x2 , . . . , xn được gọi là độc lập tuyến tính nếu hệ thức
c1 x1 + c2 x2 + . . . + cn xn = 0
chỉ xảy ra khi cn

1 = c2 = . . . =ocn = 0
Hệ vector S = v1 , v2 , . . . , vn được gọi là phụ thuộc tuyến tính nếu nó
không độc lập tuyến tính.
Cơ sở của không gian vector

n o
Hệ vector S = v1 , v2 , . . . , vn của V được coi là một cơ sở của V khi và
chỉ khi nó là một hệ sinh độc lập tuyến tính.

Nội dung chính

Vector
Ma trận
3 Phần bổ sung

Ma Trận
Khái niệm
Ma trận là một mảng hình chữ nhật bao gồm các số thực
Ma trận A có m hàng, n cột với m,n ∈ N∗ :
 
a11 a12 ··· a1n
 a21

a22 ··· a2n 

Am×n =
 .. .. .. .. 
 . . . .


am1 am2 · · · amn

Ma Trận
Khái niệm
Ma trận là một mảng hình chữ nhật bao gồm các số thực
Ma trận A có m hàng, n cột với m,n ∈ N∗ :
 
a11 a12 ··· a1n
 a21

a22 ··· a2n 

Am×n =
 .. .. .. .. 
 . . . .


am1 am2 · · · amn
 
" # 1 2
1 2 3
Ví dụ: A2×3 = A3×2 = 3 4
 
4 5 6
5 6

Ma Trận
h = 1, ta thu được ima trận cỡ 1 × n gọi là vector hàng có dạng

Khi m
a = a11 a12 · · · a1n
Khi n = 1, ta thu được ma trận cỡ m×1 gọi là vector cột có dạng
h iT
a = a11 a12 · · · a1n

Ma Trận
h = 1, ta thu được ima trận cỡ 1 × n gọi là vector hàng có dạng

Khi m
a = a11 a12 · · · a1n
Khi n = 1, ta thu được ma trận cỡ m×1 gọi là vector cột có dạng
h iT
a = a11 a12 · · · a1n
Một ma trận có thể nhân với một hằng số c ∈ R bằng cách nhân tất
cả các phần tử của ma trận cho c.
" # " # " #
1 2 1×2 2×2 2 4
Ví dụ: A2×2 = ⇒ 2A = =
2 3 2×2 3×2 4 6

Ma trận
Tổng hiệu ma trận
Định nghĩa
Xét 2 ma trận cùng cỡ Am×n và Bm×n . Tổng (hiệu) của 2 ma trận A,B là
một ma trận cùng cỡ Cm×n với các phần tử là tổng (hiệu) của các thành
phần tương ứng.
   
a11 a12 ··· a1n b11 b12 ··· b1n
 a21

a22 ··· a2n 
  b21

b22 ··· b2n 

Am×n =
 .. .. .. ..  Bm×n =
 .. .. .. .. 
 . . . .

  . . . .


am1 am2 · · · amn bm1 bm2 · · · bmn

Ma trận
 
a11 ± b11 a12 ± b12 ··· a1n ± b1n
 a21 ± b21 a22 ± b22 ··· a2n ± b2n
 

Cm×n = Am×n ± Bm×n = .. .. .. .. 

 . . . .


am1 ± bm1 am2 ± bm2 · · · amn ± bmn

Ma trận
 
a11 ± b11 a12 ± b12 ··· a1n ± b1n
 a21 ± b21 a22 ± b22 ··· a2n ± b2n
 

Cm×n = Am×n ± Bm×n = .. .. .. .. 

 . . . .


am1 ± bm1 am2 ± bm2 · · · amn ± bmn
Ví dụ: " # " #
1 2 3 −3 1 4
A2×3 = B2×3 =
2 3 4 −2 1 5
" # " #
1−3 2+1 3+4 −2 3 7
C =A+B = =
2−2 3+1 4+5 0 4 9

Ma trận
Tích hai ma trận
Định nghĩa
-Trong toán học, phép nhân ma trận là phép toán tạo ra ma trận từ hai
ma trận cho trước.

Ma trận
Tích hai ma trận
Định nghĩa
-Để nhân ma trận, số lượng cột trong ma trận thứ nhất phải bằng số
lượng hàng trong ma trận thứ hai.

Ma trận
Tích hai ma trận
Định nghĩa
-Để nhân ma trận, số lượng cột trong ma trận thứ nhất phải bằng số
lượng hàng trong ma trận thứ hai.
-Ma trận kết quả, được gọi là tích ma trận, có số lượng hàng của ma trận
đầu tiên và số cột của ma trận thứ hai.

Ma trận
Tích hai ma trận
Cho 2 ma trận Am×n và Bn×p :

   
a11 a12 ··· a1n b11 b12 · · · b1p
 a21

a22 ··· a2n 
  b21

b22 · · · b2p 

A=
 .. .. .. ..  B=
 .. .. .. . 
 . . . .

  . . . .. 

am1 am2 · · · amn bn1 bn2 · · · bnp
 
c11 c12 ··· c1p
 c21

c22 ··· c2p 

Khi đó ma trận C = A × B = 
 .. .. .. .. 
 . . . .


cm1 cm2 · · · cmp
Pn
với cij = k=1 aik bkj , i = 1, m, j = 1, p

Ma trận
Tích hai ma trận
 
" # 1 2
1 2 3
Ví dụ 1: A2×3 = , B3×2 = 3 4
 
4 5 6
5 6
" #
22 28
⇒ C2×2 = A2×3 × B3×2 =
49 64

Ma trận
Tích hai ma trận
 
" # 1 2
1 2 3
Ví dụ 1: A2×3 = , B3×2 = 3 4
 
4 5 6
5 6
" #
22 28
⇒ C2×2 = A2×3 × B3×2 =
49 64
   
1 2 3 2 4 3
Ví dụ 2: A3×3 = 2 1 −2 , B3×3 = 0 1 5
   
4 5 1 2 3 1
 
8 15 16
⇒ C3×3 = A3×3 × B3×3 =0 3 9
 
10 24 38

Ma trận
Trị riêng và vector riêng
Định nghĩa
Cho A là ma trận vuông cấp n, ta gọi một số λ ∈ R là giá trị riêng của A
nếu tồn tại một vector u sao cho Au = λu.
Khi đó u được gọi là vector riêng của ma trận A

Ma trận
Trị riêng và vector riêng
Định nghĩa
Cho A là ma trận vuông cấp n, ta gọi một số λ ∈ R là giá trị riêng của A
nếu tồn tại một vector u sao cho Au = λu.
Khi đó u được gọi là vector riêng của ma trận A
" #
−1 3
Ví dụ: A =
−2 4
" # " # " # " #
−1 3 3 3 3
Dễ thấy: × =1× nên x = là vector riêng của ma
−2 4 2 2 2
trận và λ = 1 là giá trị riêng tương ứng.

Một số ma trận đặc biệt
Ma trận đối xứng

- Ma trận vuông A là ma trận đối xứng nếu A bằng chính chuyển vị của
nó: A = AT
-Mỗi phần tử của một ma trận đối xứng thì đối xứng qua đường chéo. Do
vậy, nếu các phần tử được viết dưới dạng A = (aij ), thì aij = aji


nó: A = AT
 
1 2 3
Ví dụ: A = 2 4 −2 là ma trận đối xứng cấp 3
 
3 −2 7


nó: A = AT
 
1 2 3
Ví dụ: A = 2 4 −2 là ma trận đối xứng cấp 3
 
3 −2 7
Chú ý: Mọi ma trận chéo đều đối xứng, bởi vì mọi phần tử không nằm
trên đường chéo chính đều có giá trị 0.

Ma trận đơn vị
Ma trận đơn vị In là ma trận có kích thước n × n, trong đó mọi phần tử
trên đường chéo chính bằng 1 và tất cả phần tử khác đều bằng 0.

 
1 0 0
Ví dụ: I = 0 1 0
 
0 0 1
Nhận xét: Ma trận đơn vị là ma trận đối xứng.

 
1 0 0
Ví dụ: I = 0 1 0
 
0 0 1
Nhận xét: Ma trận đơn vị là ma trận đối xứng.
Ma trận nghịch đảo
Cho ma trận vuông A, giả sử tồn tại duy nhất ma trận vuông cùng cấp B
sao cho AB = BA = I với I là ma trận đơn vị, thì ta nói B là ma trận
nghịch đảo của ma trậnA.
Ký hiệu: B = A−1

Ma trận đường chéo và ma trận tam giác

Nếu mọi phần tử của A ở bên dưới đường chéo chính bằng 0, thì A
được gọi là ma trận tam giác trên.
Tương tự, nếu mọi phần tử của A ở bên trên đường chéo chính bằng
0, thì A được gọi là ma trận tam giác dưới.
Nếu mọi phần tử nằm bên ngoài đường chéo chính đều bằng 0, thì A
được gọi là ma trận đường chéo.

Ma trận đường chéo và ma trận tam giác

Nếu mọi phần tử của A ở bên dưới đường chéo chính bằng 0, thì A
được gọi là ma trận tam giác trên.
Tương tự, nếu mọi phần tử của A ở bên trên đường chéo chính bằng
0, thì A được gọi là ma trận tam giác dưới.
Nếu mọi phần tử nằm bên ngoài đường chéo chính đều bằng 0, thì A
được gọi là ma trận đường chéo.
Ví dụ: Ma trận chéo :  

66 0 0
 0 69 0 
 
0 0 99


Ma trận đối xứng xác định
Ma trận đối xứng xác định dương

Định nghĩa: Cho ma trận vuông An×n đối xứng, ma trận A được gọi là
xác định dương nếu với mọi vector khác 0 x ∈ Rn , dạng toàn phương xác
định bởi Q(x) = xT Ax > 0.



" #
1
0 4
Ví dụ: là ma trận xác định dương.
0 1



" #
1
0 4
0 1
Mệnh đề: Ma trận xác định dương nếu và chỉ nếu các trị riêng của nó
cũng dương.



" #
1
0 4
0 1
Mệnh đề: Ma trận xác định dương nếu và chỉ nếu các trị riêng của nó
cũng dương.
Tính chất: Ma trận đối xứng xác định dương thì mọi phần tử trên đường
chéo chính dương.

Chứng minh: Giả sử A là ma trận vuông cấp n có dạng

 
a11 a12 · · · a1n
 a21

a22 · · · a2n 

A=
 .. .. .. .. .
 . . . .


an1 an2 · · · ann

Chứng minh: Giả sử A là ma trận vuông cấp n có dạng

 
a11 a12 · · · a1n
 a21

a22 · · · a2n 
. Chọn xT = [0, 0, ..., 1, 0, ...0]] , với xi = 1

A=
 .. .. .. ..
 . . . .


an1 an2 · · · ann
 
0
0
  
a11 a12 · · · a1n
· · · a2n  .. 
 a21 a22

T
 .
Ta có x Ax = [0, 0, ..., 1, 0, ...0]   = aii

 .. .. .. ..  1

 . . . .  
 .. 

an1 an2 · · · ann .
0
Vì A là ma trận đối xứng xác định dương nên aii > 0.


Ma trận đối xứng xác định âm

Định nghĩa: Tương tự ma trận đối xứng xác định dương, ma trận đối
xứng là xác định âm khi dạng toàn phương bởi Q(x) = xT Ax < 0.


Ma trận đối xứng xác định âm

Định nghĩa: Tương tự ma trận đối xứng xác định dương, ma trận đối
xứng là xác định âm khi dạng toàn phương bởi Q(x) = xT Ax < 0.
-Ta cũng có ma trận nửa xác định dương khi Q(x) = xT Ax ⩾ 0.

-Ma trận không xác định khi Q(x) vừa có thể âm vừa có thể dương.
" #
1
4 0
Ví dụ: 1 là ma trận không xác định.
0 4


Ma trận trực giao

Định nghĩa: Ma trận trực giao là ma trận vuông với các phần tử thực sao
cho các cột và hàng là những vectơ đơn vị trực giao (nghĩa là vectơ trực
chuẩn). Hay nói tương đương, ma trận A trực giao nếu và chỉ nếu ma trận
chuyển vị của nó bằng ma trận nghịch đảo của nó.



Định nghĩa: Ma trận trực giao là ma trận vuông với các phần tử thực sao
cho các cột và hàng là những vectơ đơn vị trực giao (nghĩa là vectơ trực
chuẩn). Hay nói tương đương, ma trận A trực giao nếu và chỉ nếu ma trận
chuyển vị của nó bằng ma trận nghịch đảo của nó.
-Có thể biểu diễn như sau: AT A = AAT = I

với A là ma trận vuông, AT là ma trận chuyển vị của A, I là ma trận đơn
vị.
-Điều này dẫn đến đặc điểm sau: một ma trận A là trực giao nếu chuyển
vị của nó chính là nghịch đảo của nó:
AT = A−1


Tính chất của ma trận trực giao:

1. Tổng bình phương các phần tử trong 1 hàng hoặc một 1 bằng 1.
a2i1 + a2i2 + ... + a2in = 1, ∀i = 1, n
2. Tổng các tích của tất cả phần tử của 2 hàng hoặc 2 cột khác nhau
bằng 0.
ai1 ak1 + ai2 ak2 + ... + ain akn = 0, ∀k, i = 1, n, k ̸= i
Ví dụ : ma trận Givens
" #
cosθ −sinθ
sinθ cosθ


Ma trận căn bậc hai
Cho A là ma trận đối xứng xác định dương cấp k. Theo tính chất A có
k trị riêng dương phân biệt λ1 , λ2 , . . . λk . Ta có khai triển phổ của A:
k
X
A = P ΛP T = λi ei eTi
i=1
ở đó P là ma trận trực giao, Λ = diag(λ1 , λ2 , . . . λk ).

Ta định nghĩa ma trận căn bậc 2 của A:
k p
X
A 1/2
= λi ei eTi = P A1/2 P T
i=1


Ma trận căn bậc hai
Tính chất:
1. A1/2 A1/2 = A
2. A1/2 = (A1/2 )T
Pk
3. (A1/2 )−1 = i=1
√1 ei eT
λi i = P Λ−1/2 P T khi Λ−1/2 là một ma trận
chéo với √1 là một phần tử trên đường chéo
λi
4. A1/2 A−1/2 = A−1/2 A1/2 = I, và A−1/2 A−1/2 = A−1 khi

A−1/2 = (A1/2 )−1

Nội dung chính
3 Phần bổ sung

Giải hệ phương trình
Phương trình AX = B là hệ m phương trình với n ẩn số được biểu diễn

qua các ma
 trận sau:     
a11 ... a1n b1 x1
Am×n =  ... aij ...  , Bm×1 =  ... , Xn×1 =  ... 
     
am1 ... amn bm xn

Giải hệ phương trình
Phương trình AX = B là hệ m phương trình với n ẩn số được biểu diễn

qua các ma
 trận sau:     
a11 ... a1n b1 x1
Am×n =  ... aij ...  , Bm×1 =  ... , Xn×1 =  ... 
     
am1 ... amn bm xn
Trong đó:
Am×n là ma trận hệ số của phương trình, Bm×1 là ma trận hệ số tự do,
Xn×1 là ma trận ẩn số.
Áp dụng các phương pháp đã học để giải AX = B trên các ma trận hệ số.

Lý thuyết đồ thị
Ma trận kề của một đồ thị hữu hạn biểu diễn hai đỉnh bất kì có được nối
với nhau bằng cạnh của đồ thị hay không. Ma trận chỉ chứa các giá trị 0
hoặc 1 biểu thị có hoặc không.
Ví dụ: đồ thị vô hướng có 4 đỉnh với ma trận kề biểu diễn như sau:
 
0 1 0 1

 1 0 1 1 

0 1 0 0
 
 
1 1 0 0

Lý thuyết đồ thị
Ma trận kề của một đồ thị hữu hạn biểu diễn hai đỉnh bất kì có được nối
với nhau bằng cạnh của đồ thị hay không. Ma trận chỉ chứa các giá trị 0
hoặc 1 biểu thị có hoặc không.
Ví dụ: đồ thị vô hướng có 4 đỉnh với ma trận kề biểu diễn như sau:
 
0 1 0 1

 1 0 1 1 

0 1 0 0
 
 
1 1 0 0
Ma trận trọng số của đồ thị có trọng số, tương tự như ma trận kề, thay 0
hoặc 1 bằng các trọng số của ma trận

Lưu trữ ảnh số
Ứng dụng trong xử lí ảnh số

Các ảnh kỹ thuật số hiện nay được lưu trữ thông tin dưới dạng các ma
trận điểm ảnh.

Lưu trữ ảnh số
Ứng dụng trong xử lí ảnh số

Các ảnh kỹ thuật số hiện nay được lưu trữ thông tin dưới dạng các ma
trận điểm ảnh.
Một bức ảnh 800x600 pixel, có thể biểu diễn dưới dạng một ma trận cỡ
800 × 600 điểm ảnh.
 
p1,1 ... p1,600
P800×600 =  ... pi,j ...
 

p800,1 ... p800,600
Kỹ thuật xử lý ảnh có thế áp dụng bằng các phép toán của ma trận.

Nội dung chính
3 Phần bổ sung

Vectors
Quá trình Gram - Schmidt
Các khái niêm cơ bản về vectors, cộng và nhân vectors ta sẽ trình bày
ở các chương trước.( Definition 2A.1 - 2A.10 )
Ta sẽ trình bày về quá trình Gram - Schmidt. ( Definition 2A.11)
Định lý
Cho V là một không gian vectơ có tích vô hướng, S = {u1 , u2 , . . . , un } là
một họ vectơ độc lập tuyến tính của V . Ta có thể thay S bởi họ trực
chuẩn S ′ = {v1 , v2 , . . . , vn }, sao cho span
{u1 , u2 , . . . , uk } = span {v1 , v2 , . . . , vk } với moi k = 1, 2, . . . , n

Vectors
u1
Bước 1: Đặt v1 = ∥u1 ∥
Bước 2: Đặt v2 = u2 + tv1 sao cho < v2 , v1 >= 0 tức là
t = − < u2 , v1 >. Sau đó chọn v2 = ∥vv22 | .

Vectors
u1
Giả sử sau k − 1 bước ta đã xây dựng được họ trực chuẩn
′
Sk−1 = {v1 , v2 , . . . , vk−1 } sao cho span
{u1 , u2 , . . . , uk−1 } = span {v1 , v2 , . . . , vk−1 } . Ta thực hiện đến bước
thứ k sau:
Bước k: Đặt vk = uk + t1 v1 + . . . + tk−1 vk−1 sao cho
< vk , vj >= 0, j = 1, 2, . . . , k − 1. Tức là ta có
vk
tj = − < uk , vj >, j = 1, 2, . . . , k − 1. Sau đó chọn vk = ∥v̄k | . Tiếp
tục thực hiện đến khi k = n ta thu được hệ trực chuẩn
S ′ = {v1 , v2 , . . . , vn }

Vectors
u1
Giả sử sau k − 1 bước ta đã xây dựng được họ trực chuẩn
′
Sk−1 = {v1 , v2 , . . . , vk−1 } sao cho span
{u1 , u2 , . . . , uk−1 } = span {v1 , v2 , . . . , vk−1 } . Ta thực hiện đến bước
thứ k sau:
Bước k: Đặt vk = uk + t1 v1 + . . . + tk−1 vk−1 sao cho
< vk , vj >= 0, j = 1, 2, . . . , k − 1. Tức là ta có
vk
tj = − < uk , vj >, j = 1, 2, . . . , k − 1. Sau đó chọn vk = ∥v̄k | . Tiếp
tục thực hiện đến khi k = n ta thu được hệ trực chuẩn
S ′ = {v1 , v2 , . . . , vn }
Ví dụ:
Ma trận
4 không gian con cơ bản
Các khái niệm cơ bản về ma trận ta đã trình bày khá đầy đủ ở các
chương trước. ( Definition 2A.13 - 2A.24 )
Luôn có thể coi ma trận như một toán tử tuyến tính và ngược lại. Từ
đó ta có các định nghĩa sau:
4 không gian con cơ bản của ma trận

Xét toán tử tuyến tính T : Rn → Rm có ma trận Am×n tương ứng.
Không gian cột của A, ký hiệu Im(A) là span các vector cột của A
Không gian hàng của A là không gian cột của AT
Không gian hạt nhân của A, ký hiệu Ker(A) là span các vector riêng
ứng với trị riêng bằng 0 của A
Không gian hạt nhân trái của A là không gian hạt nhân của AT

Ma trận
Định lý về hạng và số chiều

Với mọi toán tử tuyến tính T : Rn → Rm có ma trận Am×n ta luôn có:
Dim(Im(A)) + Dim(Ker(AT )) = m
Dim(Im(AT ) + Dim(Ker(A)) = n
Chú ý: Với mọi ma trận A, ta luôn có

Dim(Im(A)) = Dim(Im(AT )) = Rank(A)
Nhờ quá trình Gram - Shmidt ta luôn có thể tìm được cơ sở trực
chuẩn của bất cứ không gian nào, từ đó ta mở rộng khai triển phổ của
ma trận vuông sang khai triển SVD của ma trận có kích cỡ bất kỳ.

Ma trận
Phân rã ma trận
Phân ra phổ
Ma trận vuông thực A đối xứng phân rã được thành ba ma trận đặc biệt:
A = P −1 ΛP
Ở đó P là ma trận trực giao chứa các vector riêng trực chuẩn, Λ là ma

trận đường chéo chính chứa các giá trị riêng tương ứng.

Ma trận
Phân rã ma trận
Phân ra phổ
Ma trận vuông thực A đối xứng phân rã được thành ba ma trận đặc biệt:
A = P −1 ΛP
Ở đó P là ma trận trực giao chứa các vector riêng trực chuẩn, Λ là ma

trận đường chéo chính chứa các giá trị riêng tương ứng.
Phân rã kỳ dị
Mọi ma trận thực A đều phân rã được thành ba ma trận đặc biệt:
A = U ΣV T
Ở đó U, V là các ma trận trực giao chứa các vector kỳ dị trái và phải. Σ là

ma trận đặc biệt có đường chéo chính chứa các giá trị kỳ dị tương ứng.
Ma trận
Phân rã ma trận
SVD của Amxn trong 2 trường hợp m < n và m > n:
Hình: Khai triển SVD của A

Ma trận
Phân rã ma trận
Về mặt hình học, khai triển kỳ dị của ma trận sẽ lần lượt trải qua:
phép xoay (rotation), phép nới rộng (scaling) và phép xoay ở cuối
cùng.
Nếu coi các dòng của ma trận A là các điểm dữ liệu và các chiều dữ
liệu là các cột. Khi đó:
Nhân các điểm dữ liệu với ma trận trực giao V T chính là việc ta thực
hiện một phép xoay và phép xoay này không làm thay đổi tích vô
hướng của các vector.
Phép nhân với ma trận đường chéo Σ sẽ làm co dãn độ lớn các chiều
theo giá trị của các trị riêng trên đường chéo chính.
Và cuối cùng, phép nhân với ma trận trực giao U lại thực hiện phép
xoay lần nữa.
Các quá trình trên có thể được mô tả như sau:

Ma trận
Phân rã ma trận

Ma trận
Phân rã ma trận
Một biểu diễn SVDs tương đương khác của A dưới dạng tổng của các
ma trận rank 1:
A = σ1 u1 v1T + σ2 u2 v2T + . . . + σr ur vrT
Với r = rank(A)
Trong cách biểu diễn này, ma trận A chỉ phụ thuộc vào r cột đầu tiên
của U , V và r giá trị khác 0 trên đường chéo chính của ma trận Σ.
Nếu A có rank nhỏ hơn rất nhiều so với số hàng và số cột r ≪ m, n
ta sẽ được lợi về mặt lưu trữ.

Ma trận
Phân rã ma trận
Ví dụ minh hoạ với m = 4, n = 6, r = 2:

Ma trận
Phân rã ma trận
Trong ma trận Σ, các giá trị trên đường chéo chính không âm và
giảm dần σ1 ≥ σ2 ≥ · · · ≥ σr ≥ 0 = 0 = . . . = 0. Thông thường,
chỉ một lượng nhỏ các giá trị σi mang giá trị lớn, các giá trị còn lại
thường nhỏ và gần 0.
Ta có thể xấp xỉ ma trận A bằng tổng của k < r ma trận có rank 1
A ≈ Ak = Uk Σk (Vk )T = σ1 u1 v1T + . . . + σk uk vkT
Định lý xấp xỉ ma trận
Sai số do cách xấp xỉ trên chính là căn bậc hai của tổng bình phương của
các singular values mà ta bỏ qua ở phần cuối của Σ
r
||A − Ak ||2F = σi2
P
i=k+1
Chứng minh: Tham khảo Deninition 2A.32/Result 2A.15

Ma trận
Phân rã ma trận
Sai số do xấp xỉ càng nhỏ nếu phần singular values bị truncated có giá trị
càng nhỏ so với phần singular values được giữ lại. Đây là một định lý quan
trọng giúp xác định việc xấp xỉ ma trận dựa trên lượng thông tin muốn giữ
lại.
Ví dụ, nếu ta muốn giữ lại ít nhất 90% lượng thông tin trong A:
r
σj2
P
Trước hết ta tính
j=1
Pk
σ2
Sau đó chọn k nhỏ nhất sao cho: ri=1 σi2 ≥ 0.9
P
j=1 j
Khi k nhỏ, Ak có rank là k, ma trận có rank nhỏ. Vì vậy phương

pháp xấp xỉ ma trận này còn được gọi là Low-rank approximation

Bài tập
2.2. Given the matrices

   
" # 4 −3 5
−1 3
A= , B =  1 −2  , and C =  −4 
   
4 2
−2 0 2
perform the indicated multiplications.

a) 5A
b) BA
c) A ′ B′
d) C ′B
e) Is AB defined?

Bài tập
" #
5 12
2.5. Check that Q = 13 13 is an orthogonal matrix.?
− 12 5
" #13 13
9 −2
2.6. Let A =
−2 6
a) Is A symmetric?
b) Show that A is positive definite.

Bài tập
2.24. Let X have covariance matrix

 
4 0 0
Σ= 0 9 0 
 
0 0 1
Find
1 Σ−1
2 The eigenvalues and eigenvectors of Σ.
3 The eigenvalues and eigenvectors of Σ−1 .

Bài tập
 
25 −2 4
2.25. Let X have covariance matrix Σ =  −2 4 1 
 
4 1 9
1 Determine ρ and V 1/2 .
2 Multiply your matrices to check the relation V 1/2 ρV 1/2 = Σ.
2.26. Use Σ as given in Exercise 2.25.
1 Find ρ13 .
2 Find the correlation between X1 and 21 X2 + 12 X3

Bài tập
2.41. You are given the random vector X′ = [X1 , X2 , X3 , X4 ] with mean
vector µ′X = [3, 2, −2, 0] and variance-covariance matrix
 
3 0 0 0
 0 3 0 0 
Σx = 
 
0 0 3 0

 
0 0 0 3
Let  
1 −1 0 0
A= 1 1 −2 0 
 
1 1 1 −3
1 Find E(AX), the mean of AX.

2 Find Cov(AX), the variances and covariances of AX.
3 Which pairs of linear combinations have zero covariances?
Bài tập thực tế
Trình bày trên Excel

Phân Tích Số Liệu: Matrix Algebra And Random Vectors

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Phân Tích Số Liệu: Matrix Algebra And Random Vectors

Uploaded by

Copyright:

Available Formats

PHÂN TÍCH SỐ LIỆU

MATRIX ALGEBRA AND RANDOM VECTORS

Giảng viên: Lê Xuân Lý

Viện Toán ứng dụng và Tin học

Ngày 21 tháng 2 năm 2023

Thành viên nhóm

1 Nguyễn Thái Thịnh - 20195921

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Đánh giá hiệu quả nhóm

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Nội dung chính

1 Khái niệm cơ bản về ma trận và vector

2 Một vài ứng dụng của ma trận

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Nội dung chính

1 Khái niệm cơ bản về ma trận và vector

2 Một vài ứng dụng của ma trận

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Nội dung chính

1 Khái niệm cơ bản về ma trận và vector

2 Một vài ứng dụng của ma trận

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Ký hiệu T biểu thị phép chuyển vị.

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Quy tắc đường chéo hình bình hành:

- Nhân vector x với c ∈ R :

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

- Nhân vector x với c ∈ R :

c > 0 : vector giữ nguyên hướng

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Hình: Phép nhân vector x và vector y với c

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Phép nhân vô hướng (Inner dot) :

Góc giữa 2 vector được xác định bởi :

Phép nhân có hướng:

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Không gian vector

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Không gian vector

Bao tuyến tính

Nếu span(S)=V , S được coi là hệ sinh của không gian vector V .

Độc lập tuyến tính

chỉ xảy ra khi cn

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Độc lập tuyến tính

chỉ xảy ra khi cn

Cơ sở của không gian vector

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

Nội dung chính

1 Khái niệm cơ bản về ma trận và vector

2 Một vài ứng dụng của ma trận

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

h = 1, ta thu được ima trận cỡ 1 × n gọi là vector hàng có dạng

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

h = 1, ta thu được ima trận cỡ 1 × n gọi là vector hàng có dạng

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS

PHÂN TÍCH SỐ LIỆU MATRIX ALGEBRA AND RANDOM VECTORS