1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

TỐI ƯU VÀ GIẢI THUẬT <

HTTPS://TOIUUVAGIAITHUAT.COM/>
Trang này trình bày những kiến thức căn bản về tối ưu hóa và
các giải thuật

Ôn tập một số kiến thức toán cơ bản

Nội dung [hide]

1 Một số ký hiệu thường dùng trong các chương

2 Đại số tuyến tính
2.1 Vector và ma trận
2.1.1 Ma trận đơn vị
2.1.2 Ma trận chuyển vị (transpose)
2.1.3 Ma trận đối xứng (symmetric matrix)
2.2 Phép nhân vector, ma trận
2.2.1 Tích vô hướng của hai vector
2.2.2 Tích giữa ma trận và vector
2.2.3 Tích hai ma trận
2.2.4 Một số tính chất của phép nhân ma trận
2.3 Ma trận xác định dương
2.4 Độc lập tuyến tính và hạng ma trận
2.5 Nghịch đảo ma trận
3 Hàm số
3.1 Gradient và Hessian
3.2 Chain rule
3.3 Hàm norm

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 1/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Một số ký hiệu
thường dùng trong
các chương
R : không gian số thực.
R : không gian vector có kích thước n.
n

R : không gian ma trận kích thước m × n.

m×n

R ,R + : Không gian các số thực không âm, không gian các số thực dương.
++

S : không gian các ma trận đối xứng.

n

S ,S
n
+
: không gian các ma trận đối xứng bán xác định dương, không gian các
n
++

ma trận đối xứng xác định dương.

A > 0, A ∈ S (positive definite matrix): ma trận xác định dương. Ta có A > 0
n

tương đương với x Ax > 0, ∀x ≠ 0.

T

A < 0, A ∈ S (negative definite matrix): ma trận xác định dương. Ta có A < 0

n

tương đương với x Ax < 0, ∀x ≠ 0.

T

A ≥ 0, A ∈ S (positive semidefinite matrix): ma trận bán xác định dương. Ta

n

có A ≥ 0 tương đương với x Ax ≥ 0, ∀x ≠ 0. T

A ≤ 0, A ∈ S (negative semidefinite matrix): ma trận bán xác định âm. Ta có

n

A ≤ 0 tương đương với x Ax ≤ 0, ∀x ≠ 0.

T

x < y với x, y ∈ R (componentwise less than): x ≤ y , i = 1, … , n. Tương

n
i i

tự cho các ký hiệu ≥, <, >.

1: vector với các thành phần đều bằng 1

I (identity matrix): ma trận đơn vị.

X (transpose vector / matrix): vector / ma trận chuyển vị.

T

Các phần tiếp theo đây ôn tập một số khái niệm toán cơ bản về toán cần để hiểu
nội dung của các bài viết.

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 2/12
1/28/23, 11:58 PM

Đại số tuyến tính

Vector và ma trận

Vector a ∈ R

dễ được đề cập sau.

n

a =

⎢⎥
Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

là tập hợp n số thực. Khi nói đến vector, ta hiểu là vector cột

⎣
a1

a2

an
⎤

Vector hàng được ký hiệu là a , trong đó T là kí hiệu vector hay ma trận chuyển vị
T

Ví dụ dùng vector thể hiện các đặc trưng của một căn nhà bao gồm: diện tích
(theo mét vuông), số phòng ngủ, số tầng. Như vậy nếu một căn nhà có diện tích
100 m , 3 phòng ngủ, và 2 tầng thì các đặc trưng của căn nhà được biểu diễn qua
vector a
2

∈ R
3
.

a =
⎡

⎣
100
⎤

in đâm và không in đậm, do đó khi ký hiệu x là vector thì thường kèm theo
x ∈ R
n
nếu vector có n chiều.

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/
⎦

Lưu ý: Một số sách ký hiệu vector bằng chữ cái thường in đậm, khác với số thực vô
hướng là chữ cái thường không in đậm. Tuy nhiên do đặc điểm của lĩnh vực này sử
dụng rất nhiều ký hiệu vector, đồng thời khi viết tay cũng khó phân biệt được chữ

3/12
1/28/23, 11:58 PM

Ma trận A

nhà:

A ij
a1 =
∈ R

⎢⎥
⎡

⎣
m×n

số thực. Ví dụ với các vector đăc trưng a

100

cũng là một ma trận n × 1.

Ma trận đơn vị
3

2
⎤

⎦
a2 =

A =
Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

bao gồm m hàng và n cột. A bao gồm m × n phần tử là các

⎣ T⎦
a

là phần tử hàng i, cột j. Với ví dụ trên ta có A

150

Ta có thể dùng ma trận X để biểu diễn tập dữ liệu như sau:

a
⎡ 1 ⎤

a
4

T
2

T
3

4
⎤

⎦
1,

=
⎡

⎣
100
… , a4 ∈ R

a3 =

150

110

80

Ma trận đơn vị (identity matrix) ký hiệu là I là một ma trận vuông n × n, trong đó

các phần tử trên đường chéo chính đều bằng 1 và các phần tử ngoài đường chéo
chính đều bằng 0.

Ví dụ ma trận đơn vị có kích thước 3 là

I ij = {

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/
⎡

⎣
1

0
ế
1 n u i = j

0 nếu i

0
0

1
⎤

⎦
≠ j
⎡

2
110

2,3
⎤
2

1
⎤

⎦
3
của tập dữ liệu gồm 4 căn

⎦
a4 =

= 2, A 1,1 = 100
⎡

⎣
80
⎤
2

. Vector
⎦

4/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Ma trận chuyển vị (transpose)

Ma trận chuyển vị của ma trận A ∈ R

n×p
là ma trận A T
∈ R
p×n
, trong đó

T
(A ) = A ji .
ij

Ta có (A T
)
T
= A và (A + B) T
= A
T
+ B
T
.

Ma trận đối xứng (symmetric matrix)

Ma trận A đối xứng nếu

A ij = A ji .

Hay nói cách khác, ma trận A đối xứng nếu A = A

T
.

1 2 3
⎡ ⎤
Ví dụ ma trận A = 2 5 6 đối xứng. S thường được ký hiệu là không gian
n

⎣ ⎦
3 6 7

các ma trận đối xứng kích thước n.

Phép nhân vector, ma trận

Tích vô hướng của hai vector

Tích vô hướng hai vector (tiếng Anh là inner product, hay dot product) x, y ∈ R
n

được ký hiệu là x T
y.

T T
x y = y x = ∑ xi yi .

i=1

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 5/12
1/28/23, 11:58 PM

Tích giữa ma trận và vector

Ví dụ với ma trận A trong ví dụ trên, x

y = Ax =

Ta có thể biểu diễn hệ phương trình sau

thành dạng ma trận

trong đó

A =
⎡

⎣
a 11

a 21

a m1
= Ax

y = Ax =

a 22

a m2
…

…
⎡

⎣
100

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/
150

110

80

⎢⎥
Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Tích của một ma trận và vector là một vector. Giả sử x là vector có n chiều, A là
ma trận m × n, thì ta có y là một vector có m chiều.

T
a

a 2n

a mn
a

⎣ T ⎦

2
m
T
1

T
2
⎤

= [1 2 3]

a m1 x 1 + a m2 x 2 + … + a mn x n = b m

a 12 …
Ax = b,

a 1n
⎤

⎦
;
x =

a 11 x 1 + a 12 x 2 + … + a 1n x n = b 1

a 21 x 1 + a 22 x 2 + … + a 2n x n = b 2
⎤

⎦
⎣
⎡

1
⎡ ⎤

x =
2

3
⎦
a

⎣
⋯

thì
T
1

T
2

T
m

x1

x2

xn
x

x
⎤

⎦
112

164

120

87

;
⎤

b =
⎡

⎣
b1

b2

bm
⎤

6/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Tích hai ma trận

Cho hai ma trận A ∈ R

m×n
,B ∈ R
n×p
. Tích hai ma trận AB là ma trận
C ∈ R
m×p
, trong đó

C ij = ∑ A ik B kj ,

k=1

bằng tích vô hướng giữa hàng i của A và cột j của B.

Một số tính chất của phép nhân ma trận

(AB)C = A(BC) .
A(B + C) = AB + AC .
T T T
(AB) = B A

Lưu ý phép nhân ma trận không có tính giao hoán:

AB ≠ BA.

Ma trận xác định dương

Một ma trận A ∈ S
n
là bán xác định dương (positive semidefinite), ký hiệu là
A ≥ 0 , nếu x T
Ax ≥ 0 với mọi vector x ∈ R
n
. Trong trường hợp x T
Ax > 0 với
mọi x, ma trận A được gọi là xác định dương (positive definite).

Khái niệm về ma trận bán xác định âm (negative semidefinite) và xác định âm
(negative definite) là tương tự, chỉ có đổi dấu ≥, > thành ≤, <.

Một số tính chất của ma trận bán xác định dương như sau:

1. Một ma trận đối xứng là xác định dương nếu và chỉ nếu tất cả các giá trị riêng
(eigenvalue) của nó là số thực không âm.
2. Một ma trận có thể vừa không xác định dương và cũng không xác định âm.

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 7/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

3. Nếu A và B là những ma trận bán xác đinh dương thì A + B cũng bán xác định
dương. Nếu A hay B xác định dương thì A + B xác định dương.
4. Nếu A xác định dương thì các phần tử trên đường chéo chính là số không âm.
5. Cho hai ma trận vuông A và B, ta viết A ≥ B nếu và chỉ nếu A − B ≥ 0.
6. Nếu A và B là các ma trận đối xứng và xác định dương thì C = [A B ] cũng ij ij

xác định dương.

Độc lập tuyến tính và hạng ma trận

Tập các vector x 1, … , xn ∈ R

m
được gọi là độc lập tuyến tính nếu không có
vector nào là tổ hợp tuyến tính của các vector còn lại. Tức là không tồn tại i sao
cho

xi = ∑ αj xj ,

j≠i

với mọi α là các số thực. Ta có thể định nghĩa độc lạp tuyến tính một cách khác:
j

không tồn tại số thực α 1, … , αn nào mà

∑ α i x i = 0.

i=1

Ngược lại thì ta nói n vector này phụ thuộc tuyến tính.

Cho ma trận A ∈ R
m×n

column rank của A là số vector cột tối đa của ma trận A độc lập tuyến tính.
row rank của A là số vector hàng tối đa của ma trận A độc lập tuyến tính.

Cho ma trận A ∈ R
m×n
, ta có column rank cũng bằng row rank và ta ký hiệu là
rank(A) .

Nếu rank(A) = min(m, n) ta gọi A là full rank.

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 8/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Nghịch đảo ma trận

Nghịch đảo một ma trận vuông A ∈ R

n×n
ký hiệu là A −1
sao cho

−1 −1
AA = I = A A.

Ma trận tồn tại ma trận nghịch đảo được gọi là ma trận khả nghịch (invertible) hay
non-singular. Ngược lại thì được gọi là ma trận không khả nghịch hay singular.

Ta có mội số tính chất sau về phép nghịch đảo:

Nghịch đảo của một ma trận là duy nhất.

Nghịch đảo của nghịch đảo là ma trận ban đầu: (A ) = −1 −1
A .
Nghịch đảo của tích: (AB) = B A . −1 −1 −1

Chuyển vị của nghịch đảo là nghịch đảo của chuyển vị: (A −1

)
T
= (A
T
)
−1
.

Hàm số

Gradient và Hessian

Xét hàm số f : R
n
→ R .

Gradient của hàm số f ký hiệu là ∇ x f (x) là vector có n phần tử, trong đó phần
tử thứ i là

∂f (x)
(∇ x f (x)) = .
∂x i

Ví dụ

2x 1
Cho f (x 1 , x2 ) = x
2
1
2
,
+ x , x 1 , x 2 ∈ R ∇f (x) = [
2
]
2x 2 .

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 9/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Ma trận Hessian ∇ 2
f (x) ∈ R
n×n
có phần tử i, j được cho bởi

2
∂ f (x)
2
(∇ f (x)) =
ij
∂x i ∂x j

Chain rule

Cho hàm h(x) = g(f (x)) , trong đó f : R

n
,
→ R g : R → R , và h : R
n
. Ta
→ R

có

′
∇h(x) = g (f (x))∇f (x).

Hàm norm

Norms (denoted ∥x∥) là một hàm biểu thị độ dài của vector x. Khoảng cách giữa
hai vector x, y thường được biểu diễn là ∥x − y∥.

Hàm f : R
n
→ R được gọi là norm nếu nó thỏa mãn các tính chất sau:

f không âm: f (x) ≥ 0, ∀x ∈ R , n

f xác định: f (x) = 0 chỉ nếu x = 0,

f đồng nhất: f (tx) = |t|f (x) với mọi x ∈ R and t n
∈ R,
f thỏa tính chất: f (x + y) ≤ f (x) + f (y).

Một số ví dụ về hàm norm:

Sum-absolute-value, or ℓ -norm: 1

∥x∥ 1 = |x 1 | + |x 2 | + … + |x n |.

Chebyshev hay còn gọi ℓ -norm: ∞

∥x∥ ∞ = max{|x 1 |, |x 2 |, … , |x n |}.

Euclidean norm, or ℓ -norm: 2

T 1/2 2 2 2 1/2
∥x∥ 2 = (x x) = (x + x + … + x ) .
1 2 n

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 10/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

ℓp -norm, p > 1 :

p p p 1/p
∥x∥ p = (x + x + … + x ) .
1 2 n

Quadratic norm. Cho ma trận P > 0 ,

T 1/2 1/2
∥x∥ P = (x P x) = ∥P x∥ 2 .

Norms in R m×n
: Frobenius norm, maximum-absolute-value norm.

Tài liệu tham khảo:

1. Zico Kolter (updated by Chuong Do). Linear Algebra Review and Reference.
2015.
2. Stephen P. Boyd, and Lieven Vandenberghe. Convex optimization (appendices).
Cambridge university press, 2004.

Recent Posts

Ôn tập một số kiến thức toán cơ bản < https://toiuuvagiaithuat.com/on-

tap-mot-so-kien-thuc-toan-co-ban/>

Phương pháp proximal gradient < https://toiuuvagiaithuat.com/proximal-

gradient/>

Phương pháp Newton < https://toiuuvagiaithuat.com/phuong-phap-

newton/>

Phương pháp dual decomposition <

https://toiuuvagiaithuat.com/phuong-phap-dual-decomposition/>

Lý thuyết đối ngẫu < https://toiuuvagiaithuat.com/ly-thuyet-doi-ngau/>

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 11/12
1/28/23, 11:58 PM Ôn tập một số kiến thức toán cơ bản – Tối Ưu và Giải Thuật

Phương pháp subgradient < https://toiuuvagiaithuat.com/phuong-phap-

subgradient/>

Stochastic gradient descent (SGD) <

https://toiuuvagiaithuat.com/stochastic-gradient-descent-sgd/>

Multiclass classification – Softmax regression <

https://toiuuvagiaithuat.com/multiclass-classification-softmax-
regression/>

Binary classification – Logistic regression <

https://toiuuvagiaithuat.com/logistic-regression/>

Gradient descent < https://toiuuvagiaithuat.com/gradient-descent/>

Categories

Tối ứng lồi và các ứng dụng < https://toiuuvagiaithuat.com/category/toi-

uu-loi/>

Uncategorized < https://toiuuvagiaithuat.com/category/uncategorized/>

TỐI ƯU VÀ GIẢI THUẬT <

HTTPS://TOIUUVAGIAITHUAT.COM/>

Proudly powered by WordPress < https://wordpress.org/> .

https://toiuuvagiaithuat.com/on-tap-mot-so-kien-thuc-toan-co-ban/ 12/12