Assignment 2:

Dữ liệu đầu vào: Cân nặng của các vận động viên nam và nữ, lấy từ tập dữ liệu
athletes.csv trên Kanggle

 ω 1 là cân nặng của các vận động viên nữ

 ω 2 là cân nặng của các vận động viên nam

Mô tả bài toán: Dùng bayes, tính likelihood, posterior, risk của 2 tập dữ liệu. Sau
đó áp dụng luật quyết định của bayes, phân loại x (cân nặng) vào các lớp phù hợp
(nam và nữ)

Thực hiện bài toán:

1. Xử lý dữ liệu: Tải dữ liệu lên, sau đó trích xuất cân nặng của vận động viên
theo giới tính, lưu vào ω 1 và ω 2
 Omega1, omega2 lần lượt là cân nặng của vận động viên nam và nữ
 Samples là tập không gian mẫu
 Array_x là các giá trị x xuất hiện trong samples
2. Xây dựng hàm:
3. Áp dụng:
 Tính likelihood:


Biểu đồ thể hiện:
  Tính posterior:

Từ biểu đồ trên, áp dụng luật quyết định của bayes:

 Tính Risk: Cho 2 hành động α 1 và α 2:

Từ biểu đồ trên, áp dụng luật quyết định của bayes:

Link source code:

https://colab.research.google.com/drive/1spRZFDFZmHWVoxGXGJnA8DO
wqgcqAeIY?usp=sharing
 Assignment 3:

I. Phân lớp bằng biệt hàm với hàm phân phối chuẩn

1. Biệt hàm

p ( x|ωi ) P ( ωi )
gi ( x ) =P ( ωi|x )= c

∑ p ( x|ω j ) P ( ω j )
j=1

~ gi (x )= p(x∨ω i) P(ω i)
gi (x)=ln p(x∨ω i)+ ln P( ωi )

2. Biệt hàm với dữ liệu phân phối chuẩn

gi (x )=ln p( x∨ω i)+ ln P(ωi ) (1)

1 (2)
p( x )=
¿¿

(1), (2) =>

1
gi ( x ) ¿− ¿
2

3. Tường hợp 1: ∑i =σ 2I
 |∑ i|=σ 2 d, ∑i−1=( 1/σ 2 )

2
−¿∨x−μi ∨¿
gi ( x ) = 2
+ ln P ( ω i )
2σ

−( x T x−2 μ Ti x+ μTi μ i)
gi ( x ) = + ln P(ωi )
2 σ2

T
1 T −μi μ i T
¿> μ x+[
2 i 2
+ln P(ω i)]=w i x + wi 0
σ 2σ

Hiện thực: với tập dữ liệu có 1 thuộc tính

Kết quả phân lớp:

Với tập dữ liệu tổng quát

Kết quả phân lớp
4. Tường hợp 1: ∑i =∑

−1
gi ( x ) = ¿
2

−( x T ∑−1 x−2 μ Ti ∑−1 x+ μ Ti ∑−1 μ i )

gi ( x ) = + ln P (ωi )
2
 T −1
T −1 μi ∑ μ i T
¿> μ ∑ x−
i + ln P(ωi)=wi x + wi 0
2

Hiện thực với tập dữ liệu tổng quát

Sử dụng Naive Bayes để phân loại hoa
1. Dữ liệu: bao gồm 150 mẫu với 4 thuộc tính(sepal length,
sepal width, petal length, petal width)
2. Về Naive Bayes Classifier

Công thức bayes

p( x ∨ωi ) P( ωi ) p (x∨ωi ) P (ωi )
P(ω i∨x)= =
p(x ) ∑ p( x∨ωi ) P(ω i)
i
Với các thuộc tính x sẽ tính được xác suất rơi vào các lớp,
lớp được chọn sẽ là lớp có xác suất cao nhất

 ω=argmax ( P ( ω|x ))

Vì p(x) không phụ thuộc vào ω nên ta có:

ω=argmax ( p ( x|ω ) P ( ω ) )

Priori được tích dựa trên xác xuất suất hiện lớp đó

Với giả thiết Naive Bayes, các thành phần x sẽ độc lập với
nhau vì vậy p ( x|ω ) được tính:
d
p ( x|ω ) =∏ p ( x i|ω )
i=1

d
ω=argmax ( P ( ω ) ∏ p ( x i|ω ) )
i=1

Dữ liệu phân phối chuẩn => p ( x i|ω )được tính

 2
−(xi − µ)
p ( x i|ω ) =¿p ( x | µ, σ)
i = σ √12 π ⅇ 2σ
2

Hiện thực bằng python

https://colab.research.google.com/drive/
1LUqPObDbjmD6mdVEAK1YI1Ts_vpoFbow?usp=sharing

Kết quả :

Kết quả khi sử dụng thư viện sklearn: