Support vector machines(svm)

Instructors:
Dr z. Ghassabi
z.r.ghassabi@gmail.com

Presenting by:
Eisa Jafari Amirbandi
Eisa.Jafari.Amirbandi@gmail.com

Ghazal Shamsipour
Gh.shamsipour@Hotmail.com
 2 What is Support vector machines(svm)?

Introduction
what’s svm?
application
Flashback ‫( است که جزو شاخه‬classifier)‫دسته بندی کننده ای‬SVM 
Reminder .‫ در یادگیری ماشین محسوب میشود‬Kernel Methods
Types of svm’s ‫معرفی شده است‬Vapnik ‫ توسط‬1995 ‫در سال‬SVM 
Issue
http://link.springer.com/article/10.1007/BF00994018
Cited by 13557
Summary
‫بخاطر موفقیت آن در تشخیص حروف دست نویس‬SVM ‫ شهرت‬
Conclusion
‫است که با شبکه های عصبی بدقت تنظیم شده برابری میکند‬
Example
 3 ‫کاربرد‬
Introduction
what’s svm?
application
Flashback  SVM is widely used in object detection & recognition,
Reminder
content-based
Types of svm’s
 image retrieval, text recognition, biometrics, speech
Issue
recognition, etc.
Summary
 Also used for regression (SVR), (will not cover today)
Conclusion
‫ در هر مساله که جدا ساز های خطی و غیر خطی برای‬
Example ‫ استفاده کرد‬svm ‫کالسبندی استفاده شود می توان از‬
 4 Flashback (ml)

Introduction
what’s svm?
application
Flashback ‫( است که جزو شاخه‬classifier)‫دسته بندی کننده ای‬SVM 
Reminder
.‫ در یادگیری ماشین محسوب میشود‬Kernel Methods
Types of svm’s
‫ یادگیری چست؟‬
Issue
‫ کالسیفایر چیست؟‬
Summary

Conclusion

Example
 5 Flashback (ml)

Introduction
what’s svm?
application
Flashback  Supervised classification
Reminder
perceptron, support vector machine, loss functions, kernels,random
Types of svm’s forests

Issue

Summary  Supervised regression

Conclusion
ridge regression, lasso regression, SVM regression

Example
 Unsupervised learning
graphical models, sequential Monte Carlo, PCA, Gaussian Mixture
Models, probabilistic PCA, hidden Markov models

Refrenc:Hilary Term 2014

A. Zisserman
 6 Flashback (ml)

Introduction
what’s svm?
application
Flashback 1-Regression - supervised
Reminder
estimate parameters, e.g. of weight vs height
Types of svm’s

Issue

Summary Refrenc:Hilary Term 2014

Conclusion A. Zisserman
Example

2-Classification - supervised
estimate class, e.g. handwritten digit classification
 7 Flashback (ml)

Introduction
what’s svm?
application
Flashback 3- Unsupervised learning – model the data
Reminder
clustering
Types of svm’s

Issue

Summary

Conclusion

Example

dimensionality reduction
 8 Intuition
Introduction

Reminder
Discriminant Function ‫ کدام یک از جدا ساز ها را انتخاب کنیم؟‬:‫ سوال‬
Margin

Types of svm’s
‫کدام یک بهتر است؟‬:‫ سوال‬
Issue

Summary

Conclusion

Example
 ‫‪9‬‬ ‫کدام یک از جدا ساز ها را انتخاب کنیم‬

‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪Discriminant Function‬‬ ‫‪ ‬اگر دو دسته وجود داشته‬
‫‪Margin‬‬
‫باشند که بصورت خطی از‬
‫‪Types of svm’s‬‬ ‫هم جداپذیر باشند‪ ،‬بهترین‬
‫‪Issue‬‬ ‫جدا کننده این دو دسته‬
‫چیست؟‬
‫‪Summary‬‬

‫‪Conclusion‬‬
‫‪ ‬الگوریتم های مختلفی از‬
‫جمله پرسپترون میتوانند این‬
‫‪Example‬‬
‫جداسازی را انجام دهند‪.‬‬
‫‪ ‬آیا همه این الگوریتمها‬
‫بخوبی از عهده اینکار بر‬
‫میآیند؟‬

‫‪Refrence image:wikipedia‬‬
 10 ‫کدام یک از جدا ساز ها را انتخاب کنیم‬

Introduction

Reminder
Discriminant Function ‫؟‬H3 ‫ بهتر است یا‬H2 
Margin

Types of svm’s

Issue

Summary

Conclusion

Example

Refrence image:wikipedia
 11 ‫کدام یک از جدا ساز ها را انتخاب کنیم‬

Introduction

Reminder
Discriminant Function ‫؟‬H3 ‫ بهتر است یا‬H2 
Margin

Types of svm’s
‫ جدا سازی بهتر است که‬
‫) بزرگتری‬margin(‫حاشیه‬
Issue
‫داشته باشدو حاشیه بزرگتر‬
Summary ‫به معنی ضریب اطمینان‬
Conclusion
‫بیشتر است‬
Example

Refrence image:wikipedia
 12 )margin(‫حاشیه‬
Introduction
• The hyperplane with the largest margin has equal
distances to the nearest sample of both classes
Reminder
Discriminant Function
Margin • SVM finds the solution with maximum margin
Types of svm’s

Issue

Summary

Conclusion

Example
 13 What is Support vector(‫?)بردار پشتیبان‬

Introduction

Reminder
‫ بردار‬,‫ نزدیکترین داده های آموزشی به ابر صفحه های جدا کننده‬
Types of svm’s
What’s SV?
‫پشتیبان نامیده میشوند‬
Hard Margin
Soft Margin
Nonlinear Margin

Issue
Support vectors
Summary

Conclusion

Example

Maximizes
Narrower
margin
margin
 ‫‪14‬‬ ‫یادآوری (معادله خط در صفحه)‬

‫‪y‬‬
‫معادله ضمنی خط در فضای ‪ 2‬بعدی‪:‬‬ ‫‪Ax+By+C=0‬‬
‫‪Ax+By+C=0‬‬
‫تغییر نوتیشن‪:‬‬
‫‪𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑏 = 0‬‬

‫‪𝑤1‬‬ ‫‪𝑥1‬‬
‫=‪W‬‬ ‫‪𝑤2‬‬ ‫=‪X‬‬ ‫‪𝑥2‬‬

‫فرم ماتریسی‪:‬‬ ‫‪x‬‬

‫‪𝑊𝑇𝑋 + b = 0‬‬

‫‪W‬خطی است عمود بر خط جداساز و جهت آن‬

‫در جهت مثبت جداساز می باشد‬
15 )Linear Discriminant Function( ‫یادآوری‬

‫ بعدی‬n ‫ بعدی را به فضای‬2 ‫ می توانیم تعمیم دهیم فضای‬

.‫پس داریم‬

𝑤𝑖 𝑥𝑖 + 𝑏 = 0 𝑊𝑇𝑋 + b = 0
𝑖

Refrence image:wikipedia
 16 svm ‫انواع‬
Introduction

Reminder

Types of svm’s
What’s SV?
Hard margin linear SVM
 Soft margin linear SVM
Hard Margin
Soft Margin
Nonlinear Margin

 Non-linear SVM
Issue

Summary

Conclusion

Example
 17 Hard Margin SVM
Introduction

Reminder
‫ < است که در‬X𝑖 , Y𝑖 > ‫ فرض کنید داده های آموزشی به صورت‬
Types of svm’s
What’s SV?
:‫آن داریم‬
Hard Margin
Soft Margin
Nonlinear Margin

Issue
{X𝑖 , Y𝑖 } i=1,2,…,n
Summary

Conclusion X𝑖 ∈ 𝑅𝑑
Example
Y𝑖 ∈ {1, −1}
𝑊𝑇𝑋 + b > 1

𝑊 𝑇 𝑋𝑖 + b > 1 if Y𝑖 = 1 For i=1,2,…,n

𝑊 𝑇 𝑋𝑖 + b < −1 if Y𝑖 = −1
𝑊 𝑇 𝑋 + b < −1
 ‫‪18‬‬ ‫‪Hard Margin SVM‬‬
‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪ ‬طبق تعریف ‪ svm‬ما بدنبال جداسازی هستیم که حاشیه‬
‫‪Types of svm’s‬‬
‫?‪What’s SV‬‬
‫بزرگتری داشته باشد برای اینکار احتیاج داریم به فرمولی برسیم‬
‫‪Hard Margin‬‬
‫‪Soft Margin‬‬
‫که مقدار حاشیه را بر حسب پارامتر ریاضی به ما دهد‬
‫‪Nonlinear Margin‬‬ ‫از طرفی می دانیم حاشیه همان فاصله ‪ 2‬خط موازی اطراف‬
‫‪Issue‬‬ ‫جداساز است پس داریم‪:‬‬
‫‪Summary‬‬

‫‪Conclusion‬‬

‫‪Example‬‬ ‫‪𝑊𝑇𝑋 + b > 1‬‬

‫‪𝑊 𝑇 𝑋 + b < −1‬‬

‫‪2‬‬
‫=𝑑‬
‫|𝑤|‬
 19 Hard Margin SVM
Introduction

Reminder
:‫ تعریف مساله‬
Types of svm’s
2
What’s SV?
Hard Margin ‫ ما می خواهیم مقدار حاشیه(| 𝑤 | = 𝑑) را افزایش دهیم‬svm ‫ در‬
Soft Margin
Nonlinear Margin :‫به شرط این که رابطه زیر برقرار باشد‬
Issue

Summary
𝑊 𝑇 𝑋𝑖 + b > 1 if Y𝑖 = 1
Conclusion For i=1,2,…,n
𝑊 𝑇 𝑋𝑖 + b < −1 if Y𝑖 = −1
Example 𝑊𝑇𝑋 + b > 1

𝑊 𝑇 𝑋 + b < −1
 20 Hard Margin SVM
Introduction

Reminder 2
‫ برای افزایش حاشیه(| 𝑤 | = 𝑑) باید مقدار | 𝑤 |(مخرج کسر) را‬
Types of svm’s
What’s SV?
Hard Margin
: ‫مینیم کنیم و شرط مساله را می توانیم این گونه بنویسیم‬
Soft Margin
Nonlinear Margin

Issue

Summary
𝑊 𝑇 𝑋𝑖 + b > 1 if Y𝑖 = 1 For i=1,2,…,n
Conclusion Y𝑖 (𝑊 𝑇 𝑋𝑖 + b) > 1
𝑊 𝑇 𝑋𝑖 + b < −1 if Y𝑖 = −1
Example
 21 Hard Margin SVM
Introduction

Reminder
| 𝑤 | ‫ برای راحتی کار و استفاده از جبر خطی به جای مینیم کردن‬
Types of svm’s 1
What’s SV? : ‫ را مینمم می کنیم پس داریم‬2 | 𝑤 |2 ‫تابع‬
Hard Margin
Soft Margin
Nonlinear Margin

Issue
1
Summary
Minimum | 𝑤 |2
2

Conclusion

Example Such that:

Y𝑖 (𝑊 𝑇 𝑋𝑖 + b) > 1 For i=1,2,…,n

 ‫‪22‬‬ ‫یادآوری توابع الگرانژ و شروط‪KKT‬‬
‫‪Introduction‬‬

‫‪Reminder‬‬

‫‪Types of svm’s‬‬
‫اگر بخواهیم تابع )‪ F(x‬را نسبت به ‪ x‬مینمم کنیم با‬
‫?‪What’s SV‬‬
‫‪Hard Margin‬‬
‫شرط این که ‪ g(x)≥0‬می توانیم از تابع الگرانژ‬
‫استفاده کنیم‬
‫‪Soft Margin‬‬
‫‪Nonlinear Margin‬‬

‫‪L(x,u)=F(x)-uG(x) ; u≥0‬‬
‫‪Issue‬‬

‫‪Summary‬‬

‫‪Conclusion‬‬ ‫که در این تابع می بایست ‪ x‬را مینمم کرده و ‪ u‬را‬

‫‪Example‬‬ ‫ماکسیمم سازبم‬
‫شروط ‪:KKT‬‬
‫)‪∂L(x,u‬‬
‫‪=0‬‬
‫‪∂x‬‬
‫‪uG(x)=0‬‬
 23 Hard Margin SVM
Introduction

Reminder
1
Types of svm’s Minimum | 𝑤 |2 Such that: Y𝑖 (𝑊 𝑇 𝑋𝑖 + b) − 1 > 0
2
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary :‫طبق قضیه الگرانژ‬

Conclusion

Example
 24 Solving the Optimization Problem

Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary


Conclusion 
Example
Karush-Kuhn-Tucker (KKT) conditions:
𝑎𝑖 ≥0
i[yi (wxi b) 1] 0
only SVs will have non-zero ai
 25 KKTcond:i[yi (wxi b) 1] 0
Introduction Class 2
Reminder

Types of svm’s
What’s SV?
8=0.6 10=0
Hard Margin
Soft Margin

7=0
Nonlinear Margin

Issue 2=0
5=0
Summary

Conclusion 1=0.8
Example 4=0
6=1.4
9=0
3=0
Class 1
 26 Solving the Optimization Problem

Introduction

Reminder
:‫در تابع الگرانژ داریم‬ ‫ با جا گذاری‬
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Q(α)
Nonlinear Margin

Issue

Summary

Conclusion

Example
‫ برای ماکسیمم کردن تابع بر حسب 𝑖𝑎 می توانیم‬dual ‫ طبق قضیه‬
‫رابطه باال را در منفی ضرب کرده و مساله مینیمایزیشن شود‬
 27 Solving the Optimization Problem

Introduction

Reminder
‫ شده است که‬quadratic program ‫ مساله ما تبدیل به یک‬
Types of svm’s
What’s SV?
‫ ها را‬a ‫ حل کرد و مقدار‬quadprog ‫می توان در متلب با دستور‬
Hard Margin
Soft Margin
‫بدست آورد‬
Nonlinear Margin

Issue

Summary

Conclusion

Example
‫ باید دو ماتریس را تعریف کنیم‬quadprog ‫برای استفاده از دستور‬

H=𝑦𝑖 𝑦𝑗 𝑥𝑖𝑇 𝑥𝑗

f=-1

a = quadprog(H,f)
 28 Hard Margin SVM
Introduction

Reminder
‫ را از رابطه زیر‬w ‫ را بدست آوریم می توانیم مقدار‬a ‫ وقتی مقدار‬
Types of svm’s
What’s SV?
‫ برقرار‬kkt ‫ می ماند که باید شرط دوم‬b ‫بدست آوریم و فقط مقدار‬
Hard Margin
Soft Margin
‫شود‬
Nonlinear Margin

Issue

Summary

Conclusion

Example
 29 Hard Margin SVM
Introduction
i 0 NSV
Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
KKT cond: i[yi (wxi b) 1] 0 or
Issue

Summary

Conclusion
yi (wxi b) 10 SVs
Example b  yi wxi

only SVs will have non-zero ai

 30 KKTcond:i[yi (wxi b) 1] 0
Introduction Class 2
Reminder

Types of svm’s
What’s SV?
8=0.6 10=0
Hard Margin
Soft Margin

7=0
Nonlinear Margin

Issue 2=0
5=0
Summary

Conclusion 1=0.8
Example 4=0
6=1.4
9=0
3=0
Class 1
 ‫‪31‬‬ ‫‪Summary Solving the Optimization Problem‬‬

‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪ ‬گام ‪:1‬دیتاست } 𝑖‪ {X 𝑖 , Y‬اولیه را می گیریم هدف این است که مقدار ‪w,b‬‬
‫‪Types of svm’s‬‬ ‫را بدست بیاوریم‬
‫?‪What’s SV‬‬
‫‪Hard Margin‬‬
‫‪Soft Margin‬‬
‫‪ ‬گام‪ :2‬ماتریس ‪ H ,f‬را می سازیم و از تابع متلب)‪a = quadprog(H,f‬‬
‫‪Nonlinear Margin‬‬ ‫استفاده می کنیم تا مقدار ‪ a‬بدست آید‬
‫‪Issue‬‬
‫] 𝑗𝑖‪h𝑖𝑗 =𝑦𝑖 𝑦𝑗 𝑥𝑖𝑇 𝑥𝑗 , f=-1 , H=[h‬‬
‫‪Summary‬‬
‫‪ ‬گام‪:3‬مقدار ‪ w ,b‬را از فرمول زیر بدست می آوریم‬
‫‪Conclusion‬‬

‫‪Example‬‬

‫‪ ‬گام‪: 4‬جدا ساز خطی ما رابطه زیر می شود‪:‬‬

‫)‪ = 𝑠𝑖𝑔𝑛(𝑊 𝑇 𝑋𝑖 + b‬خروجی‬

 32 The Quadratic Programming Problem

Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example
 33 Soft Margin SVM
Introduction  What if data is not linear separable?
Reminder (noisy data, outliers, etc.)
Types of svm’s
What’s SV?
 Slack variables ξi can be added to allow miss-classification of
Hard Margin difficult or noisy data points
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example yi (<w,xi> + b) ≥1 -xi , xi ≥ 0

𝑊𝑇𝑋 + b > 1
 34 Soft Margin SVM
Introduction
‫ محدودیت های قبلی ساده تر شده و رابطه‬xi, i=1, 2, …, N, ‫با معرفی متغیر‬
Reminder
yi (<w,xi> + b) ≥1
Types of svm’s
What’s SV?
Hard Margin :‫بصورت زیر تغییر میکند‬
Soft Margin
Nonlinear Margin
yi (<w,xi> + b) ≥1 -xi , xi ≥ 0
Issue
.‫ باید صفر باشند‬xi ‫در حالت ایده آل همه این متغیر ها‬
Summary

Conclusion

Example
 35 Soft Margin SVM
Introduction .‫ ما این گونه تغییر می کند که تابع زیر را مینمم کنیم‬hard margin ‫مساله‬
Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary
Such that

Conclusion

Example

𝑊𝑇𝑋 + b > 1
 36 Soft Margin SVM
Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
Such that:
Issue

Summary

Conclusion

Example

C trades-off margin width and misclassifications

SVM tries to maintain to zero while maximizing margin.
Parametr c can be viewed as a way to control over-fiting
 37 Soft Margin SVM
Introduction

Reminder

Types of svm’s ST:

What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary :‫طبق قضیه الگرانژ‬

Conclusion

Example
 38 Soft Margin SVM
Introduction
‫قضیه الگرانژ‬
Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
KKT conditions:
Issue

Summary

Conclusion

Example
 39 Soft Margin SVM
Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
KKT conditions:
Issue

Summary

Conclusion

Example

0≤𝑎𝑖 ≤ 𝐶
0≤𝐵𝑖 ≤ 𝐶
 40 Soft Margin SVM
Introduction

Reminder
‫در تابع الگرانژ و ساده سازی و‬ ‫ با جا گذاری‬
Types of svm’s
What’s SV?
Hard Margin :‫) داریم‬hard margin ‫ (مثل‬daul ‫استفاده از قضیه‬
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example

hard ‫ است که در قسمت‬quadratic program ‫ که این همان‬

‫ مقدار‬quadprog ‫ گفته شده است و با دستور متلب‬margin
‫ بدست می آید‬a
 41 Soft Margin SVM
Introduction

Reminder
‫ از رابطه زیر بدست می آید‬w ‫ مقدار‬a ‫ با داشتن مقدار‬
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example
 42 Soft Margin SVM
Introduction

Reminder
:‫ را بررسی می کنیم‬kkt‫ شرط آخر‬b ‫ برای بدست آوردن‬
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
(𝐶-𝑎𝑖 ) xi =0
Issue

Summary

Conclusion
:‫از شروط باال داریم‬
Example

1)

Not Support Vector

 43 Soft Margin SVM
Introduction

Reminder
(𝐶-𝑎𝑖 ) xi =0
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
2)
Issue

Summary

Conclusion

Example

Where U is the set of unbounded support vector

3)
 ‫‪44‬‬ ‫‪Summary Soft Margin SVM‬‬

‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪ ‬گام ‪:1‬دیتاست } 𝑖‪ {X 𝑖 , Y‬اولیه را می گیریم و برای پارامتر ‪ c‬یک مقدار تعیین‬
‫‪Types of svm’s‬‬ ‫می کنیم هدف این است که مقدار ‪ w,b‬را بدست بیاوریم‬
‫?‪What’s SV‬‬
‫‪Hard Margin‬‬
‫‪Soft Margin‬‬ ‫‪ ‬گام‪ :2‬ماتریس ‪ H ,f‬را می سازیم و از تابع متلب‬
‫‪Nonlinear Margin‬‬
‫‪ a = quadprog(H,f,1,c) ‬استفاده می کنیم تا مقدار ‪ a‬بدست آید‬
‫‪Issue‬‬
‫‪H=𝑦𝑖 𝑦𝑗 𝑥𝑖𝑇 𝑥𝑗 , f=-1‬‬
‫‪Summary‬‬
‫‪ ‬گام‪:3‬مقدار ‪ w ,b‬را از فرمول زیر بدست می آوریم‬
‫‪Conclusion‬‬

‫‪Example‬‬

‫‪ ‬گام‪: 4‬جدا ساز خطی ما رابطه زیر می شود‪:‬‬

‫)‪ = 𝑠𝑖𝑔𝑛(𝑊 𝑇 𝑋𝑖 + b‬خروجی‬
 45 hard margin ‫ و‬soft margin ‫مقایسه بین‬

Introduction

Reminder
 Soft-Margin is more robust to outliers
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example

 Hard-Margin does not require to guess the cost

parameter (requires noparameters at all)
 46 Nonlinear SVMs

Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example
 ‫‪47‬‬ ‫‪Nonlinear SVMs‬‬

‫‪Introduction‬‬
‫در حالتی که جدا پذیری به صورت خطی نباشد ایده اصلی این است که نمونه ها‬
‫‪Reminder‬‬
‫را به یک فضای با بعد باال(‪ )feature space‬فضای مشخصه نگاشت دهیم که در‬
‫‪Types of svm’s‬‬ ‫فضای جدید مشخصه ها ؛ نمونه ها می توانند به صورت خطی از هم جدا شوند‪.‬‬
‫?‪What’s SV‬‬
‫‪Hard Margin‬‬
‫‪Soft Margin‬‬
‫‪Nonlinear Margin‬‬

‫‪Issue‬‬

‫‪Summary‬‬

‫‪Conclusion‬‬

‫‪Example‬‬
 48 Nonlinear SVMs

Introduction

Reminder
‫) نیاز به اعمال یک تابع هسته(کرنل) می‬maping( ‫برای نگاشت‬
‫باشد‬
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example
 49 Nonlinear SVMs

Introduction

Reminder

Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin

Issue

Summary

Conclusion

Example
 50 ‫معرفی کرنل ها‬

Introduction

Reminder
 Linear Kernels
Types of svm’s
What’s SV?
Hard Margin
Soft Margin
Nonlinear Margin
 Polynomial Kernels

Issue
 Radial Basis Function Kernels
Summary

Conclusion
 Three-Layer Neural Network Kernels
Example

 Normalizing Kernels
 51 Nonlinear SVMs

‫تابع اولیه‬ quadratic program

 G(x)=w𝑇 𝑋 + 𝑏

‫غیر خطی کردن‬ Kernel mode

 G(x)=w𝑇 φ(X)+ 𝑏
 ‫‪52‬‬ ‫‪Nonlinear SVMs‬‬

‫تابع اولیه‬ ‫تابع نهایی(مقدار خروجی نمونه ‪)X‬‬

‫𝑏 ‪ G(X)=w𝑇 𝑋 +‬‬

‫غیر خطی کردن‬

‫𝑏‪ G(X)=w𝑇 φ(X)+‬‬

 ‫‪53‬‬ ‫‪Summary Nonlinear SVMs‬‬

‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪ ‬گام ‪:1‬دیتاست } 𝑖‪ {X 𝑖 , Y‬اولیه را می گیریم و برای پارامتر ‪ c‬یک مقدار تعیین‬
‫‪Types of svm’s‬‬ ‫می کنیم هدف این است که مقدار ‪ b,a‬را بدست بیاوریم‬
‫?‪What’s SV‬‬
‫‪Hard Margin‬‬
‫‪Soft Margin‬‬ ‫‪ ‬گام‪ :2‬ماتریس ‪ H ,f‬را می سازیم و از تابع متلب‬
‫‪Nonlinear Margin‬‬
‫‪ a = quadprog(H,f,1,c) ‬استفاده می کنیم تا مقدار ‪ a‬بدست آید‬
‫‪Issue‬‬
‫‪H=𝑦𝑖 𝑦𝑗 𝑥𝑖𝑇 𝑥𝑗 , f=-1‬‬
‫‪Summary‬‬
‫‪ ‬گام‪: 4‬جدا ساز ما رابطه زیر می شود‪:‬‬
‫‪Conclusion‬‬

‫‪Example‬‬
 54 ‫ یک پارامتر تنظیم کننده است‬C
Introduction

Reminder

Types of svm’s
‫کوچک اجازه می دهد تا محدودیت که به راحتی نادیده گرفته شود‬C 
Issue
‫بزرگ باعث می شود محدودیت ها را سخت نادیده بگیرد‬C 
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 55 RBF Kernel SVM Example
Introduction
data is not linearly separable in original feature space
Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example

http://www.robots.ox.ac.uk/~az/lectures/ml/
 56 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 57 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 58 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 59 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example

‫بررسی تغیرات سیگما‬

 60 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 61 RBF Kernel SVM Example
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 62 Multi-Class Classification Build from binary
classifiers
Introduction

Reminder

Types of svm’s

Issue
parameter c
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 63 Some Issues(Choice of kernel)

Introduction

Reminder
 Gaussian or polynomial kernel is default
Types of svm’s

Issue
parameter c
Multi-Class Classification
 If ineffective, more elaborate kernels are needed
Choice of kernel
Optimization criterion
Summary

Conclusion
 Domain experts can give assistance in formulating
Example
appropriate similarity measure.
 64 Some Issues(Optimization criterion)

Introduction

Reminder
 Hard margin v.s. Soft margin
Types of svm’s
 a lengthy series of experiments in which various
Issue
parameter c
parameters are tested
Multi-Class Classification
Choice of kernel
Optimization criterion
Summary

Conclusion

Example
 65 svm ‫الگوریتم‬

Introduction

Reminder

Types of svm’s
‫( انتخاب تابع کرنل‬1
Issue C ‫( مشخص کردن مقدار‬2
Summary
‫( حل کردن مساله کوادراتیک‬3
Conclusion Solve the quadratic programming problem (many software packages available)

Example ‫ از پارامترهای بدست آمده‬svm ‫( ساختن تابع‬4

 66 Summary: Support Vector Machine

Introduction

Reminder
 Soft Margin Classifier :
Types of svm’s
Better generalization ability & less over-fitting
Issue

Summary

Conclusion
 The Kernel Trick:

Example
Map data points to higher dimensional space in order to
make them

 linearly separable:
Since only dot product is used, we do not need to
represent the mapping explicitly
 67 Strengths
 No local minimal
Introduction
 Robustness to outliers
Reminder
 Training is relatively easy
Types of svm’s
 Good generalization in theory and practice
Issue
 Work well with few training instances
Summary
Strengths  Find globally best model, No local optimal, unlike in
Weakness
SVMs vs. Neural Networks
neural networks

Conclusion  It scales relatively well to high dimensional data

Example
 Tradeoff between classifier complexity and error can be
controlled explicitly
 Non-traditional data like strings and trees can be used as
input to SVM, instead of feature vectors
 Notice: SVM does not minimize the number of
misclassifications (NP-complete problem) but the sum of
distancesfrom the margin hyperplanes.
 68 Weakness
Introduction

Reminder
 Selection of parameters)Need to choose a “ good”
Types of svm’s kernel function.(
Issue
 Extension to multiclass problems
Summary
Strengths
Weakness
SVMs vs. Neural Networks

Conclusion

Example

Refrenc:Advances in Pattern Recognition

Chapter 2 part 2.5 “Advantages and Disadvantages”
Shigeo Abe
 69 SVMs vs. Neural Networks
Introduction

Reminder
 Kernel maps to a high  Hidden Layers map to
Types of svm’s dimensional spaces lower dimensional
spaces
Issue
 Search space has a
unique minimum  Search space has
multiple local minimum
Summary  Training is extremely
Strengths
Weakness efficient  Training is expensive
SVMs vs. Neural Networks
 Classification extremely  Classification extremely
Conclusion efficient efficient
Example  Kernel and cost are the  Requires number of
two parameters to select hidden units and layers
 Very good accuracy in  Very good accuracy in
typical domains typical domains
 Extremely robust  Could be robust

Refrenc:Advances in Pattern Recognition

Chapter 2 part 2.6 “Characteristics of Solutions”
Shigeo Abe
 ‫‪70‬‬ ‫‪Conclusion‬‬
‫‪Introduction‬‬

‫‪Reminder‬‬
‫‪ Svm ‬بهینه ترین جداکننده خطی راپیدا می کند‪،‬‬
‫‪Types of svm’s‬‬
‫‪ ‬بر خالف دیگر الگوریتم ها که خطای مدلسازی را کمینه می کنند‬
‫‪Issue‬‬ ‫‪ svm‬ریسک عملیاتی را به عنوان تابع هدف در نظر می گیرد‬
‫‪Summary‬‬ ‫‪ ‬ابر صفحه را که بیشتربن حاشیه را داشته باشدانتخاب می کند‬
‫‪Conclusion‬‬ ‫‪ ‬کرنل ها باعث می شوند الگوریتم ‪ svm‬غیر خطی شود‬
‫‪Example‬‬ ‫‪ ‬در صورت استفاده مناسب از ‪SVM‬این الگوریتم قدرت تعمیم خوبی‬
‫خواهد داشت‬
‫‪ ‬علیرغم داشتن ابعاد زیاد )‪)high dimensionality‬از ‪overfitting‬‬
‫پرهیز میکند‪ .‬این خاصیت ناشی از ‪optimization‬این الگوریتم است‬
‫‪ ‬فشرده سازی اطالعات‪:‬‬
‫‪ ‬بجای داده های آموزشی از بردارهای پشتیبان استفاده میکند‪.‬‬

‫‪Refrenc:Advances in Pattern Recognition‬‬

‫”‪Chapter 2 part 2.6 “Characteristics of Solutions‬‬
‫‪Shigeo Abe‬‬
 71 Svm code
Introduction

Reminder
 http://www.kernel-machines.org/software.html
Types of svm’s
 http://www.csie.ntu.edu.tw/~cjlin/libsvm
Issue
 http://svmlight.joachims.org/
Summary

Conclusion
 A Practical Guide to Support Vector
Classification(Chih-Wei Hsu, Chih-Chung Chang, and
Example
Chih-Jen Lin)
 72 matlab
Introduction

Reminder
‫ استفاده می شود‬svm ‫ برای درست کردن ساختار‬svmtrain ‫ از‬
Types of svm’s

Issue
 Syntax
Summary
SVMStruct = svmtrain(Training,Group)

Conclusion SVMStruct = svmtrain(Training,Group,Name,Value)

Example ‫ برای کالسبندی نمونه تست استفاده می شود‬svmclassify ‫از‬

 Syntax
Group = svmclassify(SVMStruct,Sample)
Group = svmclassify(SVMStruct,Sample,'Showplot',true)
 73 matlab

Introduction

Reminder
 svmtrain(Training,Group, 'kernel_function',Value)
Types of svm’s
 Value:
Issue  'linear' — Linear kernel, meaning dot product.
Summary  'quadratic' — Quadratic kernel.
Conclusion  'polynomial' — Polynomial kernel (default order 3). Specify
another order with the polyorder name-value pair.
Example
 'rbf' — Gaussian Radial Basis Function kernel with a default
scaling factor, sigma, of 1. Specify another value for sigma
with the rbf_sigma name-value pair.
 'mlp' — Multilayer Perceptron kernel with default scale [1 –1].
Specify another scale with the mlp_params name-value pair.
 Default: 'linear
 74 )fisheriris( :1 ‫مثال‬
Introduction
 load fisheriris
Reminder
 xdata = meas(51:end,3:4);
Types of svm’s

Issue
 group = species(51:end);

Summary  svmStruct = svmtrain(xdata,group,'ShowPlot',true);

Conclusion

Example
 75 ‫تست یک نمونه‬:1 ‫مثال‬
Introduction
 species = svmclassify(svmStruct,[5 2],'ShowPlot',true)
Reminder
 hold on;
Types of svm’s

Issue
 plot(5,2,'ro','MarkerSize',12);

Summary  hold off

Conclusion

Example
 76 ‫رفرنس‬
Introduction

Reminder
 Advances in Pattern Recognition(Support Vector Machines
Types of svm’s for Pattern Classification) Professor Dr Shigeo Abe
Issue A. Zisserman ‫ اسالید‬
Summary www.david-lindsay.co.uk ‫ از سایت‬MATLAB Workshop 2 ‫ فایل‬
Conclusion Andrew Ng ‫ فایل ویدیویی درس یادگیری ماشین‬
Example
‫‪77‬‬ ‫پایان‬