P. 1
Svm

Svm

|Views: 464|Likes:

More info:

Published by: Kittipong Suwannaraj on Jun 08, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

01/04/2015

pdf

text

original

ซัพพอร ต เวกเตอร แมชชีน

Support Vector Machine



โดย
นางสาวชโลทร ตาดี






รายงานนี้เปนสวนหนึ่งของการศึกษาตามหลักสูตร
วิศวกรรมศาสตรบัณฑิต สาขาวิชาวิศวกรรมคอมพิวเตอร
วิทยาลัยวิศวกรรมศาสตร มหาวิทยาลัยรังสิต
ปการศึกษา 2553

ชื่อ : นางสาวชโลทร ตาดี รหัส 505261
เรื่อง : ชัพพอรต เวกเตอร แมชชี น

อาจารยที่ปรึกษา : ดร.อรรถ โกญจนาท
คําสําคั ญ : สถิติ
บทคัดยอ
Support Vector Machines อาศัยทฤษฎีที่ เรี ยนรูเกี่ ยวกับสถิติสามารถถู กใชกับแบบแผน และ
การถดถอย ทฤษฎีที่เรี ยนรูเกี่ยวกับสถิติสามารถระบุคอนขางจะป จจัยอยางกระชับซึ่ งตองการถูกใชเขา
ไปในบั ญชีที่จะเรียนรูชนิดง ายดายจํานวนหนึ่งอยางสมบูรณของวิ ธีคิด โดยปกติโปรแกรมโลกจรี ง
ตองการความซับซอนอยางมากกวาจําลอง และวิ ธีคิด( เชนเดียวกั นกับเครือขายเกี่ยวกับประสาทหรือ
ระบบประสาท ) ซึ่งทําใหยากมากที่จะวิ เคราะหเกี่ ยวกั บทฤษฎี
SVMs สามารถถู กเห็นเปนการพูดเท็จที่จุ ดตัดของทฤษฎี ที่เรี ยนรู และในทางปฏิบัติ เขาสราง
แบบตัวอยางที่ สิ่งนั่นคือความซับซอนพอ การบรรจุคลาสมากมายของเครือขายเกี่ยวกับประสาทหรือ
ระบบประสาทสําหรับตัวอยาง และถึงกระนั้นสิ่งนั่นคื อสิ่งที่งายๆพอถูกวิเคราะห เพราะวา SVM
สามารถถูกเห็นเปนวิธีคิดแบบเชิงเสน ในที่วางความกว างยาวสูง
SVMs ประยุกตใชกับประโยชนทางดานการแพทย ดานวิ ทยาศาสตร ดานวิศวกรรม ด าน
เทคโนโลยี และในอนาคตจะสามารถประยุ กตใชกับระบบเครือขายในรูปแบบตางๆใด จะเป นรูปแบบที่
ซับซอน



Name :Ms.Chalotorn Tadee ID 505261
Title : Support Vector Machines

Advisor : Dr.Ut Goenchanart
Keywords : statistical learning
Abstract

Support Vector Machines are supervised learning machines based on statistical learning
theory thatcan be used for pattern recognition and regression. Statistical learning theory can identify
ratherprecisely the factors that need to be taken into account to learn successfully certain simple
typesof algorithms , however , real-world applications usually need more complex models and
algorithms(such as neural networks), that makes them much harder to analyse theoretically.
SVMs can beseen as lying at the intersection of learning theory and practice. They construct
models that arecomplex enough (containing a large class of neural networks for instance) and yet that
are simpleenough to be analysed mathematically. This is because an SVM can be seen as a linear
algorithm in a high-dimensional space .
In this document , we will primarily concentrate on Support Vector Machines as used in
pattern recognition. In the first section we will introduce pattern recognition and hyperplane
classifiers,simple linear machines on which SVMs are based. We will then proceed to see how SVMs
are ableto go beyond the limitations of linear learning machines by introducing the kernel function,
whichpaves the way to find a nonlinear decision function. Finally, we sum it all up and mention
someareas in which Support Vector Machines have been applied and given excellent results.







คํานํา
รายงานฉบับนี้เปนสวนหนึ่งของวิชา CPE 489 (Seminar in Computer Engineering) โดยมี
จุดประสงค เพื่อการศึ กษาความรูที่ ไดจากเรื่อง Support Vector Machines ซึ่งรายงานฉบับนี้มีเนื้อหา
เกี่ยวกับรายละเอียดความรู เทคโนโลยี วิธี การคิด และนําไปการประยุ กตใชงาน
ผูจัดทําหวังวารายงานฉบับนี้ จะใหความรู และเป นประโยชนแก ผูอานทุ ก ๆ ทานบางไมมากก็
นอยและหากมีขอผิดพลาดประการใดผูจั ดทําก็ขออภั ยไว ณ ที่ นี้ด วย


นางสาวชโลทร ตาดี
ผูจัดทํา
















สารบัญ

หนา
บทคัดยอภาษาไทย ...………………………………………………………………………..…… ค
บทคัดยอภาษาอังกฤษ ...…………………………………………………………..……………... ง
สารบัญ …………………………………………………………………………………………... จ
สารบัญรูป ……………………………………………………………………………………….. ฌ



บทที่ 1 บทนํา ………………………………………………………………………………. 1
1.1 Introduction ..…………………………………..…………………………….
1.2 วิธี การการถดถอย ……………………………..………………………………..
1.3 เครื่องเรียนรูเทคนิค .………………………..………………………………..

1
1
1

บทที่ 2






Support Vector Machines … ………………………………….………….……..
2.1 เครื่องเวกเตอรสนับสนุน (SVMs) .……………………………………..................
2.2 Formalization ………………………………………………………...............
2.3 รูปแบบ Primal …………………………………………………………………
2.4 รูปแบบ Dual …………………………………………………………………...
2.5 ระดับเอียง hyperplanes …………………………………………………….......
2.6 Transductive …………………………………………………………………..
2
2
3
6
8
9
9









2.7 คุณสมบัติ …………………………………………………………………........
2.8 อัตราซอฟท …………………………………………………………………….
2.9 การจัดหมวดหมูไมเชิงเสน ……………………………………………………..
2.10 การเลือกพารามิเตอร …………………………………………………………
2.11 Multiclass SVM ………………………………………………………………


10
10
11
14
18



















บทที่ 3



สารบัญ(ตอ)

หนา




การประยุ กตใชงาน ……………………………………………...……………....…












20

3.1 โครงขายประสาทเที ยม ………………………………………………………..
3.1.1 โครงสราง ……………………………………………………........…….
3.1.2 หลักการ ………………………………………………………………...
3.1.3 การทํางาน ……………………………………………………………...
3.1.4 การประยุกต ใชงาน Neural Network …………………………………..
20
21
21
21
22

บทที่ 4 สรุป …………………………………..… …………………………………..… 23
4.1 ขอสรุป…………………………...………..…………………………………. 23




บรรณานุ กรม ………………………………………………………………………………….… 24


สารบัญรูป

หนา
รูปที่
2.1 แสดงรายละเอี ยดในการแบงขอมูล .............................................................................. 3
2.2.1 hyperplane สูงสุด margin ........................................................................................... 4
2.2.2 Hyperplane .............................................................................................................. 5
2.10.1 Linear PCA ................................................................................................................. 13























บทที่ 1
บทนํา
1.1. Introduction
เปาหมายหลักของทฤษฎีการเรี ยนรูทางสถิ ติคือการใหการศึกษากรอบ ไอเอ็นจีป ญหาการ
อนุมาน, ที่เปนที่ดึงดูดความรู , การพยากรณ การตัดสินใจหรือการสร างโมเดลจากชุดขอมูลของ นี่คือ
การศึ กษาใน กรอบสถิ ติที่มี สมมติฐานทางสถิติเกี่ ยวกับธรรมชาติ
วิธี การและเทคนิคที่ใชในการดําเนินการวิ เคราะหคาดการณ ในวงกวางจะสามารถแบ งออกได
เปนเทคนิคการถดถอยและเทคนิคการเรี ยนรูเครื่อง
1.2. วิธี การการถดถอย
การถดถอย การวิ เคราะหแบบจําลองเป นแกนนําการพยากรณ โฟกัสอยูที่การสรางสมการทาง
คณิตศาสตรที่เปนรูปแบบเพื่ อแสดงปฏิสัมพันธ ระหวางตั วแปรที่แตกตางกันในการพิจารณา ทั้งนี้ขึ้ นอยู
กับสถานการณที่มีหลากหลายรูปแบบที่สามารถนํามาใชในขณะที่ประสิทธิ ภาพการวิเคราะหการทํานาย
บางสวน
1.3. เครื่ องเรียนรูเทคนิค
การเรี ยนรู Machine ปญญาประดิษฐของสาขาเปนลูกจ างเดิมเพื่อพัฒนาเทคนิคในการเปดใช
งานคอมพิวเตอรในการเรียนรู วันนี้เนื่องจากจะมี การจัดประเภทจํานวนวิ ธีการทางสถิติขั้นสูงสําหรับ
การถดถอยและพบการประยุ กตใชในหลากหลายสาขารวมทั้ง การวินิ จฉัยทางการแพทย , การ
ตรวจสอบการทุจริตบัตรเครดิต , ใบหนา และ รูจําเสียงพู ด และการวิเคราะหของ ตลาดหลักทรัพย ใน
การใชงานบางอยางมันจะเพียงพอที่จะโดยตรงทํานายตัวแปรตามได โดยไมตองมุงเนนไปที่
ความสัมพันธ ระหวางตัวแปรพื้นฐาน ในกรณีอื่น ๆ ความสัมพันธต นแบบสามารถที่ซับซอนมากและ

รูปแบบทางคณิตศาสตรของการอางอิงที่ไมรูจั ก สําหรับกรณีเชนเครื่องเลียนแบบมนุ ษยการเรี ยนรู
เทคนิคการ รูคิด และเรี ยนรูจากตัวอยางในการทํานายเหตุการณในอนาคต




บทที่ 2
Support Vector Machines
2.1. เครื่องเวกเตอรสนับสนุน (SVMs)
เปนวิ ธีการวิเคราะหขอมูลและทราบวาเป นรูปแบบที่ ใชสําหรับการ จําแนกทางสถิติ
และ การวิเคราะหการถดถอย SVM คือตัวจําแนก จากนั้นตั้งคาใหตั วอยางการฝกอบรมการทํา
เครื่องหมายแตละคนที่เปนของหนึ่งในสองประเภท เครื่องเวกเตอรสนับสนุนโครงสราง hyperplane
หรือชุดของ hyperplanes ใน ระดับสูง ที่สิ้นสุดหรือมิติพื้ นที่ซึ่งสามารถนํามาใชสําหรั บการจัดหมวดหมู
ถดถอยหรืองานอื่น ๆ การแยกที่ดี คือโดย hyperplane ที่มีขนาดใหญที่ สุด datapoints
ใด ๆ
ในขณะที่การระบุ ไว ในมิติจํ ากัดก็มั กจะเกิ ดขึ้นที่ในพื้นที่ที่กําหนดที่จะเลือกปฏิบัติไมไดแยก
เปนเสนตรง ดวยเหตุนี้มันเปนขอเสนอที่เปนตนฉบับมิ ติ จํากัด ถูกแมปเขาสูมิติที่สูงขึ้นมากอยางนาจะ
ทําใหแยกไดง ายขึ้นในพื้นที่ นั้น รูปแบบการทําแผนที่ SVM ใชเปนพื้ นที่ขนาดใหญ เพื่อใหผลิตภั ณฑ
คํานวณไดงายในแงของตั วแปรในพื้นที่เดิ มการโหลดการคํานวณที่ เหมาะสม ผลิตภัณฑในพื้นที่ ขนาด
ใหญจะถู กกําหนดในแงของการทํางานของเคอรเนล K (x, y) ซึ่งสามารถเลือกเพื่อใหเหมาะกับปญหา
hyperplanes ในพื้นที่ขนาดใหญจะถูกกําหนดเปนชุ ดของจุดที่มีผลิตภั ณฑที่มีเวกเตอรในพื้นที่มีคาคงที่
เวกเตอร กําหนด hyperplanes สามารถเลือกที่จะรวมกันเชิ งเสนตรงกับพารามิเตอร α ภาพของพาหะนํา
คุณลั กษณะที่เกิดขึ้นในฐานขอมูล ดวยตั วเลือกของ hyperplane จุด x ในพื้นที่คุณลั กษณะที่ถู กแมปเปน
hyperplane





c








หาก K (x, y)
ใกลชิดของจุ ด
ในการวัดสัมพ
ปฏิบัติ หมา
convoluted ต
จําแน
ในหนึ่งในสอ
เวกเตอรสนับ
คะแนนดังกล
ประเภทขอมู ล
ใหญที่สุดหรื อ
ใกลที่สุดในแ
สูงสุด และตั ว

y) จะมีขนาดเ
ด X เปนฐานข
พันธของแต ล
ายเหตุพื้นที่คว
ตนฉบับเปนผล
นกขอมูล เป น
องชั้นเรี ยนแล
บสนุนการชี้ข อ
ล าวกับ p - 1
ลเปน หนึ่ ง
อขอบระหวา
แตละดานมีคา
วจําแนกเชิงเส
o1
ì
เล็ กเปน Y เติ
ขอมูล corresp
ละจุดไปยังจุ ด
วามเปนจริงใ
ลใหซับซอนม
นงานที่พบได
ละมีเปาหมายที
อมูลถู กมองว
มิติ hyperpla
งทางเลือกที่เห
งสองชั้นเรี ยน
ามากที่สุด ถา
ส นจะกําหนด
1J(r1, x
ติบโตตอไปจา
poinding จุด x
ดข อมูลที่มีแห
ใด ๆ ที่ตั้งขอ
มากขึ้นการเลื
ดบอยใน การ
ที ่จะตัดสินใจ
ว าเปนพาหะ
ane นี้เรี ยกว า
หมาะสมเปน
น ดังนั้นเราจึ
าเช น hyperpl
เปนที่รูจั กกั น
x) = con
าก x, ผลรวม
x ดวยวิ ธีนี้ กา
หลงกําเนิดในห
องจุด x ลงใน
ลื อกปฏิบัติ ระ
เรียนรู เครื่อง
จวาชั้นขอมูลจุ
p มิติ
า ตัวจําแนกเชิ
hyperplane
จึงเลือก hyper
lane มีอยูแล ว
นเปนสูงสุด ตั
nstant
มแต ละองคปร
ารทํางานของ
หนึ่งหรืออื่น
นแมป hyper
หวางชุดที่อยู
สมมติวาบาง
จุ ดใหมจะเป น
และเราตองก
ชิ งเสน มีหล
e ที่ดีที่สุดเป น
rplane เพื่อให
วมั นเป นที่รู จัก
ัวจําแนกขอบ

ระกอบทดสอ
งเคอรเนล สา
ๆ ของชุด
rplane สามาร
ย หางไกลจากใ
งอยางใหแต ล
นระบบในเครื่
การทราบวาเร
าย hyperplan
นหนึ่งที่แสด
ห ระยะทางไป
กกั นเป น hyp

อบระดับความ
มารถนํามาใช
ดที่จะถูกเลือก
รถคอนข างจะ
ในโคง
ละจุดขอมูลอยู
รื่ องกรณี
าสามารถแยก
nes ที่อาจแบง
งถึงการแยกที
ปยังจุดขอมูลที
perplane อัตรา




ยู


ที่
ที ่




h




1
2

2.2. For
เราจะไดรับข
ที่ C
i
คือ 1 ห
hyperplane อั
ของจุด คว
และระยะขอบ
พาหะสนับสน
w


1
http://en.wikipedi
2
http://en.wikipedi
rmalization
ข อมูลการฝกอ
Ð
หรือ -1 ซึ่งแส
อัตราสูงสุดที่แ
วามพึงพอใจ
บสําหรับ SVM
นุน
· X -b =

a.org/wiki/Support_
a.org/wiki/Support_
รูปที่
n
อบรม D, แบบ
Ð = |(x
ì
,
ดงระดับที่จุ ด
แบงจุดที่มีค
I


รูปที่ 2
M กับกลุ มตัว
= u

_vector_machine
_vector_machine
2.1. แสดงรา
บฟอรมการตั้
, C
ì
)|x
ì
e
ด เปนของ
= 1 จากนั้นมี
2.2.1 hyperpl
วอยางจากสอ
ยละเอียดในก
ั้งค า n จุดของ
e R
p
, c
ì
e
ง แตละ มิ
มี ค
I
= -- 1 hy
lane สูงสุด m

งชั้นเรียน กล
การแบงขอมู ล

e {-1,1]
มิติคือ p - จริง
yperplane ใด

margin
2

ลุมตัวอยางใน

1

]|
ง เวกเตอร เร
ๆ สามารถเขี ย
นอัตรานี้ จะเรี ย
าตองการหา -
ยนเปนชุด
ยกวาเปน
-


|











หมายถึง จุดผ
b
||w||
กําหนด
เราตองการที่
กันมากที่สุดใ
w
และการ
w

หากขอมูลที่ ว
ไมมีระหวางพ
ระยะหางระห
เพื่อปองกันไม

3
http://w
ผลิตภั ณฑ เวก
ดชดเชยของ h
ที่ จะเลือก
ในขณะที่ ยังแ
· X -b =
· X -b =
ว าง เชิงเสนตร
พวกเขาแล วพ
หวางทั้งสอง h
ม ใหลมลงใน

www.cs.brown
กเตอร เป
hyperplane จา
และ b เพื่อเพิ่
บ งแยกขอมู ล
= 1
= -1
รงทางแยก เร
พยายามที่จะเพิ
hyperplanes เ
นระยะขอบเรา

n.edu/courses
น ปกติ เชิงเส
ากแหลงกําเนิ
พิ่ มอัตรากําไรห
ล hyperplane
าสามารถเลื อ
พิ่มระยะทางข
เปน
2
||w||

าเพิ่มขอ จํากั ด
รูปที่ 2.2
s/archive/200
ส นจะตั้ งฉากกั
นิ ดตามเสน
หรือระยะหาง
es เหลานี้สาม
อกได สอง hyp
ของพวกเขา โ
ดังนั้นเราต อง

2.2
3
hyperpl

06-2007/.../Bu
กับ hyperplan

งระหวาง hyp
ารถอธิบายโด
perplanes ของ
โดยการใช รู ป
งการลด ||W||

ane
urges98.pdf
ne พารามิ เตอ
perplanes ขน
ดยสมการ
งอัตรากําไรใ
ปทรงเรขาคณิ
| ขณะที่ เรายัง

อร
านวามีหาง
นทางที่ มีจุด
ิตเราหา
งมีจุดขอมูล

W· X
I
-b ¸ 1 foi X
I
ของชั้นหนึ่ง
หรือ
w· X
ì
-b ¸ -1 ¡or X
ì
ของที่สอง
นี้สามารถเขียนใหมเปน :
C
ì
(w· X
ì
-b) ¸ 1 ¡or oll 1 ¸ i ¸ n (1)
เราสามารถใสนี้เขาดวยกันเพื่อใหไดป ญหาการเพิ่มประสิทธิ ภาพ : ลด (ใน w, b )||w||
ภายใต (สําหรั บการใด ๆ i = 1, …, n )

c
ì
(w· X
ì
-b) ¸ 1
2.3. รูปแบบ Primal
ปญหาการเพิ่ มประสิทธิภาพนําเสนอในสวนกอนหนานี้เปนการยากที่จะแกไขเพราะมันขึ้นอยูกั บ
||W|| กฎเกณฑของ W ซึ่งเกี่ยวของกับรากที่สอง ที่มันเปนไปไดที่ จะปรับเปลี่ยนสมการโดยการแทน
||W|| กับ
1
2
||w||
2
โดยไมตองเปลี่ ยนสารละลาย (เดิ มขั้นต่ําของสมการและการปรับเปลี่ยนมี w
เดียวกันและ b) นี่คือ การเขี ยนโปรแกรมกําลังสอง (QP) การเพิ่มประสิทธิภาพ ปญหา เพิ่มเติมอยาง
ชัดเจน
ลด (ใน w, b )
1
2
||w||
2

ภายใต (สําหรั บการใด ๆ i = 1, …, n )
c
ì
(w· X
ì
-b) ¸ 1

หนึ่งอาจจะอยากที่จะแสดงปญหาที่เกิดขึ้ นกอนหนานี้ โดยวิ ธี การที่ ไม ใชเชิงลบ
minw, b , o{
1
2
||w||
2
-o
ì
n
ì=1
|c
ì
(w· X
ì
-b) -1]]
แตนี้จะไม ถูกตอง เหตุผลก็ คือตอไปนี้สมมติวาเราสามารถหาครอบครั วของ hyperplanes ซึ่งแบงจุ ดนั้น
แล วทั้งหมด c
ì
(w· X
ì
-b) -1 ¸ u
ดังนั้นเราจะสามารถคนหาอยางนอยโดยการสงทั้งหมด o ไป +∞ และต่ําสุ ดนี้จะมาถึงสําหรับ
สมาชิกทุกคนในครอบครั วที่ไมเพียง แต สําหรับหนึ่งที่ดีที่สุดซึ่งสามารถเลือกการแกปญหาเดิม



min(w, b) max(o) {
1
2
||w||
2
-∑ o
ì
|c
ì
(w· X
ì
-b) -1]
n
ì=1
]
ในการทํา c
ì
(w· X
ì
-b) -1 > u เชนจุดทั้งหมดซึ่ งสามารถแยกออกเปน ตั้งคา α ที่
สอดคลองกันเปนศูนย
ปญหานี้ทําใหตอนนี้สามารถแก ไขได ดวยการมาตรฐานเทคนิคการเขียนโปรแกรมและโปรแกรมที่
กําลังสอง โซลูชั่นนี้สามารถแสดงตามขอตกลงของการรวมกันเชิงเสนของเวกเตอร การฝกอบรมเปน
W = α
I
c
I
x
I
n
I=1

o จะมีคามากกวาศูนย ที่สอดคลอง x
ì
จะวาเปนพาหะสนับสนุนซึ่งกองอยูบนขอบและความพึง
พอใจ c
ì
(w· X
ì
-b) = 1 จากนี้ จะไดรับมาวาเปนพาหะสนับสนุนยังตอบสนอง

(w· X
ì
-b) =
1
c
ì
= c
ì
=b = w· X
ì
-c
ì


การกําหนดการชดเชย ในทางปฏิบัติจะมี ประสิทธิภาพมากขึ้นกวาคาเฉลี่ยทั้งหมด ,
พาหะสนับสนุน :
b =
1
N
Sv
(w· X
ì
-c
ì
)
N
Sv
ì=1









2.4. รูปแบบ Dual
การเขี ยนกฎในการจัดหมวดหมูของมัน unconstrained รูปคู พบวาอัตรา hyperplane สูงสุดและการจัด
หมวดหมูงานจึงเปนเพียงพาหะของฟงกชั่ นการสนับสนุ น, ขอมูลการฝ กอบรมที่ กองอยูบนขอบ
การใชความจริงที่วา ||w||
2
= æ · æ และการแทน w = ∑ o
ì
c
ì
X
ì
n
ì=0
หนึ่งสามารถ
แสดงใหเห็นว าคูของ SVM ชวยลดปญหาการเพิ่มประสิ ทธิภาพดังตอไปนี้
สูงสุด (ใน o
ì
)

I
¯
(o) = ∑ o
ì
-
1
2
∑ o
ì
o
]
c
ì
c
]
X
ì
1
X
]
= ∑ o
ì
-
n
ì=1 ì,]
n
ì=1
1
2
∑ o
ì
o
]
c
ì
c
]
k(X
ì
, X
]
)
ì,]

ภายใต (สําหรั บการใด ๆ i = 1, …, n )
o
ì
¸ u
และจากขอ จํ ากัด ในการลดข
o
ì
= u
n
ì=1

ตอไปนี้เมล็ดจะถูกกําหนดโดย k(X
ì
, X
]
) = X
ì
· X
]

α ประกอบการแสดงคูสําหรับเวกเตอร น้ําหนักในแงของการตั้งคาการฝกอบรม :
w = o
ì
c
ì
X
ì
ì





2.5. ระดับเอียง hyperplanes
เพื่อความเรียบงายบางครั้งก็เปนสิ่งจําเป นที่ hyperplane ผานมาของระบบพิกั ด hyperplanes
ดังกลาวเรี ยกว าเปนกลางในขณะที่ hyperplanes ทั่วไปไมจําเปนตองผานการเอียงกําเนิดจะเรียกวา
hyperplane ไมสามารถมี ผลบังคับใชโดยการตั้งคา B = 0 ในการเพิ่มประสิทธิ ภาพป ญหา แตแรก ที่
สอดคลองกันสองจะเหมือนกับคูดังกลาวขางตนโดยไม จํ ากัด ความเสมอภาค








n
ì=1

2.6. Tra
Transduc
ขอความบางส
Ð
-
ตัวอยางการท
เวกเตอร จะถูก
ลด (ใน W ,
1
2
||
ภายใต (สําห
c
ì
(
c
]
-
(



และการ
c
]
-
Transductive
o
ì
c
ì
= u
1
ansductive
ctive เครื่องเว
สวนในกึ่งภาย
= {X
ì
-
|X
ทดสอบเพื่อให
กกําหนดโดย
b , Ð
-
)
|w||
2

รั บการใด ๆ
w· X
ì
-
(w· X
]
-
-
e {-1,1
e เครื่องเวกเต
u

วกเตอร สนับส
ยใตการดูแลก
X
ì
-
e R
p
]
หไดรับการจั
การเพิ่มประสิ
-b) ¸ 1
-b) ¸ 1
]
ตอรมีการแนะ
สนุนการขยาย
การเรียนรู ที่นี
]k, i = 1
ัดชั้น อยางเป
สิ ทธิภาพดังต
และใด

1
ะนําสนับสนุ น
ย SVMs ในที่
นี่นอกเหนือจา

ป นทางการ กา
ต อไปนี้ปญหา

นโดย Vladim
พวกเขายังสา
ากการฝกอบร
ารสนับสนุนเ
าแรก :
)
mir Vapnik ใน
ามารถปฏิบั ติ ต
รมที่ตั้งไว D
เครื่อง transdu
นป 1998
ตอขอมูลที่มี
uctive








M

m




2.7. คุ ณ
SVM
เปนกรณี พิเศษ
การทดลองกา
ขอบ .
แยกแยะเปรี ย
2.8. อัตร
ในป
อนุญาตใหสํ า
Margin ซอฟ
ระยะทางเพื่อ
misclassificat
C
ì
(
e
ì
ปดระหว
เพิ่มประสิทธิ
min


ภายใต (สําห
C
ì
(
ณสมบัติ
Ms อยูในทั่ วไป
ษของ regular
ารจัดหมวดห
ยบเทียบอื่น ๆ
ราซอฟท
1995 Corinn
าหรับตัวอยาง
ฟทจะ hyperpl
แยกที่ ใกลที่ ส
tion และ X
ì
(w· X
ì
-
างขอบขนาด
ิ ภาพ :
nw, e{
1
2
รั บการใด ๆ
(w· X
ì
-
ปในครอบครั
rization Tikh
หมู และเพิ่มอั ต
ๆ ของการ SV
na Cortes และ
ง mislabeled
[
ane วิธี การเลื
สุ ดตัวอยางเรีย

-b) ¸ 1
ดใหญ และขอผิ
||w||
2
+
-b) ¸ 1
รั วของ แยกแย
honov คุณสม
ตราเรขาคณิ ต
VM ไดรับการ
ะ Vladimir V
[2]
ถามีการที่ไ
ือก แยกตั วอย
ยบรอย วิ ธีแน
-e
ì

ผิ ดพลาดการล
+c e
ì
n
ì=1
)
-e
ì
e
ì
ยะเชิงเสน . พ
มบัติพิ เศษก็คื อ
ตด วยเหตุนี้พว
รทําโดยเมเยอ
Vapnik แนะนํ
ไมสามารถแย
ยางเปนอยางส
นะนํ าตัวแปรห
1 ¸ i
ลงโทษเล็ก ๆ
ì
]
¸ u
พวกเขายังสาม
อพวกเขาพร อ
วกเขาเปนที่รู จ
ร , Leisch แล
าการปรับเปลี
ยก hyperplane
สะอาดที่สุดใ
หยอนe
ì
ที่วัด
i ¸ n
ฟงกชั่นเชิงเส
มารถได รับกา
 อมกันลดข อผิ
จั กกันว าสูงสุ
ะ Hornik
ลี่ ยนความคิ ดอ
e วา"ใช"และ
นขณะที่ยังคง
ดระดับความ

สนจะกลายเป
ารพิจารณา
ผิ ดพลาดใน
สด แยกแยะ
อั ตราสูงสุดที่
"ไม"ตั วอยาง
งเพิ่ ม

ปนป ญหาการ



ขอ จํากัด ในการนี้ (2) พรอมกับวัตถุประสงคของการลด จะสามารถแกไขไดโดยใช ตัวคูณลาก
รานจ ทําไวขางตน หนึ่งได แล วในการแก ปญหาตอไปนี้

min w, e, b max o, [{
1
2
||w||
2
c e
ì
n
ì=1
- o
ì
| C
ì
(w· X
ì
-b) ¸ 1 +e
ì
] -[
ì
X
ì
n
ì=1
n
ì=1
]
ดวย o
ì
, [
ì
¸ u
ประโยชนหลั กของการปรับสมการเชิงเส นคือตัวแปรหยอนหายไปจากปญหาคูกับ C คง
ปรากฏเปนเพี ยงขอ จํากัด เพิ่มเติมเกี่ ยวกั บตัวคูณลากรานจ สําหรับการกําหนดขางตนและผลกระทบ
อยางมากในทางปฏิบัติ Cortes และ Vapnik 2008 ไดรับ รางวั ลปารีส Kanellakis ACM ไมเปนเส นตรง
ฟงกชั่นไดถู กนํามาใช โดยเฉพาะอยางยิ่งในการลดผลกระทบของคาผิ ดปกติในตัวจําแนก แตถ าจะมา
ดูแลปญหาจะกลายเปนเสนโคงไมมากดังนั้นจึงเป นการยากที่จะหาวิ ธี ทั่วโลก
2.9. การจัดหมวดหมูไมเชิ งเสน
ขั้นตอนวิ ธีที่ดี ที่สุด hyperplane เดิมที่เสนอโดย Vladimir Vapnik ในป 1963 เปน ตัวจําแนกเชิง
เสน อยางไรก็ ตามในป 1992, เบอรนารด Boser , อิซาเบล Guyon และ Vapnik แนะนํ าวิธี การไมเชิงเสน
สรางแยกแยะโดยใช เคล็ดลั บเคอรเนล (เดิมที่เสนอโดย Aizerman et al) เพื่อ hyperplanes อัตราสูงสุด
ขั้นตอนวิ ธีการที่เกิ ด เปนอย างเปนทางการที่คลายกันยกเวนวาทุก จุดของผลิตภั ณฑ จะถูกแทนที่ โดยไม
เปนเสนตรง เคอรเนล ทํางาน นี้จะชวยให เปลี่ยนขั้นตอนวิ ธีเพื่อใหพอดีกับสูงสุด margin - hyperplane
ใน พื้นที่คุณลั กษณะ . การเปลี่ยนแปลงอาจจะไมเปนเส นตรงและพื้ นที่แปลงสูงมิติ ดังนั้นแมวาตัว
จําแนกเปน hyperplane ในพื้ นที่คุณลักษณะสูงมิตินั้นอาจจะไมเปนเส นตรงในพื้ นที่เขาเดิม
หากใช Gaussian ฟงกชันพื้ นฐานแนวรัศมี , คุณสมบัติพื้นที่ที่สอดคลองกันเปน พื้นที่ Hilbert ของมิติ
อนันต สูงสุดแยกแยะที่ขอบเปนอยางดี regularized ดังนั้นมิติที่สิ้นสุ ดไมเสียผล บางเมล็ดทั่ วไปรวมถึง

• พหุนาม (ที่เป นเนื้อเดี ยวกัน) : k(X
ì
, X
]
) = (X
ì
· X
]
)
2

• พหุนาม (inhomogeneous) : k(X
ì
, X
]
) = (X
ì
· X
]
+1)
d

• Radial Basis Function : k(X
ì
, X
]
) = exp (-y||X
ì
-X
]
||
2
)
สําหรับγ > 0
• Gaussian ฟงกชันพื้นฐานแนวรัศมี : k(X
ì
, X
]
) = exp (-
||X
i
-X
]
||
2
2c
2
)
• สัมผัสซึ่งเกินความจริง : k(X
ì
, X
]
) = tanh(KX
I
· X
j
+c)
สําหรับบางคน (ไมทุกคน) κ> 0 และ c <0
เมล็ดมีความสัมพันธกับการแปลง φ(X
ì
)โดยสมการ k(X
ì
, X
]
) = (φ(X
ì
) · φ(X
]
) w
คานี้ยังมีในพื้ นที่แปลงด วย w = ∑ o
ì
c
ì
ç(X
ì
)
ì
ผลิตภั ณฑ Dot กับ w สําหรับการจัดหมวดหมู
ไดอีกครั้งจะคํานวณโดยการหลอกลวงใหเคอรเนลคือ
w· ç(X) = ∑ o
ì
c
ì
k(X
ì
, X)
ì
แตมีไมไดโดยทั่วไปอยู w คาเชนที่ w· ç(X) =
k(w
i
, X)











มี


ที

4


รูปที่ 2.10.1
การก
เปนโคงและไ
ไมเปนเสนตร
การเชิงเสน 2
กับ ELMap2D
มีการผลิตโดย
สวนใหญ เป น
ขั้นตอนวิ ธี PC
ที ่สุด เพื่อจุดช


4
http://en.wikipedi
Linear PCA
กําหนดคาของ
ไมสามารถแม
รงพิกัด (ELM
2D หลายเทา P
D และลั กษณ
ย แผนที่ยืดห
นวิธี การที่ทั น
CA หรือ K -
ชุ ดขอมูลของเ

a.org/wiki/Principa
A เมื่อเทียบกับ
งโหนดและพื
มปอยางเพียงพ
Map2D) ร วมกั
PCA (PCA2D
ณะของการกระ
ยุ น ขั้นตอนวิ
นสมัยสําหรับ
หมายความว
เสนหลั ก เสน

al_component_anal
บทอร วมที่สําค
นม micr
พื้นผิว 2 มิติ ที่ส
พอในระนาบ
กับการประมา
D) "ฐาน"มะเ
ะจายเปนมติ ที
วิธี ขอมูลที่ใช
การลดมิติกา
า ตนฉบับคว
นโคง และ ทอร
ysis
คั ญไมเปนเชิง
roarray
4

สําคัญในเชิงเ
บหลั ก 2D การ
าณค าของควา
เร็งเตานมชนิ
ที่ดีกวาเมื่อเปรี
ชได สําหรับกา
ารไม เชิงเสน ท
วามคิดของเพี
ร วม ใหกรอบ
งเสน สําหรั บ
เสน 3 มิติหลา
รกระจายในภ
ามหนาแนน เ
ดยอยคือมอง
รี ยบเทียบกับ
ารแข งขันสาธ
ทฤษฎี และกา
พี ยรสั นคือการ
บทรงเรขาคณิ

บ การแสดง ข
ายตอ PCA ช
ายในพื้ นผิ ว 2
เช นเดี ยวกับ แ
เห็นมากขึ้นอ
PCA2D ท อ
ธารณะ
ารหารากของพ
รใชเส นตรง ซึ
ณิ ต
ของ มะเร็งเตา
ชุดขอมูลที่
2 มิติที่สําคัญ
แตสําหรั บ
อยางเพี ยงพอ
อรวมที่สําคั ญ
พวกเขาใน
ซึ ่งจะถู ก ดี




ที







5



2.10.
ประส
ที ่แตกตางกัน
เก็บ พยายาม
นาเชื่อถือของ
การทดสอบแ
2.10.1 วิ
ตั้ง


เกลียวขอมูลผม
y

5
http://www.
การเลือก
สิทธิผลของ S
ของ C, γ) ค
มชี้แจงลําดับก
งที่ดีที่สุดคือเลื
และจัดหมวดห
วิ เคราะหเชิงเ
กับขอมู
SV
y = 1
สําหรับ

.springerlink.
กพารามิเตอ
SVM ตั้งอยูใน
า (จะถูกทดส
การเจริ ญเติบโ
ลื อกไวสําหรั
หมูขอมูลใหม
เสนกํ าลังสอง
มูลนําเขา
M ตัวจําแนก
รูปที่2
บข อมูลที่ผมสีฟ าจุ

.com/index/k
อร
นการเลือกขอ
สอบและดีที่สุ
โตของซีเปนวิ
;
ับสมมติฐานก
มในชั้นเรียนโ
งนอยที่สุด
และ
กตาม Vapnik
.12
5
จําแนกต

y = -- 1 ข
km7krm46802
องเคอรเนลแล
ดหนึ่งเดียวกับ
วิ ธี การปฏิ บัติเ
การจัดหมวดห
โดยเฉพาะ
ะสอดคลองป า
k 's สูตรเดิมตร
ตามกฏของ V
ขอมูลจุดสีแดง
2r2114.pdf
ละพารามิ เตอ
บ การตรวจส
เพื่อระบุคาพา
หมู ขอนี้ใชเฉ
ายชื่ อชั้นเลขฐ
รงเงื่อนไขดั ง

Vapnik

รขอบนุม สํ า
สอบขาม ความ
ารามิเตอรที่ดี
) หนึ่ ง
ฉพาะในอนา
ฐานสอง
ตอไปนี ้
าหรับเมล็ ด, คู
มถู กตองถูก
(ตัวอยางเช น
งที่มีความ
คตสําหรับ
คู



ซึ่งเทียบเทากั บ

ที่φ (x) มีพื้นที่ไมเชิงเสนแผนที่ต นฉบับจากพื้นที่ เพื่อสูง (อาจจะเป นที่สิ้นสุดและมิติ)
2.10.2 ขอมู ลแยกออกไม ได
ในกรณีที่ hyperplane
แยกดังกลาวไมอยูใหเราแนะนําตัวแปรหยอนξฉันเรียกวาดังกลาววา


ตาม การลดความเสี่ยงที่มี โครงสรางเป น หลักการบริหารความเสี่ยงถู กผู กไว เปนลดโดยการลดป ญหา
ดังตอไปนี้





รูปที่2.12.1 ผลของตั วจําแนก SVM
6

ที่ เปน ตัวคูณ Lagrangian . จะอยู ในจุ ดที่เหมาะสม จุดอาน
, ฟงกชัน Lagrangian จากนั้ นเราของรับ

โดยแทน w จากการแสดงออกของเราจะไดรับการเขียนโปรแกรมดังต อไปนี้ปญหาสมการกําลังสอง :

ที่ เรี ยกวาการ ทํางานของเคอรเนล . การแกป ญหาเรื่องนี้ QP
เพื่อ constrains ใน (8) เราจะไดรับ hyperplane ในมิติพื้นที่สูงและดวยเหตุนี้ ตัวจําแนก ในพื้นที่เดิม
2.10.3 กําหนด SVM
อยางนอยรุนที่สองของตัวจํ าแนก SVM reformulating ไดมาจากการลดปญหาดังนี้

ภายใตขอ จํากัด ของความเสมอภาค :


6
http://www.springerlink.com/index/km7krm46802r2114.pdf

SVM (LS - SVM) การกําหนดตัวจําแนกอยางนอยขางตนโดยปริยายสอดคลองกับ การถดถอย การ
ตีความกับเปาหมายไบนารี .
โดยใช เราได

y
i
-- (w φ
T
(x
i)
+ B)
ดังนั้นการกําหนดตัวจําแนก LS - SVM จะเทากับ

ดวย และการ

รูปที่ 2.12.2 ผลของตั วจําแนก LS - SVM
7


7
http://www.springerlink.com/index/km7krm46802r2114.pdf












ทั้งสอง p แล
เทียบกับผลรว
เดิมเปนเพียงก
เบสเพื่อ LS -


regressor โซ
ที่
w กําจัดและ
ดวย
เม
ละ e ควรได
วมความผิ ดพ
การปรับแตงพ
SVM
ซลูชั่น LS - SV
เปนตัวคู ณล
e จะทําให ระ
มทริกซเอกลั ก
ด รับการพิจาร
พลาดยกกําลังส
พารามิเตอร γ
VM ของจะได
ลากรานจ เงื่ อ
ะบบเชิงเสน แ
,
กษณ และ
รณาเป น hype
สอง แกป ญห
γ e เราใชทั้ง
ดหลังจากที่ เร
อนไขสําหรับ
แทนการ เขียน
erparamters เพ
หาไมเพียงขึ้ น
p และ e เป
ราสร าง ฟงก ชั
optimality เป
นโปรแกรมกํ

และก

พื่อปรับจํ านว
นอยู กับอัตราส
ปนพารามิเตอ
ชัน Lagrangia
ป น
กําลังสอง ปญ
าร
วนของ regula
สวนγ = p จึ
อรเพื่อใหการตี
an :

หา :
arization เมื่ อ
จึ งจะใชสูตร
ตี ความแบบ
เป


K
คือเมทริกซเคอร เนลที่กํ าหนดโดยΩฉัน j
= φ (x
i

T)
φ (x
j)
= (x
i,
x
j)


2.11. Multiclass SVM
Multiclass SVM มีวัตถุประสงคเพื่อกําหนดปายกํากับให กับอินสแตนซ โดยใชเครื่องเวกเตอร
สนับสนุนที่ปายชื่อมาจากเซตขององคประกอบหลาย วิธี การมีอํานาจเหนือสําหรับการทําเชนนั้นคื อการ
ลดเดียว multiclass ปญหา ในหลาย ประเภทไบนารี ปญหา แต ละป ญหาผลผลิตตั วจําแนกฐานสองซึ่ง
จะถือวาฟงกชั่ นการผลิตผลผลิตที่ ใหคามากนักสําหรับตั วอยางจากระดั บบวกและคาขนาดที่คอนข างเล็ก
สําหรับตัวอยางที่อยูในระดับติดลบ มีสองวิธี ร วมกันเพื่อสรางแยกแยะไบนารี ดังกลาวแต ละตัวจําแนกที่
แตกตางระหว าง (i) หนึ่งในปายชื่อที่เหลือ (ONE - กับ - all) หรือ (ii) ระหวางทุกคูของคลาส (ONE -
กับ - one) การจัดประเภทของอินสแตนซ ใหมสําหรับหนึ่งเมื่อเทียบกั บ - กรณีทั้งหมดจะกระทําโดยผู
ชนะจะใชเวลา - กลยุทธทั้งหมดที่มีฟงกชั่ นตัวจําแนกออกสูงสุดกําหนดชั้น (มันเป นสิ่งสําคัญที่ฟ งกชั่น
ออกจะปรับคะแนนในการผลิตเที ยบเทา) สําหรับหนึ่งเมื่อเทียบกับ - one วิธี การจําแนกสามารถทําได
ดวยการกลยุทธการลงคะแนนชนะ - Max ซึ่งในทุกลักษณนามเช นกําหนดใหเปนหนึ่งในสองชั้นเรียน
แล วใหคะแนนสําหรับชั้นเรี ยนไดรับมอบหมายที่เพิ่มขึ้นหนึ่งเสียงและสุดทาย ชั้นด วยคะแนนเสียงสวน
ใหญจะกําหนดประเภทอินสแตนซ
























บทที่ 3
การประยุกต ใชงาน
3.1. โครงขายประสาทเทียม
โครงขายประสาทเทียม (Artificial neural network) หรือที่มักจะเรี ยกสั้ น ๆ วา ขายงานประสาท
(neural network หรือ neural net) คือโมเดลทางคณิตศาสตร สําหรับประมวลผลสารสนเทศดวยการ
คํานวณแบบคอนเนคชันนิสต (connectionist) เพื่อจําลองการทํางานของเครือขายประสาทในสมอง
มนุษย ด วยวั ตถุประสงค ที่จะสร างเครื่องมือซึ่งมีความสามารถในการเรียนรู การจดจําแบบรูป(Pattern
Recognition) และการอุปมานความรู ( Knowledge deduction) เชนเดียวกับความสามารถที่มีในสมอง
มนุษย แนวคิดเริ่มตนของเทคนิคนี้ไดมาจากการศึกษาขายงานไฟฟาชีวภาพ (bioelectric network) ใน
สมอง ซึ่งประกอบดวย เซลลประสาท และ จุดประสานประสาท (synapses) แตละเซลลประสาท
ประกอบด วยปลายในการรั บกระแสประสาท เรียกวา "เดนไดรท " (Dendrite) ซึ่งเปน input และปลายใน
การสงกระแสประสาทเรี ยกวา "แอคซอน" (Axon) ซึ่งเปนเหมือน output ของเซลล เซลลเหลานี้ทํางาน
ดวยปฏิ กิริ ยาไฟฟาเคมี เมื่อมีการกระตุนดวยสิ่งเราภายนอกหรือกระตุ นดวยเซลลด วยกัน กระแส

ประสาทจะวิ่งผานเดนไดรท เขาสูนิวเคลียสซึ่งจะเปนตั วตัดสินวาตองกระตุนเซลลอื่ น ๆ ตอหรือไม ถา
กระแสประสาทแรงพอ นิวเคลียสก็จะกระตุนเซลลอื่น ๆ ตอไปผานทางแอคซอนของมัน

3.1.1. โครงสราง
นักวิ จัยส วนใหญในปจจุบันเห็นตรงกั นวาขายงานประสาทเทียมมี โครงสรางแตกตางจาก
ขายงานในสมอง แตก็ยังเหมือนสมอง ในแงที่วาขายงานประสาทเที ยม คือการรวมกลุมแบบขนานของ
หนวยประมวลผลยอย ๆ และการเชื่อมตอนี้เปนสวนสําคัญที่ทําใหเกิ ดสติปญญาของขายงาน เมื่อ
พิจารณาขนาดแล วสมองมีขนาดใหญ กวาขายงานประสาทเทียมอยางมาก รวมทั้งเซลลประสาทยังมี
ความซับซอนกวาหนวยยอยของขายงาน อยางไรก็ดีหนาที่สําคัญของสมอง เชน การเรียนรู ยังคงสามารถ
ถูกจําลองขึ้นอยางงายดวยโครงขายประสาทนี้

3.1.2. หลั กการ
สําหรับในคอมพิวเตอร Neurons ประกอบดวย input และ output เหมือนกัน โดยจําลองให
input แตละอั นมี weight เป นตัวกําหนดน้ํ าหนักของ input โดย neuron แตละหนวยจะมีคา threshold
เปนตัวกําหนดวาน้ําหนั กรวมของ input ตองมากขนาดไหนจึงจะสามารถสง output ไปยัง neurons ตัว
อื่นได เมื่อนํา neuron แตละหนวยมาตอกั นใหทํางานร วมกันการทํางานนี้ในทางตรรกแลวก็จะ
เหมือนกับปฏิ กิริ ยาเคมีที่เกิดในสมอง เพียงแตในคอมพิ วเตอรทุกอยางเปนตัวเลขเทานั้นเอง
3.1.3. การทํางาน
การทํางานของ Neural networks คือเมื่อมี input เขามายัง network ก็เอา input มาคูณกั บ weight
ของแตละขา ผลที่ ไดจาก input ทุก ๆ ขาของ neuron จะเอามารวมกันแลวก็เอามาเที ยบกับ threshold ที่
กําหนดไว ถาผลรวมมีคามากกวา threshold แล ว neuron ก็จะสง output ออกไป output นี้ก็จะถู กสงไป
ยัง input ของ neuron อื่น ๆ ที่เชื่อมกันใน network ถาคานอยกวา threshold ก็จะไมเกิ ด output
สิ่งสําคัญคือเราตองทราบคา weight และ threshold สําหรับสิ่งที่เราตองการเพื่อใหคอมพิวเตอร รูจํา ซึ่ง
เปนคาที่ไมแน นอน แตสามารถกําหนดให คอมพิวเตอรปรับคาเหลานั้ นไดโดยการสอนใหมันรู จัก
pattern ของสิ่งที่เราตองการใหมันรูจํา เรี ยกวา "back propagation" ซึ่งเปนกระบวนการยอนกลับของการ
รูจํา ในการฝก feed-forward neural networks จะมี การใช อัลกอริทึมแบบ back-propagation เพื่อใช ใน
การปรับปรุงน้ํ าหนักคะแนนของเครือขาย (network weight) หลังจากใสรูปแบบขอมูลสําหรับฝ กใหแก
เครือขายในแตละครั้งแล ว คาที่ไดรับ (output) จากเครือขายจะถูกนําไปเปรี ยบเทียบกับผลที่คาดหวัง
แล วทําการคํานวณหาคาความผิดพลาด ซึ่งคาความผิ ดพลาดนี้จะถู กสงกลับเขาสูเครือข ายเพื่อใช แก ไขคา

น้ําหนักคะแนนตอไป อยางเชนจะรูจํารูปสามเหลี่ยม กับรูปสี่เหลี่ยม เราอาจแบง input เปน 9 ตัวคือเปน
ตาราง 3x3 ถาวาดรูปสี่เหลี่ยมหรือสามเหลี่ยมใหเต็มกรอบ 3x3 พอดี สี่เหลี่ยมจะมีสวนของขอบอยูใน
ชอง 1,2,3,4,6,7,8,9 ก็สมมติใหน้ําหนักตรงชองเหลานี้มี คามาก ๆ ถามีเสนขีดผานก็เอามาคูณกับน้ําหนัก
แล วก็เอามารวมกัน ตั้งคาใหพอเหมาะก็จะสามารถแยกแยะระหวางสี่เหลี่ยมกับสามเหลี่ยมได ซึ่งนี่คือ
หลักการของ neural network


3.1.4. การประยุ กตใชงาน Neural Network
แบบขายงานระบบประสาท (Neural Network) เนื่องจากความสามารถในการจําลอง
พฤติกรรมทางกายภาพของระบบที่มีความซับซ อนจากข อมูลที่ปอนให เรี ยนรู การประยุกตใชขาย
งานระบบประสาทจึงเปนทาง
เลือกใหมในการควบคุม ซึ่งมีผูนํามาประยุ กตใชงานหลายประเภท ไดแก
• งานการจดจํารู ปแบบที่มีความไมแน นอน เชน ลายมือ ลายเซนต ตัวอักษร รูปหนา
• งานการประมาณคาฟงกชั นหรือการประมาณความสัมพั นธ (มี inputs และ outputs แตไม
ทราบวา inputs กับ outputs มีความสัมพันธกันอยางไร)
• งานที่สิ่งแวดล อมเปลี่ยนแปลงอยูเสมอ (วงจรขายนิ วรอลสามารถปรับตัวเองได )
• งานจัดหมวดหมูและแยกแยะสิ่งของ
• งานทํานาย เช นพยากรณอากาศ พยากรณ หุน
• การประยุ กตใชขายงานระบบประสาทควบคุมกระบวนการทางเคมี โดยวิ ธีพยากรณ
แบบจําลอง (Model Predictive Control)
• การประยุ กตใชขายงานระบบประสาทแบบแพร กระจายกลับในการทํ านายพลังงานความ
รอนที่สะสมอยู ในตั วอาคาร
• การใชขายงานระบบประสาทในการหาไซโครเมตริกชารท การประยุ กตใชขายงานระบบ
ประสาทควบคุมระบบ HVAC




บทที่ 4
สรุป
4.1. ขอสรุป

วิธี การ Support Vector Machines ปจจุบันได รับความนิยมอยางแพร หลายอยู ในรูปผลงาน
หลายๆรูปแบบ เพราะวิ ธี การคํานวนของ Support Vector Machines ไดความแมนยํ าเกือบ 100%
จึงเปนเหตุผลหลักที่วิ ธีการ Support Vector Machines ไดรับความนิ ยม เนื่องจากใช วิธี การสถิติ
วิธี การถดถอยมาคํานวณหาขอสรุปในรูปแบบตางๆ ดวยวิ ธีการที่ แมนยําจากการคํานวณ จึงทําให
วิธี การ Support Vector Machines ประยุ กตใชกับผลิ ตภั ณฑที่ใช การวิเคราะหขอมูล การแยกขอมูล
ออกเปนแต ละประเภท การจงเจาะขอมู ลบางประเภท
การ Support Vector Machines ใชหลักการทางคณิตศาสตรมาคํานวณ ทางสถิติ การ
ถดถอย สามารถใชกับขอมู ลหลายรูปแบบที่จะนํามาวิเคราะห ในการวิเคราะหขอมูลแต ละประเภท
หลักการวิ เคราะหขอมูลก็แตกตางตามขอมู ลของแต ละประเภท ตั วที่บงชี้การวิเคราะห คือ ลักษณะที่
บงชี้ขอมูลเฉพาะที่อางอิงถึงที่ขอมูลที่นํามาวิเคราะห
Support Vector Machines เปนวิ ธีการที่นํ ามาใชในดานการแพทย ดานเทคโนโลยี ดาน
เจาะจงตัวบุคคล และดานอื่นๆ จึงเหมาะแก การพั ฒนาเปนผลิตภั ณฑที่ช วยแยกขอมูลในดานตางๆใน
อนาคต













บรรณานุกรม

• http://www.support-vector.net/icml-tutorial.pdf
• http://www.cs.columbia.edu/~kathy/cs4701/.../jason_svm_tutorial.pdf
• http://www.svms.org/tutorials
• http://www.autonlab.org/tutorials/svm.html
• http://www.dtreg.com/svm.htm
• http://www.cs.brown.edu/courses/archive/2006-2007/.../Burges98.pdf
• http://www.support-vector-machines.org/SVM_review.html
• http://www.springerlink.com/index/km7krm46802r2114.pdf


ชื่อ เรื่อง อาจารยที่ปรึกษา คําสําคัญ

: นางสาวชโลทร

ตาดี

รหัส

505261

: ชัพพอรต เวกเตอร แมชชีน : ดร.อรรถ โกญจนาท : สถิติ

บทคัดยอ
Support Vector Machines อาศัยทฤษฎีทเี่ รียนรูเกียวกับสถิติสามารถถูกใชกับแบบแผน และ ่ การถดถอย ทฤษฎีที่เรียนรูเกี่ยวกับสถิติสามารถระบุคอนขางจะปจจัยอยางกระชับซึงตองการถูกใชเขา ่ ไปในบัญชีที่จะเรียนรูชนิดงายดายจํานวนหนึ่งอยางสมบูรณของวิธีคิด โดยปกติโปรแกรมโลกจรีง ตองการความซับซอนอยางมากกวาจําลอง และวิธีคิด( เชนเดียวกันกับเครือขายเกี่ยวกับประสาทหรือ ระบบประสาท ) ซึ่งทําใหยากมากที่จะวิเคราะหเกียวกับทฤษฎี ่ SVMs สามารถถูกเห็นเปนการพูดเท็จที่จดตัดของทฤษฎีที่เรียนรู และในทางปฏิบัติ เขาสราง ุ แบบตัวอยางทีสิ่งนั่นคือความซับซอนพอ การบรรจุคลาสมากมายของเครือขายเกี่ยวกับประสาทหรือ ่ ระบบประสาทสําหรับตัวอยาง และถึงกระนั้นสิ่งนั่นคือสิ่งที่งายๆพอถูกวิเคราะห เพราะวา SVM สามารถถูกเห็นเปนวิธีคิดแบบเชิงเสน ในที่วางความกวางยาวสูง SVMs ประยุกตใชกับประโยชนทางดานการแพทย ดานวิทยาศาสตร ดานวิศวกรรม ดาน เทคโนโลยีและในอนาคตจะสามารถประยุกตใชกับระบบเครือขายในรูปแบบตางๆใด จะเปนรูปแบบที่ ซับซอน

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->