07 SVMs

Machine Translated by Google
Hỗ TrợVectorMáy
&Hạt nhân
Thực hiện rất tốt với các bề mặt quyết định tuyến tính
Chuyển thể từ slide của TimOates

Đề cương
n Dự đoán@on
n Whymightpredic@onsbewrong?
n Hỗ trợvectơmáy móc n Thực

sự tốt vớituyến tínhmô hình
n hạt nhân
n Làm cho thenon-tuyến tínhtuyến tính

Tại saoMightPredic@onsbeWrong?
• Thuyết quyết định Truenon
– Flipabiasedcoin–
p(ngửa)= θ
– Es@mate θ
- Nếu như θ >0,5dự đoán'đầu',khác'đuôi'
Rất nhiều nghiên cứu ML về các vấn đề như thế này:

– Mô hình học tập
– Dothebestyoucaninexpecta@on
• Khả năng quan sát được
– Điều gì đó cần thiết để dự đoán y bị thiếu từ quan sát @ trên x
– N-bitparityproblem
• x chứaN-1bits(hardPO)
• x containsNbitsbutlearnerignoressomeofthem(soWPO)
• Noiseintheobserva@on x
– Lỗi đo lường
– Dụng cụ giới hạn @ons

• Thuyết quyết định Truenon
• Khả năng quan sát được

– cứng,vậy
• Đại diện@onalbias· Thuật
toán sai lệch
• Tài nguyên bị giới hạn

Re Presenta@onalBias
• Có đúng tính năng (x) là rất quan trọng
0
x x2
Hỗ TrợVectorMáy
Làm Thực Sự Tốt vớiLinear

Quyết địnhBề mặt
Điểm mạnh của SVM

• Goodgeneraliza@on– lý
thuyết–
inprac@ce
• Hoạt động tốt với một số phiên bản đào
tạo Tìm mô hình tốt nhất
toàn cầu· Thuật toán hiệu quả
• Thủ thuật hạt nhân có thể chấp nhận được

MinorNota@onChange
Tobe`ermatchnota@onusedinSVMs
...andtomakematrixcông thức đơn giản
Chúng tôi sẽ bỏ sử dụng chỉ số trên cho trường hợp thứ i
In đậm biểu thị

ví dụ thứ nhất x(i) xi vectơ
Không đậm
tôi là instancelabel
y(tôi) ừ biểu thị vô hướng
đặc điểm của i dụ thứ j x(i)

j xij
9
Bộ phân tách tuyến tính
• Phiên bản huấn
luyện x 2 Rd+1, x0 = 1
y 2 {1, 1}
Nhớ lại:
• Tham số mô hình Tích (chấm) bên
2 Rd+1 trong: hu, vi = u · v = u|v
• Siêu phẳng uivi

= X
|x = h , xi = 0 Tôi
• Quyết định chức năng@on
h(x) = dấu( |x) = dấu(h , xi)

Intui@ons
Intui@ons
Intui@ons
Intui@ons
Dấu phân cách “Tốt”

Tiếng ồn trongObserva@ons
Phán quyếtMột sốDải phân cách

Rất nhiều tiếng ồn

Chỉ Một Dấu Phân Cách Còn Lại

Tối đa hóa lợi nhuận

Máy tách chất béo

Máy tách chất béo
lề
Tại saoTối đa hóa ký quỹ
Tăng lợi nhuận làm giảm năng lực • tức
là có ít mô hình hơn
Bài học từ Lý thuyết Học tập: •
Nếu những điều sau đây đúng:
– Kích thước của nó bị ràng buộc đủ
mức– và/hoặc kích thước của tập dữ liệu đào tạo là
lớn, sau đó lỗi đào tạo thấp có khả năng xảy ra bằng
chứngoflowgeneraliza@onerror
23
Alterna@veViewofLogis@cRegression
1
h (x) = h (x) = g(z)
1 + e Tx
z = Tx h (x) = g(z)
z = Tx
Nếuy y == 11 , chúng tôi muốn h

h (x)
(x) 1,
1 Tx 0
y = 0 , chúng
Nếu y = 0 tôi muốn h
h (x)
(x) 0
0, Tx 0
J( ) = X [yi log h (xi) + (1 yi) log (1 h (xi))]

tôi=1
phút J( ) chi phí1( |xi) chi phí0( |xi)
24
Dựa trênslidebyAndrewNg
AlternateViewofLogis@cRegression
Ví dụ chi phí: yi log h (xi) (1 yi) log (1 h (xi)) h
(x) = g(z)
1
h (x) z = Tx
= 1 + e Tx
y = 1 Tx 0
Nếu (muốn): y = 1 Tx 0 Nếu (muốn): y = 0 Tx 0
y = 0 Tx 0
25
Logis@cRegressiontoSVM
Logis@cHồi quy:
N d
phút
X [yi log h (xi) + (1 yi) log (1 h (xi))] +
2 X 2
j
tôi=1 j=1
Hỗ trợVectorMachines:
N d
1
phút
CX [yicost1( |xi) + (1 yi) cost0( |xi)] +
2X
2
j
tôi=1 j=1
1
Bạn có thể nghĩ C tương tự như vậy
26
Hỗ trợVectorMáy
N d
1
phút
2 X j
2
tôi=1 j=1
y = 1
Nếu y = 1 (muốn): y =|x

0 1 Nếu y = 0 (muốn |x 1 ):
-1 1 -1 1
`bản lề(h(x)) = max(0, 1 y · h(x))
27
Hỗ trợVectorMáy
N
1 d
phút
2 X 2
j
tôi=1
y=1/0 j=1
y=+1/-1
với C = 1
d d
1 1
phút 2
2X
2
j=1
j phút
2 X j
j=1
1 st |xi 1 nếu yi = 1 nếu yi = 1
st yi( |xi) 1
1 |xi 1 nếu yi = 1 nếu yi = 1
28
Ký quỹ tối đaSiêu phẳng

2
lề= k
k2
|x = 1 |x = 1
Hỗ trợVector
|x = 1 |x = 1
Phân loại ký quỹ lớn

Sự hiện diện của ngoại lệ
C rất lớn
x2
C không quá lớn
x1
31
VectorBên TrongSản Phẩm
v v
2
bạn
bạn 2
kuk2 = chiều dài(u) 2 R
θ + u2
= qu2 1 2
P
v bạn
1 1
u|v = v|u
= u1v1
= u1v1 +
+ u2v2
u2v2
= kuk2
= kuk2 kvk2
kvk2 cos
cos
= pkuk2
= pkuk2 trong
trong đó
đó p
p =
= kvk2
kvk2 cos
cos
32
Dựa trên ví dụ của Andrew Ng
Hiểu về siêu máy bay

d
1
phút
2X
2
j Giả sử θ0 = 0 sao cho siêu
j=1
phẳng tập trung tại điểm
1 st |xi 1 nếu yi = 1 lý thuyết
nếu yi gốc,
= 1 và d =2
1 |xi 1 nếu yi = 1 nếu yi = 1
x
|x = k k2 kxk2 cos
| }
θ
{z
= pk k2
θ
P
33
Tối đa hóa lợi nhuận

d
1 Giả sử θ0 = 0 sao cho
phút
2X
2
j siêu phẳng tập trung
j=1 tại gốc tọa độ và d
1
st |xi 1 nếu yi = 1 =2 nếu yi = 1
Đặt pi betheprojec@onof
1
|xi 1 nếu yi = 1 nếu yi = 1
xi vào vectơ θ
θ
-θ
θ
-θ
k k2 phải k k2
Vì p nhỏ nên pk k2 Vì p lớn hơn
1
(hoặc<-1)belargetohave để có nên pk canbesmaller(hoặ
k2 1
Kích thước ký quỹ
Đối với các vectơ hỗ trợ, chúng ta pk k2 = ±1

•
có p isthelengthoftheprojec@onoftheSVsonto θ
P
Vì thế,
1
p =
k k2
-θ
θ 2
lề = 2p =
k k2
lề
35
Vấn đềSVMDual
Vấn đề SVM nguyên thủy đã được đưa ra
d
1
2
phút
2 X j
j=1
st yi( |xi) 1 8i
Có thể giải quyết nó hiệu quả hơn bằng cách sử dụng
Lagrangiandual • Tính đối

ngẫuisacommonideainop@miza@on • Nó biến
đổisadifficultop@miza@onproblemintoasimplerone© Keyidea:giới thiệ

– αi biểu thịhowimportantapar@cularconstraintistothesolu@on
36
Vấn đềSVMDual
• TheLagrangianisđược tặng bởi
d N
1
2 i(yi |x 1)
L( , ) =
2 X j X
j=1 tôi=1
st i 0 8i
• Chúng ta phải tối thiểu hóa θ và tối đa hóa trên α
• Atop@malsolu@on,par@alsw.rt θ'sare0
Giải quyết một loạt đại số và phép tính...
và chúng ta có được...
37
SVMDualRe Presenta@on
N N N
1
Tối đa hóa
J( ) =X tôi
2 X X i jyiyj hxi, xj tôi
tôi=1 tôi=1 j=1
st i 0 8i
X iyi = 0
Tôi
Thedecisionfunc@onisgivenbởi
h(x) = ký hiệu X
i2SV iyihx, xii + b !
1
1
trong đó b =
|SV| i2SV
X X jyj hxi, xj tôi
j2SV
0 @yi MỘT
38
Hiểu biết kép

N N N
1
Tối đa hóa
J( ) =X tôi
tôi=1 tôi=1 j=1
st i 0 8i
X iyi = 0
Tôi
Cân bằng giữa trọng

Ràng buộc(αi
lượng của các ràng buộc
đối với các lớp khác nhau 's)cannotbenega@ve
39
Hiểu biết kép

N N N
1
Tối đa hóa
J( ) =X tôi
tôi=1 tôi=1 j=1
st i 0 8i
X iyi = 0
Tôi
Điểm với nhãn khác nhau tăng tổng

Đo độ tương tự giữa các điểm
Điểm có cùng nhãn giảm tổng
Intui@vely,chúng ta nên cẩn thận hơn xung quanh các điểm gần lề
40
Hiểu biết kép

N N N
1
Tối đa hóa
J( ) =X tôi
tôi=1 tôi=1 j=1
st i 0 8i
X iyi = 0
Tôi
Inthesolu@on,hoặc: yi( |
xi)=1 Øpointisasupportvector
• αi >0andtheconstraintis@ght()
• αi =0
Øđiểm không phải là vectơ hỗ trợ
41
Tuyển dụngSolu@on
• Giventheop@malalsolu@on α*,op@malweightsare
? = X ? yixi
tôi
i2SV
– Trong công thức này@on, chưa thêm x0 = 1
• Vì vậy, chúng ta có thể giải quyết một trong những ràng buộc SV
yi( ? · xi + 0)=1
cũng đạt được θ0
– Hoặc, phổ biến hơn, taketheaveragesolu@onoverallsupportvectors
42
WhatifDataKhông thể
phân tách tuyến

d tính?
1
2
phút X 2 j
j=1
st
• Không thể tìm thấy θ thatsa@sfies yi( |xi) 1 8i
• Giới thiệu các biến thiếu
ξi yi( |xi) 1 tôi 8i
d
• Vấn đề mới:
1
2
phút X 2
j + CX tôi
j=1 Tôi
st yi( |xi) 1 i 8i
Điểm mạnh của SVM

• Goodgeneraliza@onintheory
Goodgeneraliza@oninprac@ce· Hoạt động hiệu
quả với ít phiên bản đào tạo· Tìm mô hình tốt nhất
toàn cầu· Thuật toán hiệu quả
• Thủ thuật hạt nhân có thể chấp nhận được…

Nếu bề mặt không tuyến tính thì sao?
ồ ôi
ồ ồ ồ
ồ ồ ồ
X X X
ồ ồ
ồ X ồ
ồ
X X ồ
ồ
ôi ồ
Hình ảnh từh`p://www.atrandomresearch.com/iclass/
Phương thức hạt nhân
Làm cho phi tuyến tính tuyến tính

KhiBộ phân tách tuyến tính thất bại
0 x x2
MappingintoaMớiTính năngKhông gian
: X7! Xˆ = (x)
• Ví dụ: với ([xi1, xi 2 R2

xi2]) = [xi1, xi2, xi1xi2, x2 i1, x2 i2]
RatherthanrunSVMon xi , runiton Φ(xi )

– Tìm không gian đầu vào phân tách phi tuyến tính
• Điều gì sẽ xảy ra nếu Φ(xi )
thực sự lớn? • Sử dụng hạt nhân để tính toán ngầm!

Imagefromh`p://web.engr.oregonstate.edu/~afern/classes/cs534/
hạt nhân
• Findkernel K như vậy
K(xi, xj ) = h(xi), (xj )i
K(xi, xj ) = nên hiệu

h(xi), (xjquả,nhiều
)i •
Compu@ngmoresothancompu@ng Φ(xi ) và Φ(xj )
• Sử dụng K(xi, xj ) = inSVMthuật toán

h(xi), (xj )i • thay vì hxi, xj tôi
Đáng chú ý là điều này có thể xảy ra!

Hạt nhân đa thức

[xi1,
Cho phép và
xi2] xi = [xi1, xi2] xj = [xj1, xj2]
xj = [xj1, xj2]
Hãy xem xét các chức năng sau đây:

2
K(xi, xj) )= hxi,
K(xi, xj = hxi,
xj ixj i 2
K(xi, xj ) = hxi, xj i 2
= (xi1xj1
(xi1xj1
( xi1xj1+++ xi2xj2)
xi2xj2)
xi2xj2) ===
2
(xi1xj1 + xi2xj2) =
(x2
= i1x2
(x2 i1x2 + +2xi1xi2xj1xj2)
x2 i2x2 + 2xi1xi2xj1xj2)
+ 2xi1xi2xj1xj2)
2xi1xi2xj1xj2) + +
j1 j2
= (x2 i1x2 + x2 i2x2
= h(xi),
h(xi), j1)i)i
(xj
(xj = = j2
Ở đâu h(xi), (xj )i p

(xi)=[x2 p x2 2xi1xi2] p
i1, i2,
p 2xj1xj2] i1,
2xi1xi2]
x2i2, (xi)=[x2
(xj )=[x2 p p 2xj1xj2]
2xj1xj2] x2 (xjp )=[x2p
2xj1xj2]
j1, j2,
(xj )=[x2
j1, x2 j2,
Hạt nhân đa thức

d
• Givenby – K(xi, xj ) = hxi, xj i
Φ(x) chứa tất cả các đơn thức bậc d
• Hữu íchinvisualpa`ernrecogni@on
– Ví dụ: •
Hình ảnh 16x16 pixel
• 1010 đơn thức bậc5 • Không bao
giờ tính toán một cách rõ ràng Φ(x) !
• Varia@on: K(xi, xj )=(hxi, xj i + 1)d

– Thêm tất cả các đơn thức thứ tự thấp hơn(độ1,...,d )!
TheKernelTrick
”
“Givenanalgorithmwhichiscomulatedintermsofa
ØSVMscanusethekerneltrick
Incorpora@ngKernelsintoSVM
N
1 N N
J( ) =X tôi
tôi=1 tôi=1 j=1
st ai 0 8i
XN iyi =1 0 N N
J( ) =XTôi tôi
2 X X i jyiyjK(xi, xj )
tôi=1 tôi=1 j=1
st ai 0 8i
X iyi = 0
Tôi
53
Hạt nhân Gaussian

• Còn được gọi là hạt nhân RadialBasisFunc@on(RBF)
K(xi, xj ) = exp 22 •
kxi xjk2 2
– Có giá trị1 khi xi = xj
– Giá trị giảm xuống 0 trong khoảng cách ngày càng tăng
– Lưu ý: Cần thực hiện tính năng chia tỷ lệ trước khi sử dụng GaussianKernel
-3 -3 -3
-1 5 -1 5 -1 5
1 0 1 0 1 0
3-5 3-5 3-5
độ lệch thấp độ lệch cao
hơn, độ lệch cao hơn hơn, phương sai thấp hơn

54
GaussianKernelVí dụ
`1
`2
K(xi, xj ) = exp kxi 2xjk2
22 •
Hãy tưởng tượng chúng ta đã học được rằng:
= [0,5, 1, 1, 0]
`3
Dự đoán+1nếu 0 + 1K(x, `1) + 2K(x, `2) + 3K(x, `3) 0
Dựa trên ví dụ của Andrew Ng 55

`1
`2
K(xi, xj ) = exp kxi 22 •2
xjk2
x1
= [0,5, 1, 1, 0]
`3
K(x1, `1) 1 othersimilari@es≈0

• Với x1, ta có 0 ,
+ 1(1) + 2(0) + 3(0)
= 0,5 + 1(1) + 1(0) + 0(0)

= 0,5 0 , tiên tri+1
`1
`2
K(xi, xj ) = exp kxi 22 •2
xjk2
= [0,5, 1, 1, 0]
`3 x2
K(x2, `3) 1 othersimilari@es≈0

• Với x2, ta có 0 ,
+ 1(0) + 2(0) + 3(1)
= 0,5 + 1(0) + 1(0) + 0(1)

= 0,5 < 0 , dự đoán-1
`1
`2
K(xi, xj ) = exp kxi 22
xjk2• 2
= [0,5, 1, 1, 0]
`3
Phác thảo thôbề mặtquyết định

Hạt nhân khác

• Hạt nhân Sigmoid
K(xi, xj ) = tanh ( x|
tôi xj + c)
– Mạng lưới thần kinhsusesigmoidasac@va@onfunc@on
– SVM với hạt nhân asigmoid tương đương với nhận thức 2 lớp
• Hạt nhân tương tự Cosine

x|tôi xj
K(xi, xj )
= kxik kxjk
– Lựa chọn phổ biến để đo lường độ tương tự của tài liệu văn bản
– Định mức L2dự ánvectơtrên các đơn vịhình cầu;sản phẩm chấm
của chúng là cosin của góc giữa các vectơ
59
Hạt nhân khác
• Hạt nhân Chi bình phương
K(xi, xj ) = exp X (xik xjk)2

xik + xjk !
k
– Được sử dụng rộng rãi trong các ứng dụng thị giác máy tính
– Chi bình phương đo khoảng cách giữa xác suất

phân phối@on
– Dataisassumedtobenon-nega@ve,oWenwithL1 Normof1
• Hạt chuỗi
• Hạt cây
• Hạt đồ thị
60
Ngoài ra:TheMathBehindKernels
cốc thủy tinh có nghĩa là gì ?
• K(xi, xj ) = h(xi), (xj )i forsomeΦ
Cần phải làm gì để làm cốc thủy tinh?
• Ngữ pháp Gij = K(xi, xj )

– Ma trận đối xứng
– Posi@vesemi-definitematrix:
zTGz ≥0foreverynon-zerovector z 2 Rn
Xây dựng “kernel-hood” từ nguyên tắc đầu tiên không hề tầm thường
AFewGoodKernels...
• Hạt nhân tuyến tính K(xi, xj ) = hxi, xj i
d
• Hạt nhân đa thức K(xi, xj )=(hxi, xj i + c)
– c ≥0tradesoffinfluenceoflowerorderterms
• Hạt nhân Gaussian

K(xi, xj ) = exp kxi 22
xjk2
• 2
• Hạt nhân sigmoid K(xi, xj ) = tanh ( x|
tôi xj + c)
Nhiều hơn
nữa...$Hạt nhân tương tự
cosine$Hạt nhân chi
bình phương· Chuỗi/cây/đồ thị/wavelet/etckernels

62
Applica@on:Automa@cPhotoRetouching
(Leyvandetal., 2008)
Prac@calAdvicecho việc áp dụngSVM

• Sử dụng các tham số SVMsoWwarepackagetosolvefor – ví dụ:
SVMlight, libsvm, cvx (nhanh!), v.v.
• Cần xác định:

– Lựa chọn tham số C
– Choiceofkernelfunc@on
• Các tham số hạt nhân liên quan
d
ví dụ,
K(xi, xj )=(hxi, xj i + c)
K(xi, xj ) = exp
22 •
kxi xjk2 2
64
Mul@-ClassClassifica@onwithSVMs
y 2 {1,...,K}
• ManySVMpackagesalreadyhavemul@-classclassifica@onbuildin
• Nếu không, hãy sử dụng one-vs-rest
– Đào tạo K SVM, từng lớp chọn từ phần còn lại, (1)
năng suất ,..., (K)
– Dự đoán lớp i lớn nhất ( (i) ) |x
Dựa trênslidebyAndrewNg 65
SVMsvsLogis@cRegression
(Lời khuyên từ AndrewNg)
n =#trainingexamples d =#features
Nếu d islarge(rela@veto n) (ví dụ: d > n với d =10.000, n =10-1.000)
• Uselogis@cregressionorSVMvớihạt nhân tuyến tính
Nếu d nhỏ (tối đa 1.000), n là trung gian (tối đa 10.000)
• Sử dụng SVM với nhân Gaussian
Nếu d nhỏ (tối đa 1.000), n lớn (50.000+) Tạo/
thêm nhiều tính năng hơn, thìuselogis@cregressionorSVM

không có hạt nhân
Mạng lưới thần kinh có khả năng hoạt động tốt trong hầu hết
những điều này, nhưng có thể đào tạo chậm hơn

Dựa trênslidebyAndrewNg 66
OtherSVMVaria@ons
• nuSVM
– điều khiển nuparameter:
Frac@onofsupportvectors(lowbound)andmisclassifica@onrate(upperbo
SVsandtrainingerrorrateis≤5% –
Hardertoop@mizethanC-SVMandnotasscalable
• SVMsforregression
• SVM một lớp
• Phân cụm SVM

...
67
Phần kết luận
• Bộ phân tách SVMsfindop@malline

• Kerneltrick làm cho SVM học phi tuyến tính
bề mặt quyết định
• Sức mạnh của SVM:

– Goodtheore@calandempiricalperformance
– Hỗ trợ nhiều loại hạt nhân
• Nhược điểm của SVM:

– “Chậm” đào tạo/dự đoán các bộ dữ liệu khổng lồ (butrela@velyfast!)
– Needtochoosethekernel(andtuneitsparameters)

07 SVMs

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

07 SVMs

Uploaded by

Copyright:

Available Formats

Machine Translated by Google

Chuyển thể từ slide của TimOates

n Hỗ trợvectơmáy móc n Thực

n Làm cho thenon-tuyến tínhtuyến tính

- Nếu như θ >0,5dự đoán'đầu',khác'đuôi'

Rất nhiều nghiên cứu ML về các vấn đề như thế này:

– Điều gì đó cần thiết để dự đoán y bị thiếu từ quan sát @ trên x

– Dụng cụ giới hạn @ons

• Khả năng quan sát được

• Đại diện@onalbias· Thuật

toán sai lệch

• Tài nguyên bị giới hạn

• Có đúng tính năng (x) là rất quan trọng

Làm Thực Sự Tốt vớiLinear

Điểm mạnh của SVM

• Hoạt động tốt với một số phiên bản đào

tạo Tìm mô hình tốt nhất

toàn cầu· Thuật toán hiệu quả

• Thủ thuật hạt nhân có thể chấp nhận được

...andtomakematrixcông thức đơn giản

Chúng tôi sẽ bỏ sử dụng chỉ số trên cho trường hợp thứ i

In đậm biểu thị

đặc điểm của i dụ thứ j x(i)

Bộ phân tách tuyến tính

• Phiên bản huấn

• Tham số mô hình Tích (chấm) bên

2 Rd+1 trong: hu, vi = u · v = u|v

• Siêu phẳng uivi

• Quyết định chức năng@on

h(x) = dấu( |x) = dấu(h , xi)

Dấu phân cách “Tốt”

Phán quyếtMột sốDải phân cách

Rất nhiều tiếng ồn

Chỉ Một Dấu Phân Cách Còn Lại

Tối đa hóa lợi nhuận

Máy tách chất béo

Máy tách chất béo

Tại saoTối đa hóa ký quỹ

Tăng lợi nhuận làm giảm năng lực • tức

Bài học từ Lý thuyết Học tập: •

Nếu những điều sau đây đúng:

– Kích thước của nó bị ràng buộc đủ

mức– và/hoặc kích thước của tập dữ liệu đào tạo là

Nếuy y == 11 , chúng tôi muốn h

J( ) = X [yi log h (xi) + (1 yi) log (1 h (xi))]

phút J( ) chi phí1( |xi) chi phí0( |xi)

Nếu (muốn): y = 1 Tx 0 Nếu (muốn): y = 0 Tx 0

Nếu y = 1 (muốn): y =|x

`bản lề(h(x)) = max(0, 1 y · h(x))

Ký quỹ tối đaSiêu phẳng

Phân loại ký quỹ lớn

C không quá lớn

VectorBên TrongSản Phẩm

Hiểu về siêu máy bay

1 |xi 1 nếu yi = 1 nếu yi = 1

Tối đa hóa lợi nhuận

Kích thước ký quỹ

Đối với các vectơ hỗ trợ, chúng ta pk k2 = ±1

Có thể giải quyết nó hiệu quả hơn bằng cách sử dụng

Lagrangiandual • Tính đối

đổisadifficultop@miza@onproblemintoasimplerone© Keyidea:giới thiệ

• Chúng ta phải tối thiểu hóa θ và tối đa hóa trên α

Giải quyết một loạt đại số và phép tính...