Professional Documents
Culture Documents
Bla Bla
Bla Bla
7. Logistička regresija II
T 1 T
f x fquad x f xt rf xt x xt x xt Ht x xt
2
1
Optimnacija druggyreda 0 Newton Raphsonov postopak
min f i
I E notch
Feta
Iz nOfc
aprotgimanja od th
It
n
Has Hal l
x a
H T
S dim H ntl x htt
Nx N
i i
Laonehaderivative dim S
gdje S diag h x 1 hx
• Pravilo ažuriranja:
1
w w H rE w D ⌘ 1
algoritam iteratively reweighted least squares (IRLS) breetreniranjelogreg
• Izračun Ht u svakom koraku je potencijalno skup
terndii se na derivaciyi2ogreda
Notional
Ggg• Alternativa: kvazi-Newtonovi postupci (BFSG, L-BFSG) – aproksimiraju Ht
www.haerox.aprox.Hesseouematn
cepomoevgraoijenta
• Uključivanje L2-regularizacije je jednostavno:
FwEmir
rER w D rE w D
gw za gradsport
HR H I
a a fakeeye Ito to O
• L1-regularizacija: podgradijentne metode (koordinatni spust, proksimalne metode)
A
EatenIdea rigethimodeli hompliciranije perwife dlereveiiabilno
ereenoa
gdje W w1 , . . . , wK
2
binarna LR t6
d
HE D occitoke
Harp wtf _My _th
Sho ako
je k 2
MULTINOMYAWA WhistIOWA REGRESIJA
Chlasikhoutormalsimalneentropije Marent
MODEL
suala od k Hasa ima WI
k Wasa
suffer poopienie sigmoid na
kn R
software xn Xn
sexpCxj
X
softmark
exp Wiedel
hee E W cxH
expcwj.to
P y klx
peY l pe1t
ypi tek1spej
Plylpe
pen peu t
P y help Time
toothfiemigin
4
• Izlaz je multinulijeva (kategorička) varijabla y y1 , y2 , . . . , yK T, s distribucijom:
K
bb
P yµ µykk nor
k 1
i 1 i 1k 1 i 1k 1
N K
i
yk ln hk x i ; W
i 1k 1
E
E
ocean
goes
• Funkcija gubitka:
L y, hk x
K
yk ln hk x; W
bad k 1
OPTIMIZACYA
• Gradijent za klasu k:
N
i
rw k E W D hk x i ; W yk x i
i 1
• On-line ažuriranje:
wk w ⌘ h x i ;w y i
x i
• Linearna regresija:
h x; w wT x
P y x, w N µ, 2
N hx, 2 DUA NAINAVEENA
L y, h x hx y 2 BATCH
rw L y, h x hx y x online
3
3 • Logistička regresija:
1
h x; w wT x P y 1 x, w
1 exp wT x
P y x, w µy 1 µ 1 y
hx y
1 hx 1 y
9
L y, h x y ln h x 1 y ln 1 hx
rw L y, h x hx y x
k 1 k 1
K
L y, hk x yk ln hk x; W
k 1
rwk L yk , hk x hk x yk x
p x✓ h x exp ✓ T x A✓
j x
4
• Složeniji model, ali ga je lakše pretrenirati te optimizacija nije konveksna