Maquinas de Soporte

Vectorial
Alvaro Talavera, PhD.
 Lectura
• Gareth J., Witten D., Hastie T., Tibshirani R., (2013).
An introduction to statistical learning: with
applications in R. Springer.

• Estudiar capítulo 9: Support

Vector Machines
Frank Rosenblatt
Primer modelo de neurona
computacionalmente
“Perceptron” funcional.

(1928 – 1971) was an

American psychologist.
director of the Cognitive
Systems Research Program.
Cornell University.
 Análisis de Crédito – Historia de credito 10 años.

Banco Itau 22 millones de clientes

ENTRENAMIENTO
Edad

Pagará
Vivienda

...
... No Pagará

...
Salario

Otros
Creditos

A. Khashman. Neural networks for credit risk evaluation: Investigation of different neural
models and learning schemes. Expert Systems with Applications 37 (2010)
 En un lugar muy muy lejano......?
https://www.youtube.com/watch?v=v4YBPPowuXA&t=514s
Maquinas de Soporte Vectorial

Vladimir Vapnik
Problema de optimización
Kernels

( )
𝑝 𝑑
, 𝐾 ( 𝑥 𝑖 , 𝑥 )= 1+ ∑ 𝑥𝑖𝑗 𝑥
′ ′
𝑖 𝑖𝑗
𝑗=1

( )
𝑝 ❑
𝐾 ( 𝑥 𝑖 ,𝑥 ′𝑖 )=𝑒𝑥𝑝 − 𝛾 ∑ ( 𝑥 𝑖𝑗 − 𝑥
′ 2
)
𝑖𝑗
𝑗=1
Porque Kernels?
Clasificador de Vector
de Soporte
Problema de clasificación ?
• La regla de clasificación inducida por es

• Encontrar un función que que satisfaga

Si =1
• Infinitos hiperplanos
1. Clasificador de
Margen Maximal
MARGEN MARGINAL Margen

Hiperplano del margen marginal

Vectores de soporte
2𝑀
Clasificador
de Margen
Maximal

Data no
separable?????
Clasificador de soporte vectorial
El problema!!!
Problema de optimización
Análisis de C
PROBLEMAS
3. Maquinas de Soporte
Vectorial
Convertir un clasificador lineal en
uno que produce límites de decisión no lineales.
 Problema de optimización
Kernels

( )
𝑝 𝑑
, 𝐾 ( 𝑥 𝑖 , 𝑥 )= 1+ ∑ 𝑥𝑖𝑗 𝑥
′ ′
𝑖 𝑖𝑗
𝑗=1

( )
𝑝 ❑
𝐾 ( 𝑥 𝑖 ,𝑥 ′𝑖 )=𝑒𝑥𝑝 − 𝛾 ∑ ( 𝑥 𝑖𝑗 − 𝑥
′ 2
)
𝑖𝑗
𝑗=1

https://vimeo.com/107753233
Kernels Functions: polynomial
Kernel

( )
𝑝 𝑑
𝐾 ( 𝑥 𝑖 , 𝑥 ′𝑖 ) = 1+ ∑ 𝑥𝑖𝑗 𝑥 ′𝑖𝑗
𝑗=1
Kernels Functions: Radial Kernel

( )
𝑝 ❑
𝐾 ( 𝑥 𝑖 , 𝑥 𝑖 )=𝑒𝑥𝑝 − 𝛾 ∑ ( 𝑥 𝑖𝑗 − 𝑥
′ 2
′
)
𝑖𝑗
𝑗=1
Problema
• Porque usamos funciones Kernel, en vez de
solamente expandir el espacio de características.