P. 1
SVM Imagenes 2011 3

SVM Imagenes 2011 3

|Views: 22|Likes:
suport vector machine, máquinas de soporte vectorial.
suport vector machine, máquinas de soporte vectorial.

More info:

Published by: Francisco Carlos Calderon on Aug 30, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

03/25/2013

pdf

text

original

MÁQUINAS DE SOPORTE VECTORIAL

Pontificia Universidad Javeriana
Reconocimiento de patrones
Francisco Carlos Calderón

Que son:
 

Son un conjunto de métodos de aprendizaje supervisado para la clasificación y regresión. Viendo los datos de entrada como conjuntos de vectores en un espacio n-dimensional, una SVM construirá un híper plano de separación en ese espacio, que maximiza el margen entre los conjuntos de datos. Se hicieron populares por su éxito en reconocimiento de dígitos manuscritos

Idea: Por ejemplo: Separar en este caso dos clases con una línea recta .

Idea: Se puede así .

Idea: Se puede poner también así .

Idea: O así .

Idea: O así .

Idea: ? .

Idea: La línea que tenga un mayor margen será la escogida para clasificar .

Idea: Los limites que toca este margen son llamados: VECTORES DE SOPORTE .

.. . l un vector y ∈ {+1.−1} una etiqueta i par de .Maquinas de soporte vectorial lineales Caso separable Dadas l observaciones cada una con un n datos: x i ∈ R . . i=1.

∥w∥ ∥w∥ es la norma euclidiana de w . Los puntos x en el hiperplano satisfacen w·x+b=0.Maquinas de soporte vectorial lineales Supóngase que se tiene un hiperplano que separa unas muestras (+1) de las otras (-1). w es es un vector normal al híper plano. ∣b∣ es la distancia perpendicular del hiperplano al origen.

Maquinas de soporte vectorial lineales Suponiendo que el conjunto de datos satisface: ( w⋅x i ) +b≥1 si y i =1 ∣1−b∣ ( w⋅x i ) +b=1 con una distancia al origen de ∥w∥ ( w⋅x i ) +b≤−1 si y i =−1 ∣−1−b∣ ( w⋅x i ) +b=−1 con una distancia al origen de ∥w∥ La combinación de estas da: y i ( w⋅x i +b ) ≥1 ∀ i .

Maquinas de soporte vectorial lineales Por lo que las distancias d+ y d − están dadas por: (w + x) b = 1 d− (w d+ x) + b ∣1∣ d +=d −= ∥w∥ Y la suma de las dos será: = -1 2 ∥w∥ d+ .

Maquinas de soporte vectorial lineales Se busca maximizar 2 ∥w∥ que es lo mismo que minimizar ∥w∥ 2 Sujeto a y i ( w⋅x i +b )≥1 Este es una problema de programación cuadrática Puede ser resuelto mediante multiplicadores de Lagrange (αi). l l 1 L P≡ ∥w∥2 − α i y i w · x i +b + α i 2 i=1 i=1 ∑ ( ) ∑ .

Maquinas de soporte vectorial lineales También puede ser hallado en términos de los vectores de soporte. mediante la representación dual. Haciendo que los gradientes de Lp respecto a w y b sean cero. minimizando LD con las restricciones (1) y (2) (1) w=∑ α i y i x i i (2) ∑ αi y i=0 i 1 L D=∑ α i − ∑ α i α j y i y j x i⋅x j 2 i i •Los xi con ai no nulos son llamados vectores de soporte ( support vectors) (VS) .

Maquinas de soporte vectorial lineales Caso no separable En este caso se permite cierto error en la clasificación. .

Maquinas de soporte vectorial NO lineales   Se puede mejorar a este clasificador lineal aplicando el “truco del kernel” El resultado del algoritmo es similar. excepto que cada producto punto es reemplazado por una función kernel no lineal .

youtube.com/watch?v=3liCbRZPrZA .Maquinas de soporte vectorial NO lineales http://www.

Maquinas de soporte vectorial NO lineales Polinomial (in homogéneo): k ( x. x ' )=( x⋅x'+1) d .

Maquinas de soporte vectorial NO lineales Función de Base Radial k ( x. x ' )=e (−γ∥x⋅x'∥2 ) para γ>0 .

Maquinas de soporte vectorial NO lineales Función de Base Radial k ( x. x ' )=e (−γ∥x⋅x'∥2 ) para γ>0 .

Maquinas de soporte vectorial NO lineales k ( x . x ' )=tanh( γx⋅x '+c ) para algunos γ>0 y c >0 Tangente Hiperbólica .

"A Tutorial on Support Vector Machines for Pattern Recognition".pdf A Library for Support Vector Machines aplicación en línea http://www.microsoft. 1995.csie.tw/~cjlin/libsvm/ CVM Applet.willowgarage.com/en-us/um/people/cburges/papers/SVMTutorial. aplicación en línea http://www.metu.ntu.tr/~alatan/Courses/Demo/AppletSVM.Opencv wiki http://opencv.html Machine Learning. Disponible en http://www.jp/sample/svm.pdf Christopher J. 20. C.org/wiki/Support_vector_machine SVM with polynomial kernel visualization disponible en http://www. Machine Learning.html “en japonés” Support Vector Machine Disponible en http://en. 1998.wikipedia. Data Mining and Knowledge Discovery 2:121–167.youtube.edu. "Support-Vector Networks". Disponible en http://research. Burges. Vapnik.eee.springerlink.com/content/k238jx04hm87j80g/fulltext.Bibliografía         Corinna Cortes and V.com/wiki/MachineLearning Bases para el código de ejemplo en Opencv tomado de http://opencv.com/watch? v=3liCbRZPrZA .edu.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->