You are on page 1of 76

*** Redes de

***

Base Radial
Abril del 2000 ESCOM IPN 1

Desarrolladas por Broomhead y Lowe
(1988)
J. Moody y C. Darken (1989)

Las redes de función de base radial
(RBFN) han sido tradicionalmente
asociados con funciones radiales en
una red de capa simple.

Abril del 2000 ESCOM IPN 2

Modelo de Neurona
INTRODUCCIÓN
Los modelos de redes tratados
anteriormente están basados en
unidades (neuronas) que producen a la
salida una función lineal del producto
escalar del vector de entrada y el vector
de pesos.
a= F( WP +b)
Abril del 2000 ESCOM IPN 3

en el cual la activación de las unidades ocultas.* Ahora consideraremos una clase dentro de los modelos de las redes neuronales. esta determinada por la distancia entre el vector de entrada y el vector de pesos A= f(dist(W.P)*b) Abril del 2000 ESCOM IPN 4 .

Abril del 2000 ESCOM IPN 5 .

Abril del 2000 ESCOM IPN 6 . Fundamentos * En el sistema nervioso de los organismos biológicos se encuentra la evidencia de neuronas cuyas características de respuesta son locales o enfocadas para alguna región en el espacio de entrada.

Fundamentos * Un ejemplo es la sensibilidad de orientación de las células de la corteza visual. Abril del 2000 ESCOM IPN 7 . cuya respuesta es sensible a regiones locales en la retina.

* Esto quiere decir que la activación de las unidades (la respuesta de las células como son las neuronas o las terminaciones nerviosas). Abril del 2000 ESCOM IPN 8 . grupos de neuronas están específicamente en una región y cumplen una función especifica para una región.

Arquitectura de RBFN Abril del 2000 ESCOM IPN 9 .

Abril del 2000 ESCOM IPN 10 .

ARQUITECTURA DE RED ➦ La red de función de base radial ó RBFN . Abril del 2000 ESCOM IPN 11 . la oculta y la capa de salida. tiene una estructura feedforward consta de 3 capas. ➦ Los nodos de la capa de entrada simplemente propagan los valores a los nodos de la capa oculta. la capa de entrada.

➦ La función de activación es una función de base radial. Arquitectura ➦ La salida de los nodos de la capa de entrada están completamente conectados (fully conect) con los nodos de la capa oculta. Abril del 2000 ESCOM IPN 12 .

Abril del 2000 ESCOM IPN 13 .

Arquitectura ➦ Las conexiones entre la capa de entrada y la capa oculta especifican el conjunto de funciones centro los cuales son denotados por Cij. Abril del 2000 ESCOM IPN 14 .

Abril del 2000 ESCOM IPN 15 . ➦ Cada nodo de la capa oculta calcula una distancia medida entre el vector de entrada X y el vector centro C. Arquitectura ➦ Las funciones centro Cij pueden ser fijas antes del entrenamiento de la red neuronal o leídos durante el entrenamiento de la red.

Arquitectura ■ Esta distancia es denotada por: || X – Cj || (la distancia medida normalmente se toma como la norma Euclideana). ■ La Norma Euclideana 1 x = ( x x) T 2 2 x = x + x ++ x n 2 1 2 2 Abril del 2000 ESCOM IPN 16 .

Arquitectura ■ y entonces ejecuta una función no lineal: ■ φ j = φ ( || X – Cj || ) ■ donde φ es la función de base radial y φ j denota la salida del j-ésimo nodo de la capa oculta. Abril del 2000 ESCOM IPN 17 .

Abril del 2000 ESCOM IPN 18 . Función de Base Radial a ■ La función toma 1 un valor de 1 cuando la n entrada es cero.

Función de Base Radial ■ La función de a transferencia puede ser 1 utilizada cuando una neurona w-p cuenta con pesos y un bías. Abril del 2000 ESCOM IPN 19 .

Abril del 2000 ESCOM IPN 20 . Arquitectura ■ Así una neurona de base radial actúa como un detector el cual tiene una salida igual a 1 siempre que la entrada p es idéntica al vector de pesos w (la entrada es cero por que w=p => 1-1 = 0 ).

Arquitectura ■ La función de base radial comúnmente utilizada en las redes RBF es la función Gausiana: 2 2σ 2 φ =e − xi −ci Abril del 2000 ESCOM IPN 21 .

respectivamente. Abril del 2000 ESCOM IPN 22 . ■ σ es el factor suavizante o el ancho del campo receptivo (spread).■ Donde: ■xi y ci son los componentes de n dimensión del vector de entrada x y el vector centro c.

Redes de Base Radial Abril del 2000 ESCOM IPN 23 .

Abril del 2000 ESCOM IPN 24 .

Abril del 2000 ESCOM IPN 25 .

1) n a p (2) p (R) b Abril del 2000 ESCOM IPN 26 . p (1) w (1.■ MODELO DE NEURONA ■ Dentro de la arquitectura de la neurona se puede notar que difiere con las estructuras anteriores (antes era la suma de las entradas ponderadas).

Abril del 2000 ESCOM IPN 27 . Arquitectura ■ Una neurona de base radial recibe como entrada neta el vector de distancia entre su vector de pesos w y el vector de entradas p multiplicado por el bias b. ■ La siguiente figura muestra gráficamente una función de base radial.

Estructura de una RNA de Base Radial f (x) w1 wm wj h1 (x) hj (x) hm (x) CENTRALES x1 xj xm Abril del 2000 ESCOM IPN 28 .

con funciones de transferencia de campana de Gauss. ■ Una capa de salida de S2 neuronas. con funciones de transferencia lineales Abril del 2000 ESCOM IPN 29 .■ Red neuronal compuesta de 3 capas ■ Una capa oculta de S1 neuronas.

cj || ) Σ Abril del 2000 ESCOM IPN 30 . w12 . φj w1j yj φ ( || x .cj || ) w11 X φ ( || x . . Redes de Base Radial Estructura de una red de base radial y1 Σ φ1 φ ( || x .cj || ) φ2 Σ y2 .

Características de RBFN Abril del 2000 ESCOM IPN 31 .

Abril del 2000 ESCOM IPN 32 . los cuales son mucho más rápidos que los métodos usados para entrenar un perceptrón multicapa.Para este tipo de redes se crearon procedimientos para entrenamiento de redes de función de base radial.

■ Emplea más neuronas que la Backpropagation. – Supervisado (capa de salida) Abril del 2000 ESCOM IPN 33 . ■ Trabajan mejor con un numero mayor de vectores de entrenamiento ■ Rápido entrenamiento ■ Aprendizaje híbrido – No supervisado (capa de entrada).

■ Para la estructura de una red de base radial se requiere de un procedimiento de entrenamiento de dos etapas: Abril del 2000 ESCOM IPN 34 .

es decir.En la primer etapa: ✓ Los parámetros dominantes de las funciones base son determinados de una manera rápida por métodos no supervisados. métodos que únicamente usan datos de entrada y no datos meta. Abril del 2000 ESCOM IPN 35 .

con la solución de un problema lineal. la cual también es de rápido cálculo.En la segunda etapa: ✓ Se encuentra implicada la determinación de los pesos de la capa de salida. Abril del 2000 ESCOM IPN 36 .

■ Cada nodo de la capa de salida
calcula una suma de pesos de las
salidas de los nodos de la capa
oculta.
■ En este tipo de redes es muy
probable que se requiera una
estructura con un mayor número de
neuronas, que por ejemplo, la de
backpropagation, pero tendremos
una mayor velocidad en el
entrenamiento.
Abril del 2000 ESCOM IPN 37

Como especificar una red RBFN
■ Para resolver problemas de
Interpolación: Unir puntos para lograr
una función continua.
■ Y Problemas de aproximación.

■ El numero de nodos en la capa de
entrada es igual al numero de variables
independientes, y el número de nodos
en la capa de salida es igual al número
de variables dependientes.
Abril del 2000 ESCOM IPN 38

Propiedades de RBFN

■ Tienden a tener buenas propiedades de
interpolación.
■ Pero no buenas propiedades de
extrapolación.
■ Para extrapolación un perceptrón
multicapas resulta mejor.

Abril del 2000 ESCOM IPN 39

Aprendizaje de RBFN Abril del 2000 ESCOM IPN 40 .

Abril del 2000 ESCOM IPN 41 .

*** Diseño ** de RBFN Abril del 2000 ESCOM IPN 42 .

m1. m1 es el numero de RBF´s ■ Calculo de la salida de la función de base radial 2 Pj −Ci ■ Donde: − f (n ) = e 1 2 2σ i ■ Ci son los centros de las RBF´s ■ σ es el ancho de campo receptivo Abril del 2000 ESCOM IPN 43 .. Ci donde i= 1. 2... .■ Se eligen los centros de la funciones de base radial.

wN ] T Abril del 2000 ESCOM IPN 44 . t 2 .  . t N ] T W = [ w1 .■ Los parámetros de la segunda capa (lineal) se obtienen mediante: GW = T ■ Donde: T = [ t1 . w2 .  .

Cm1 )    G =  G ( p2 . Cm1 )       G ( p N . C1 ) G ( p N . ■ Donde: ■ G es la Matriz de Green dada por:  G ( p1 . C1 ) G ( p2 . C2 )  G ( p2 . Cm1 )  Abril del 2000 ESCOM IPN 45 . C2 )  G ( p1 . C2 )  G ( p N . C1 ) G ( p1 .

■ Los pesos en la segunda capa seran: + W =G T + ■ Donde: G es la matriz pseudo inversa dada por: G = (G G ) G + T −1 T Abril del 2000 ESCOM IPN 46 .

■ La solución para W es: W = (G G ) G T T −1 T ■ Los parámetros de la segunda capa serán: W = [ w1 . w2 . wN ] T ■ Donde: wN = b Abril del 2000 ESCOM IPN 47 .  .

Abril del 2000 ESCOM IPN 48 .

Abril del 2000 ESCOM IPN 49 .

Ejemplos de Diseño de RBFN Abril del 2000 ESCOM IPN 50 .

Los parámetros de la red son: 1 0 1 0 P1 =   t1 = 0 P2 =   t 2 = 1 C1 =   C2 =   1 1 1 0 0 1 P3 =   t3 = 0 P4 =   t 4 = 1 0 0 2σ 2 = 1 Abril del 2000 ESCOM IPN 51 .Ejemplo 1: Solución de XOR ■ Usando una red de base radial RBFN resuelva el problema de la XOR.

Aplicaciones de RBFN Abril del 2000 ESCOM IPN 52 .

aunque generalmente son para problemas de Mapeo y poseen capacidades de “aproximación universal”. Abril del 2000 ESCOM IPN 53 . APLICACIONES Las redes RBF son frecuentemente utilizadas para resolver problemas de clasificación.

➭ Estadística. ➭Aproximación de funciones ➭ Procesamiento del lenguaje. Abril del 2000 ESCOM IPN 54 . ➭ Visión y procesamiento de imágenes. ➧ También utilizadas en: ➭ Control. ➭ Reconocimiento de Patrones.

También para: ■ Reconocimiento de rostro ■ Sensores de olor ■ Clasificación de imágenes en color ■ Predicción ■ Aplicación en series de tiempo Abril del 2000 ESCOM IPN 55 .

Comparación entre RBF y MLP Abril del 2000 ESCOM IPN 56 .

■ Las RBFN y Perceptron multicapa (MLP) son ejemplos de redes multicapa no lineales Feedforward. Abril del 2000 ESCOM IPN 57 . ■ Ambas son aproximadores universales.

Abril del 2000 ESCOM IPN 58 . ■ Una red RBFN es capaz de resolver un mismo problema que un perceptron multicapa y viceversa. ■ Una RBFN en su forma básica tiene una sola capa oculta mientras que un MLP puede tener una o mas capas ocultas.

Sin embargo la capa oculta y la capa de salida de un MLP son usualmente no lineales cuando se usa como clasificador de patrones. ■ La capa oculta de una RBFN es no lineal . mientras que la capa de salida es lineal. Cuando MLP se usa para regresión lineal la capa de salida es preferida lineal. Abril del 2000 ESCOM IPN 59 .

Mientras que para el MLP calcula el producto punto del vector y el vector de pesos de cada unidad.■ Los argumentos de la función de activación en cada unidad oculta de una RBFN calcula la Norma Euclidiana (distancia) entre el vector de entrada y el centro de esa unidad. Abril del 2000 ESCOM IPN 60 .

Mientras que las RBFN usan funciones Gaussianas las cuales constituyen aproyimaciones locales a un mapeo no lineal entrada salida.■ El MLP construye aproximaciones globales a un mapeo no lineal de entrada salida. Abril del 2000 ESCOM IPN 61 .

Simulación en Matlab / NNT Abril del 2000 ESCOM IPN 62 .

Neurona con función de Base Radial Abril del 2000 ESCOM IPN 63 .

Abril del 2000 ESCOM IPN 64 .

■ Función de Base Radial ■ A= RADBAS(n) = exp(-n)2 ■ SOLVERBE crea una red de base radial la cual realiza un exacto mapeo de la entrada a la salidas con tantas neuronas en la capa oculta como vectores de entrada P Abril del 2000 ESCOM IPN 65 .

B1.W2.T.matriz SxQ de Q vectores objetivo.ancho del campo receptivo (Spread) de las funciones de base radial (default = 1).Z) ■ P .matriz RxQ de Q vectores de entrada.■ [W1. Abril del 2000 ESCOM IPN 66 .B2] = SOLVERBE(P. ■ T . ■ Z .

vector de umbral S1x1 para la capa de base radial.■ Regresa: ■ W1 . ■ W2 . Abril del 2000 ESCOM IPN 67 .matriz de pesos S1xR para la capa de base radial . ■ B2 .matriz de pesos S2xS1 para la capa linear. ■ B1 .vector de umbral S2x1 para la capa linear.

Abril del 2000 ESCOM IPN 68 .■ SOLVERB ■ crea una red de base radial de una neurona a la vez. las neuronas son adicionadas a la red hasta que encuentra el error mínimo cuadrático o caen en nuestro margen de error o cuando se ha creado un numero máximo de neuronas.

Abril del 2000 ESCOM IPN 69 .DP) ■ P .Parámetros de diseño (opcional). ■ DP .TE.[W1.B1. ■ T .matriz SxQ de Q vectores objetivo.T.matriz RxQ de Q vectores de entrada.TR] = SOLVERB(P.W2.B2.

vector de umbral S1x1 para la capa de base radial.■ Regresa: ■ W1 . ■ W2 .récord de entrenamiento : [fila de errores] Abril del 2000 ESCOM IPN 70 .El numero de neuronas de base radial usadas.S2x1 vector de umbral para la capa lineal. ■ B2 . ■ B1 .matriz de pesos S1xR para la capa de base radial. ■ TR . ■ NR .matriz de pesos S2xS1 para la capa linear.

Ejemplos RBFN Abril del 2000 ESCOM IPN 71 .

y) ■ echo off Abril del 2000 ESCOM IPN 72 .b2]=solverb(t. ■ % Diseña una RBFN para aproximar una función coseno ■ t=0:0.■ %EJEMPLO: Aproximación de Funciones ■ clear.3:6.b1.clc. ■ y= cos(t). ■ %conjunto de puntos de una funcion coseno ■ [w1.NNTWARN OFF.w2.echo on.

■ err_goal= 0.echo on. Abril del 2000 ESCOM IPN 73 .0. ■ T = [0 1 1 0 ]. ■ max_neuron= 1000. ■ 0 1 0 1].NNTWARN OFF. ■ spread= 1.02.clc. ■ % RBFN soluciona OR-Exclusiva ■ P = [0 0 1 1 . %EJEMPLO: Solución de la OR-EXCLUSIVA ■ clear. ■ disp_freq= 1.

b2). ■ plotpc(W2.■ dp=[ disp_freq max_neuron err_goal spread ] ■ [W1. ■ echo off Abril del 2000 ESCOM IPN 74 .b1. ■ plotpv(P.T .dp) ■ [a1.b1.nr.dr]=solverb(P.a2]=simurb(P.W2.b2.T).W1.W2.b2) ■ pause % pulse una tecla para graficar.

Dudas ??? Abril del 2000 ESCOM IPN 75 .

Hasta la próxima !!! Abril del 2000 ESCOM IPN 76 .