You are on page 1of 2

Enero 2000

Cuestiones RNA C i

Se desea probar un perpectrón multicapa (MLP) con una sola capa oculta como estimador de funciones. En este caso particular, la función en cuestión es una escalar de varias variables. , p p Matemáticamente, el funcionamiento deseado de la red se puede expresar como f : ℜ n → ℜ , donde no existe restricción alguna respecto a los valores alcanzables, tanto para las variables de entrada, como para la salida. Así pues, para el entrenamiento del MLP se dispone de una tabla con v v valores concretos (x1v , x2 K xn ) → y v . A partir de estos datos se pide: a) b) c) d) Determinar el tamaño de la capa de entrada y de la de salida Modificaciones en el funcionamiento del MLP habitual para adaptarlo a este problema. Sin llegar a desarrollar en sus expresiones últimas, exponer cómo sería el aprendizaje. Indicar un método válido para medir la eficiencia de esta red en la tarea encomendada.

Solución:

Teoría de Autómatas y Lenguajes Formales II. Curso 2007-08.
3º curso de Ingeniería Técnica en Informática de Sistemas Escuela Técnica Superior de Ingeniería Informática Universidad de Valladolid

a) N0=n y N[H]=1 b) Para la capa de salida: F(x)=x ∂E p ∂y1p ∂E p p 1 i = −γ y0 j ; c) Δ p wij = −γ 1 ∂y1p ∂wij ∂y1p i i

0 Δ p wij = −γ

∂E p ∂y0pi ∂E p = −γ F ′(u 0pi ) I jp 0 ∂y 0pi ∂wij ∂y0pi

d) Media extendida a los errores relativos de cada muestra

Junio 2000
Responder razonadamente a las siguientes cuestiones: a) Diferencias entre reconocimiento de patrones estáticos y dinámicos. b) ) Por las características del MLP y de su algoritmo de aprendizaje, como cabría g p j , calificarlo: (1) Recurrente o no recurrente (2) Supervisado o no supervisado (3) Heteroasociativo o autoasociativo. Obsérvese que estas características no son mutuamente excluyentes. c) Definir el término momento en la modificación iterativa de pesos y dar la justificación fundamental para su incorporación, en la práctica, como parte del algoritmo de aprendizaje del MLP. d) En general, a falta de más datos, conociendo únicamente el valor de una entrada particular y la salida de la neurona correspondiente, cómo se modificaría el peso asociado a dicha conexión entre la entrada y la salida conocida. conocida Solución: a) Aparición de la variable tiempo explícitamente b) (No recurrente) Supervisado (Heteroasociativo).
h c) Δ p −1wij .Evitar caer en mínimos locales y el comportamiento oscilatorio.

Junio 2001 (I)
Dada la siguiente red neuronal, dedúzcase las expresiones matemáticas para la actualización de sus pesos conforme al algoritmo de retropropagación del error. Tal y como se indica en la figura, la p salida de las neuronas tienen funciones de activación distintas. En la primera se trata de la función F(x) = x; en la otra, se utiliza la sigmoide. w30 x0
w20 w21 x1 y2 y3

w32 w31

Si se quisiera utilizar este sistema como un clasificador de dos categorías solamente, ¿cómo deberían ser las salidas deseadas y qué criterio se aplicaría a la salida de la red para identificarla con una clase concreta? Por el contrario, si esta red se pretendiera utilizarla como aproximador de funciones universal (y = f(x)), ¿qué modificación necesaria habría que realizar en su funcionamiento para conseguirlo?

d) Regla de Hebb: Δ p wij

α yip x jp

1

¿se puede asegurar que siempre hay una solución? En cualquier caso.6 → Indeterminación 3 ⎩ Aproximador universal de funciones y = f (x) y3p = F (u3p ) = u3p La respuesta no estaría acotada Δ p w 3 j = γδ p 3 X p j . realícese las transformaciones matemáticas para que. Junio 2000 (III) Δ p w2 j = −γ = γδ p 3 donde donde u 2p = w 20 x 0p + w 21 x 1p + w 22 = y 2p u 3p = w 30 x 0p + w 31 x 1p + w 32 y 2p + w 33 ∂ E p ∂ y 3p ∂ y 2p = γ (d ∂ y 3p ∂ y 2p ∂ w 2 j = γδ p 2 p − y 3p ) y 3p (1 − y 3p ) w 32 I p j w 32 I p j I jp . donde δ 3p = ( d − y 3p ) y 3p (1 − y 3p ) Septiembre 2002 Respóndase razonadamente a las siguientes cuestiones: a) b) En la Regla de Hebb. Aplicar el cálculo directamente de la regresión lineal Septiembre 2003 En la siguiente tabla aparecen cuatro muestras (A. D). C. No se puede asegurar la existencia y de existir. sino la descripción de los pasos y resultados obtenidos. Calcúlese la evolución de los pesos según la regla de aprendizaje característica de esta red.6 → Clase #1 ⎪ Se podría fijar una zona de indeterminación (GAP) ⎨ y3p < 0. Di éñ las de la d lid Diséñese un algoritmo de aprendizaje l i d di j basado en el método de mínimos cuadrados (regresión lineal). I 2p = 1 Δ p w ij = − γ ∂E p . la respuesta de la red siguiera siendo la misma. no es única. y 3p = F ( u 3p ). X p 3 =1 • ⎧ y3p > 0.4 ≤ y p ≤ 0.5 → Clase #1 Si ⎨ 3 p ⎩ y3 ≤ 0. ¿qué signo debería tener la constante de proporcionalidad? En un perceptrón multicapa ¿se podría sustituir la función de activación sigmoide por la arcotangente (atan(x))?. ∂ w ij donde E p = 1 d 2 ( p − y 3p ) 2 • Δ p w3 j = −γ ∂ E p ∂ y 3p ∂ u 3p = γ (d ∂ y 3p ∂ u 3p ∂ w 3 j donde X p 0 |1 p − y 3p ) y 3p (1 − y 3p ) X X p p 2 p j . B. Para su resolución se dispone de un perceptrón multicapa sin ninguna capa oculta y con una función activación lineal (F(x)=x) (F( ) ) en l neuronas d l capa de salida.5 → Clase #0 = x 0p|1 . Salidas deseadas próximas a 0 y a 1 respectivamente ⎧ y p > 0. de existir. en general. por ejemplo: 0. I 0p|1 = x 0p|1 . ¿ésta sería única? Supóngase un problema de clasificación. = y 2p .Junio 2000 (II) y 2p = F ( u 2p ). En caso afirmativo. Clasificador de dos categorías: Fijar un valor de decisión el intervalo de salida.4 → Clase#0 ⎪0. cada una de las cuales viene dada por un vector de dos componentes (X1. Positiva Desplazar (pi/2) y reescalar dividiendo por pi. Nota: no se pide obtener las fórmulas detalladas.5. A B C D X1 2 -3 3 1 X2 d(X) 3 1 1 -1 1 1 -1 -1 W1 =8 W2 =-1 Θ=-3 c) d) Solución: a) b) c) d) 2 . De acuerdo con el teorema de convergencia del perceptrón simple. X2) y su salida deseada ( ( )) A la derecha aparecen los p p (d(X)). desde el punto de vista externo. p pesos iniciales de un perceptrón simple compuesto por una sola neurona. donde δ 2p = δ 3p w 32 .