You are on page 1of 13

-------------------------------------------------------------------------------------------------------------INVESTIGACION Nro.

IV REDES NEURONALES ARTIFICIALES DEFINICIÓN: Es una unidad de procesamiento de la información, es un dispositivo simple de cálculo que ante un vector de entradas proporciona una única salida. La neurona artificial fue diseñada para "emular" las características del funcionamiento básico de la neurona biológica. En esencia, se aplica un conjunto de entradas a la neurona, cada una de las cuales representa una salida de otra neurona. Cada entrada se multiplica por su "peso" o ponderación correspondiente análogo al grado de conexión de la sinapsis. Todas las entradas ponderadas se suman y se determina el nivel de excitación o activación de la neurona. Una representación vectorial del funcionamiento básico de una neurona artificial se indica según la siguiente expresión de la ecuación NET = X*W Siendo NET la salida, X el vector de entrada y W el vector de pesos. Normalmente la señal de salida NET suele ser procesada por una función de activación F para producir la señal de salida de la neurona OUT. La función F puede ser una función lineal, o una función umbral o una función no lineal que simula con mayor exactitud las características de transferencia no lineales de las neuronas biológicas. La Figura representa una neurona artificial con una función de activación F.

Modelo de Neurona Artificial. Las funciones F más utilizadas son la función Sigmoid y Tangente hiperbólica expresadas en la Tabla. Sigmoid Tangente hiperbólica OUT = 1 / (1+e^-NET) OUT = tanh (NET)

Funciones de Activación Este tipo de modelo de neurona artificial ignora muchas de las características de las neuronas biológicas. Entre ellas destaca la omisión de retardos y de sincronismo en la generación de la salida. No obstante, a pesar de estas limitaciones las redes construidas con este tipo de neurona artificial presentan cualidades y atributos con cierta similitud a la de los sistemas biológicos.

La salida de una neurona se activa sólo cuando el estado de activación es mayor o igual a cierto valor umbral. si es menor. en las cuales la salida es un valor discreto (típicamente binario 0/1) que depende de si la estimulación total supera o no un determinado valor de umbral. El problema de trabajar con modelos no lineales radica en que son difíciles de describir en términos lógicos o matemáticos convencionales (Rumelhart & McClelland 1986)). Casi todos los avances recientes en conexionismo se atribuyen a arquitecturas multicapa que utilizan funciones de activación no lineales como una función de umbral.Función lineal y mixta . La función escalón se asocia a neuronas binarias en las cuales cuando la suma de las entradas es mayor o igual que el umbral de la neurona.Función sigmoidal o logística . no proporcionales a la entrada. funciones de umbral. Se usa comúnmente en problemas de clasificación. la activación es 0 (ó –1). en las que la salida es proporcional a la entrada. . pero sus capacidades están limitadas. y funciones no lineales.Función radial (gaussiana) La función escalón La función escalón únicamente se utiliza cuando las salidas de la red son binarias. La función lineal o identidad equivale a no aplicar función de salida. Las más empleadas son las mencionadas a continuación: . una gaussiana ó en la mayoría de los casos una función sigmoidal (Quinlan 1991).Función escalón .FUNCIONES DE ACTIVACIÓN: Se suele distinguir entre funciones lineales. la activación es 1. Las redes formadas por este tipo de neuronas son fáciles de implementar en hardware.

La función lineal o mixta corresponde a la función F(x) =x.Función de Activación Escalón con su expresión matemática Función lineal y mixta Se usa en problemas de aproximación o estimación lineal. la activación se define como una función lineal de suma de las señales de entrada. entonces la activación es 1. Neuronas que emplean esta función de transferencia son empleadas en la reds tipo Adeline. Si la suma de entrada está comprendida entre ambos límites. la activación se define como 0 (ó –1). Si dicha suma esmayor o igual que el límite superior. . En las neuronas con función mixta si la suma de las señales de entrada es menor que un límite inferior.

La función escalón no podía definir la derivada en ele punto de transición y esto no ayuda a los métodos de aprendizaje en los cuales se usan derivadas. De hecho cuando la pendiente es elevada. Con la función sigmoidal. Esto hace posible que en la mayoría de los casos. con un incremento monotónico y que tengan ambos limites superiores e inferiores (por ejemplo las funciones sigmoidal y arco tangente). La importancia de ésta función es que su derivada es siempre positiva y cercana a cero para los valores grandes positivos o negativos. además toma su valor máximo cuando x es cero. El uso de esta función de transferencia es común en redes multicapas. esta función tiende a la función escalón.Función de Activación Lineal con su expresión matemática Función sigmoidal o logística Es probablemente la función de activación más empleada en la actualidad. podrá realizar la función de activación o transferencia de forma satisfactoria. Se usa en problemas de aproximación. . el valor de salida esté comprendido en la zona alta o baja del sigmoide. como la backpropagation Función de Activación Sigmoidal con su expresión matemática. el valor dado por la función es cercano a uno de los valores asintóticos. que la derivada está definida para todo el intervalo. Esto hace que se puedan utilizar las reglas de aprendizaje definidas para la función escalón. Cualquier función definida simplemente en un intervalo de posibles valores de entrada. para la mayoría de los valores del estímulo de entrada. con la ventaja respecto a esta función.

.Función radial (gaussiana) Los centros y anchura de estas funciones pueden ser adaptados. . . Estas funciones suelen emplearse en los casos en los que se requiere explícitamente una periodicidad temporal.Procesamiento del lenguaje. .Estadística.Predicción.+1]. .Clasificación de imágenes de color La función sinusoidal Que genera salidas continuas en el intervalo [-1. aunque generalmente son para problemas de mapeo y poseen capacidades de “aproximación universal”.Control. lo cual las hace más adaptativas que las funciones sigmoidales.Reconocimiento de rostros. También son utilizadas para: . TIPOS DE REDES: . .Aproximación de funciones. . Se usan comúnmente en problemas de clasificación.Sensores de olor.

Las entradas ai llegan por la parte izquierda...1) muestra la unidad procesadora básica del Perceptron.... y cada conexión con la neurona j tiene asignada un peso de valor wji...Hamming 14..Recirculation 19.1) y las categorías de la clasificación se expresan mediante vectores binarios.Adaline y Madaline 2.... La Figura (4. llamada mapeo de patrones (pattern-mapping).PNN 18. La arquitectura del Perceptron admite capas adicionales pero éstas no disponen la capacidad de modificar sus propias conexiones.Counter-Propagation 9...DRS 12.SOM 20. . El Perceptron presenta dos capas de unidades procesadoras (PE) y sólo una de ellas presenta la capacidad de adaptar o modificar los pesos de las conexiones..The Boltzman Machine 6.BAM 5.Back-Propagation 4. Unidad Procesadora Básica del Perceptron. Los modelos que clasifica suelen ser generalmente vectores con valores binarios (0...Cascade-Correlation-Networks 8. aprende a clasificar modelos mediante un aprendizaje supervisado.SPR Perceptron Arquitectura.Hopfield 15..ART 3.1.LVQ 16.FLN 13.Brain-State-in a Box 7.DBD 10.Perceptron 17..DNNA 11. La arquitectura del Perceptron..

Red Perceptron de dos Capas. Esta entrada siempre presenta un valor fijo.2). +1 y funciona como una masa en un circuito eléctrico donde no varía de valor (se puede utilizar como un valor constante de referencia). tienen una capa de entrada y una capa de unidades procesadoras que constituyen la capa de salida. Las redes Perceptron de dos capas.3) donde la entrada es la imagen de la letra E y la salida es la categorización de la entrada en dos clases. representadas en la Figura . A lo largo de los años 50 y 60 se desarrollaron muchos tipos de topologías de redes basadas en la arquitectura del Perceptron. El Perceptron comprueba si la suma de las entradas ponderadas es mayor o menor que un cierto valor umbral y genera la salida " xj" según la ecuación (4.La unidad procesadora del Perceptron realiza la suma ponderada de las entradas según la ecuación. Una aplicación típica de un sistema de tres capas es la que muestra la Figura (4. Las topologías con tres o más capas se caracterizan porque la regla de aprendizaje del perceptron sólo adapta los pesos o valores de las conexiones de una capa. . si Sj > 0 entonces xj = 1 si Sj <= 0 entonces xj = 0 La salida xj es transmitida a lo largo de la línea de salida y constituye uno de los componentes del vector de salida de la red. Sj = Σ ai wji Un aspecto común en muchas de las ANN es la entrada especial llamada "bias" representada en la parte superior izquierda de la figura (entrada a0).

El entrenamiento del Perceptron consiste en presentar a la red todos los elementos del conjunto de entrenamiento constituido por parejas de vectores (entrada y salida deseada) de forma secuencial. Después del entrenamiento los pesos no son ya modificados y la red está ya en disposición de responder adecuadamente a las entradas que se le presenten. En todo proceso de entrenamiento el comportamiento de la red inicialmente va mejorando hasta que llega a un punto en el que se estabiliza y se dice que la red ha convergido. La adaptación de los pesos se puede realizar mediante diferentes reglas.Red Perceptron de tres Capas. La arquitectura Madaline (Multilayer Adaline) creada también por Widrow presenta una configuración constituida por dos o más unidades Adaline. El objetivo del entrenamiento es llegar a un conjunto de valores de los pesos de la red de forma que responda correctamente a todo el conjunto de entrenamiento. filtros adaptativos de eliminación de ruido y reconocimiento de patrones de señales . la primera consiste en que la red haya aprendido correctamente el conjunto de entrenamiento o la segunda se trata de que la red no ha aprendido todas las respuestas correctas. . y Madaline. ai el valor de la entrada i y C el coeficiente de aprendizaje. Adaline .3): wjinuevo = wjiviejo + C (tj * xj) ai Siendo tj el valor de la salida deseada. Utiliza un dispositivo lógico que realiza una suma lineal de las entradas y genera una función umbral para el resultado de dicha suma. Esta convergencia tiene dos posibilidades.Madaline La arquitectura de Adaline (Adaptive Linear Neuron) fue creada por Bernard Widrow en 1959. xj el valor de salida producida por la unidad procesadora. y entre las aplicaciones investigadas destacan entre otras. Una de las reglas más simples de aprendizaje del Perceptron se indica en la ecuación (4. A lo largo del tiempo se han estudiado diferentes variaciones de los algoritmos de aprendizaje de la Adaline.

La unidad procesadora representada por un círculo con el símbolo sumatorio implementa una función umbral. El objetivo de la Adaline durante el proceso de la adaptación es producir la salida deseada como propia suya. Las conexiones de cada una de las entradas tienen asociadas un valor de ponderación llamado también peso wi.No obstante. desde los primeros experimentos con la Adaline y Madaline se constató la capacidad de clasificar patrones linealmente separables. El entrenamiento se realiza presentando repetidamente una serie de parejas de entradas y salidas. la diferencia entre el valor de la salida y el valor esperado. La regla de aprendizaje en la arquitectura de la Adaline es la regla de WidrowHoff expresada en la ecuación Δwi = η ai (t * x) . Estructura Adaline: La Figura muestra una Adaline básica. La unidad procesadora actúa como un sumador y después realiza la función umbral según la ecuación. 1 si S = Σi ai wi >= 0 xj = -1 si S = Σi ai wi < 0 La salida de la unidad Adaline es ±1 a diferencia de la arquitectura del Perceptron que sólo permite los valores 0 y 1. presentando la misma limitación que el Perceptron: la carencia de un método que ajuste más de una capa de pesos. El mecanismo de ajuste de los pesos representado en la siguiente consiste en utilizar figura Red Adaline.

Sistema Madaline.El sistema Madaline tiene una capa de unidades Adaline que están conectadas a una simple unidad Madaline. Los pesos son modificados después de que cada patrón sea presentado a la entrada del sistema. ai la salida de la unidad i. Las entradas se muestran a la izquierda. tres unidades Adaline en la segunda capa y una unidad Madaline en la tercera capa. La Figura (4.6) muestra cuatro unidades en la capa de entrada.siendo η la constante de aprendizaje. y a la derecha se . t la salida deseada y por último x la salida de la unidad Adaline. El conjunto de entrenamiento es un conjunto de patrones de entrada emparejados con las salidas deseadas. Las conexiones entre la capa de entrada y la capa de las unidades Adaline tienen asociadas un peso ajustable por cada una de ellas. No obstante la variante de esta regla más utilizada considera el valor de la suma ponderada S en vez del valor de la salida de la unidad Adaline. El entrenamiento de los sistemas Madaline es similar al entrenamiento de las Adaline. entonces la salida de la Madaline es +1. La Madaline emplea una regla de mayorías para obtener su salida: si la mitad o más de las unidades Adaline presentan un valor de salida +1. Sin embargo. el sistema Madaline calcula su salida y a continuación se compara con la salida deseada. Estructura Madaline. las conexiones entre la capa de Adaline y la unidad Madaline no tienen asociado ningún peso. Una vez que se presenta el patrón a la entrada. Red Backpropagation La unidad procesadora básica de la red Backpropagation se representa en la Figura. En caso contrario el valor de salida de la red Madaline es -1. Cada unidad Adaline transmite su salida (-1 ó +1) a la unidad Madaline.

La capa superior es la capa de salida que presenta la respuesta de la red. La Figura muestra la topología backpropagation típica de tres capas. no realizan ninguna operación de cálculo. la Backpropagation utiliza tres o más capas de unidades procesadoras. Normalmente. La capa inferior es la capa de entrada. La unidad procesadora se caracteriza por realizar una suma ponderada de las entradas llamada Sj. El peso asociado a la conexión desde la unidad i a la unidad j se representa por wji. . Red Backpropagation completamente interconectada. y es modificado durante el proceso de aprendizaje. presentar una salida aj y tener un valor δj asociado que se utilizará en el proceso de ajuste de los pesos. Sirven como puntos distribuidores. y se caracteriza por ser la única capa cuyas unidades procesadoras reciben entradas desde el exterior. La siguiente capa superior es la capa oculta. y todas sus unidades procesadoras están interconectadas con la capa inferior y con la capa superior. Las unidades procesadoras de las demás capas procesan las señales como se indica en la figura.encuentran unidades que reciben la salida de la unidad procesadora situada en el centro de la figura. Unidad Procesadora Básica Backpropagation .

Un aspecto diferenciador de la red SOM de otras muchas redes es que aprende sin supervisión.Red Self Organizing Map La red S.M. así como su utilización en redes híbridas para problemas de predicción y clasificación.1). Arquitectura Básica y Modo de Operación La red SOM presenta una topología constituida por dos capas.O. El mapa que presenta la red a partir de una situación inicial aleatoria muestra las relaciones existentes entre los diferentes patrones presentados a la red. llamada capa competitiva o de Kohonen está organizada en una rejilla de dos dimensiones. cuando la red SOM está en combinación con otras capas neuronales para aplicaciones de categorización y/o predicción la red aprende primeramente en modo no supervisado y después cambia a modo supervisado. La red de Kohonen presenta ventajas sobre las técnicas clásicas de reconocimiento de patrones porque además de utilizar la arquitectura paralela de las redes neuronales provee una representación gráfica de las relaciones entre los patrones. No obstante. constituyendo como tal una primera aproximación a los mapas topológicos de los fenómenos motores y sensoriales existentes en la superficie del cerebro humano. Esta nueva red muestra de forma efectiva la idea básica de tener una red neuronal artificial que organice un mapa topológico. . y la segunda capa. Las dos capas están totalmente interconectadas como se muestra en la Figura (6. La primera capa de la red es la capa de entrada. Este modelo de red fue presentado por Kohonen (1988) aun cuando otros investigadores como Grossberg también se encontraban trabajando en la misma red. Cada una de las conexiones tiene asociado un peso que será modificado a lo largo de la sesión de entrenamiento. (Self Organizing Map) tiene la característica de organizar mapas topológicos. de aquí su nombre en inglés. Las aplicaciones más frecuentes de esta red son visualizar topologías y estructuras jerárquicas de espacios de entrada de dimensión elevada.

Las reglas básicas de operación de la red SOM son las siguientes: a) Localizar la neurona en la capa de Kohonen cuyos pesos asociados se aproximen mejor al patrón de entrada. c) Disminuir gradualmente los dos parámetros que intervienen en dicho proceso.die. El ajuste de los pesos de la neurona ganadora se realiza para que se aproxime más a los datos de la entrada. y por otra parte el ajuste de los pesos de las neuronas vecinas contribuye a mantener el orden del propio espacio de entrada.pdf http://insn. b) Aumentar la aproximación de los pesos asociados de dicha unidad y sus vecinas al vector de entrada. el parámetro de aprendizaje y el tamaño del vecindario.com/2008/05/funcin-de-salida-otransferencia.pdf http://la-nanotecnologia.es/open_course_ware/castellano/tecnicas/redes_neuro/contenid os/pdf/transparencias-del-curso. de ahí el nombre de dicha capa.es/docs/capitulo22-RedesNeuronales.html . La localización de la neurona cuyos pesos se aproximan a la entrada responde a que el aprendizaje de la capa de Kohonen sigue el modelo de aprendizaje competitivo.Estructura básica de la Red SOM.ehu. Infografía: http://cvb.upm.blogspot.