--------------------------------------------------------------------------------------------------------------

INVESTIGACION Nro. IV
REDES NEURONALES ARTIFICIALES
DEFINICIN:
Es una unidad de procesamiento de la informacin, es un dispositivo simple de
clculo que ante un vector de entradas proporciona una nica salida.
La neurona artificial fue diseada para "emular" las caractersticas del
funcionamiento bsico de la neurona biolgica. En esencia, se aplica un conjunto de
entradas a la neurona, cada una de las cuales representa una salida de otra
neurona. Cada entrada se multiplica por su "peso" o ponderacin correspondiente
anlogo al grado de conexin de la sinapsis. Todas las entradas ponderadas se
suman y se determina el nivel de excitacin o activacin de la neurona. Una
representacin vectorial del funcionamiento bsico de una neurona artificial se indica
segn la siguiente expresin de la ecuacin
NET = X*W

Siendo NET la salida, X el vector de entrada y W el vector de pesos.
Normalmente la seal de salida NET suele ser procesada por una funcin de
activacin F para producir la seal de salida de la neurona OUT. La funcin F
puede ser una funcin lineal, o una funcin umbral o una funcin no lineal que
simula con mayor exactitud las caractersticas de transferencia no lineales de las
neuronas biolgicas.
La Figura representa una neurona artificial con una funcin de activacin F.

Modelo de Neurona Artificial.
Las funciones F ms utilizadas son la funcin Sigmoid y Tangente hiperblica
expresadas en la Tabla.

Sigmoid

OUT = 1 / (1+e^-NET)

Tangente hiperblica

OUT = tanh (NET)
Funciones de Activacin
Este tipo de modelo de neurona artificial ignora muchas de las caractersticas de las
neuronas biolgicas. Entre ellas destaca la omisin de retardos y de sincronismo en
la generacin de la salida. No obstante, a pesar de estas limitaciones las redes
construidas con este tipo de neurona artificial presentan cualidades y atributos con
cierta similitud a la de los sistemas biolgicos.

FUNCIONES DE ACTIVACIN:
Se suele distinguir entre funciones lineales, en las que la salida es proporcional a la
entrada; funciones de umbral, en las cuales la salida es un valor discreto
(tpicamente binario 0/1) que depende de si la estimulacin total supera o no un
determinado valor de umbral; y funciones no lineales, no proporcionales a la
entrada.
Casi todos los avances recientes en conexionismo se atribuyen a arquitecturas
multicapa que utilizan funciones de activacin no lineales como una funcin de
umbral, una gaussiana en la mayora de los casos una funcin sigmoidal (Quinlan
1991). El problema de trabajar con modelos no lineales radica en que son difciles
de describir en trminos lgicos o matemticos convencionales (Rumelhart &
McClelland 1986)).
Las ms empleadas son las mencionadas a continuacin:
- Funcin escaln
- Funcin lineal y mixta
- Funcin sigmoidal o logstica
- Funcin radial (gaussiana)
La funcin escaln
La funcin escaln nicamente se utiliza cuando las salidas de la red son binarias.
La salida de una neurona se activa slo cuando el estado de activacin es mayor o
igual a cierto valor umbral. La funcin lineal o identidad equivale a no aplicar funcin
de salida.
La funcin escaln se asocia a neuronas binarias en las cuales cuando la suma de
las entradas es mayor o igual que el umbral de la neurona, la activacin es 1, si es
menor, la activacin es 0 ( 1). Las redes formadas por este tipo de neuronas son
fciles de implementar en hardware, pero sus capacidades estn limitadas. Se usa
comnmente en problemas de clasificacin.


Funcin de Activacin Escaln con su expresin matemtica

Funcin lineal y mixta
Se usa en problemas de aproximacin o estimacin lineal. La funcin lineal o mixta
corresponde a la funcin F(x) =x. En las neuronas con funcin mixta si la suma de
las seales de entrada es menor que un lmite inferior, la activacin se define como
0 ( 1). Si dicha suma esmayor o igual que el lmite superior, entonces la activacin
es 1. Si la suma de entrada est comprendida entre ambos lmites, la activacin se
define como una funcin lineal de suma de las seales de entrada.
Neuronas que emplean esta funcin de transferencia son empleadas en la reds tipo
Adeline.


Funcin de Activacin Lineal con su expresin matemtica
Funcin sigmoidal o logstica
Es probablemente la funcin de activacin ms empleada en la actualidad. Se usa
en problemas de aproximacin. Cualquier funcin definida simplemente en un
intervalo de posibles valores de entrada, con un incremento monotnico y que
tengan ambos limites superiores e inferiores (por ejemplo las funciones
sigmoidal y arco tangente), podr realizar la funcin de activacin o transferencia
de forma satisfactoria.
Con la funcin sigmoidal, para la mayora de los valores del estmulo de entrada,
el valor dado por la funcin es cercano a uno de los valores asintticos. Esto
hace posible que en la mayora de los casos, el valor de salida est
comprendido en la zona alta o baja del sigmoide. De hecho cuando la
pendiente es elevada, esta funcin tiende a la funcin escaln. La importancia de
sta funcin es que su derivada es siempre positiva y cercana a cero para
los valores grandes positivos o negativos; adems toma su valor mximo cuando
x es cero. Esto hace que se puedan utilizar las reglas de aprendizaje definidas
para la funcin escaln, con la ventaja respecto a esta funcin, que la
derivada est definida para todo el intervalo. La funcin escaln no poda
definir la derivada en ele punto de transicin y esto no ayuda a los mtodos de
aprendizaje en los cuales se usan derivadas.
El uso de esta funcin de transferencia es comn en redes multicapas,
como la backpropagation

Funcin de Activacin Sigmoidal con su expresin matemtica.



Funcin radial (gaussiana)
Los centros y anchura de estas funciones pueden ser adaptados, lo cual las hace
ms adaptativas que las funciones sigmoidales. Se usan comnmente en problemas
de clasificacin, aunque generalmente son para problemas de mapeo y poseen
capacidades de aproximacin universal. Tambin son utilizadas para:
- Control.
- Procesamiento del lenguaje.
- Aproximacin de funciones.
- Estadstica.
- Reconocimiento de rostros.
- Prediccin.
- Sensores de olor.
- Clasificacin de imgenes de color

La funcin sinusoidal
Que genera salidas continuas en el intervalo [-1,+1]. Estas funciones suelen
emplearse en los casos en los que se requiere explcitamente una periodicidad
temporal.

TIPOS DE REDES:

1.- Adaline y Madaline
2.- ART
3.- Back-Propagation
4.- BAM
5.- The Boltzman Machine
6.- Brain-State-in a Box
7.- Cascade-Correlation-Networks
8.- Counter-Propagation
9.- DBD
10.- DNNA
11.- DRS
12.- FLN
13.- Hamming
14.- Hopfield
15.- LVQ
16.- Perceptron
17.- PNN
18.-
Recirculation
19.- SOM
20.- SPR

Perceptron

Arquitectura.
La arquitectura del Perceptron, llamada mapeo de patrones (pattern-mapping),
aprende a clasificar modelos mediante un aprendizaje supervisado. Los modelos
que clasifica suelen ser generalmente vectores con valores binarios (0,1) y las
categoras de la clasificacin se expresan mediante vectores binarios.
El Perceptron presenta dos capas de unidades procesadoras (PE) y slo una de
ellas presenta la capacidad de adaptar o modificar los pesos de las
conexiones. La arquitectura del Perceptron admite capas adicionales pero
stas no disponen la capacidad de modificar sus propias conexiones.
La Figura (4.1) muestra la unidad procesadora bsica del Perceptron. Las entradas
ai llegan por la parte izquierda, y cada conexin con la neurona j tiene asignada un
peso de valor wji.



Unidad Procesadora Bsica del Perceptron.


La unidad procesadora del Perceptron realiza la suma ponderada de las entradas
segn la ecuacin.

Sj = ai wji

Un aspecto comn en muchas de las ANN es la entrada especial llamada "bias"
representada en la parte superior izquierda de la figura (entrada a
0
). Esta
entrada siempre presenta un valor fijo, +1 y funciona como una masa en un
circuito elctrico donde no vara de valor (se puede utilizar como un valor
constante de referencia).

El Perceptron comprueba si la suma de las entradas ponderadas es mayor o
menor que un cierto valor umbral y genera la salida " xj" segn la ecuacin (4.2).

si S
j
> 0 entonces x
j
= 1
si S
j
<= 0 entonces x
j
= 0

La salida xj es transmitida a lo largo de la lnea de salida y constituye uno de los
componentes del vector de salida de la red.

Las redes Perceptron de dos capas, representadas en la Figura , tienen una capa
de entrada y una capa de unidades procesadoras que constituyen la capa de
salida.





Red Perceptron de dos Capas.


A lo largo de los aos 50 y 60 se desarrollaron muchos tipos de topologas de redes
basadas en la arquitectura del Perceptron. Las topologas con tres o ms capas se
caracterizan porque la regla de aprendizaje del perceptron slo adapta los pesos o
valores de las conexiones de una capa. Una aplicacin tpica de un sistema de tres
capas es la que muestra la Figura (4.3) donde la entrada es la imagen de la letra E y
la salida es la categorizacin de la entrada en dos clases.





Red Perceptron de tres Capas.

El entrenamiento del Perceptron consiste en presentar a la red todos los
elementos del conjunto de entrenamiento constituido por parejas de vectores
(entrada y salida deseada) de forma secuencial.

El objetivo del entrenamiento es llegar a un conjunto de valores de los pesos
de la red de forma que responda correctamente a todo el conjunto de
entrenamiento. Despus del entrenamiento los pesos no son ya modificados y la
red est ya en disposicin de responder adecuadamente a las entradas que se
le presenten.

La adaptacin de los pesos se puede realizar mediante diferentes reglas.
Una de las reglas ms simples de aprendizaje del Perceptron se indica en la
ecuacin (4.3):

wjinuevo = wjiviejo + C (tj * xj) ai

Siendo tj el valor de la salida deseada, xj el valor de salida producida por la
unidad procesadora, ai el valor de la entrada i y C el coeficiente de aprendizaje.

En todo proceso de entrenamiento el comportamiento de la red inicialmente va
mejorando hasta que llega a un punto en el que se estabiliza y se dice que la
red ha convergido. Esta convergencia tiene dos posibilidades, la primera
consiste en que la red haya aprendido correctamente el conjunto de
entrenamiento o la segunda se trata de que la red no ha aprendido todas las
respuestas correctas.

Adaline - Madaline

La arquitectura de Adaline (Adaptive Linear Neuron) fue creada por Bernard
Widrow en 1959. Utiliza un dispositivo lgico que realiza una suma lineal de las
entradas y genera una funcin umbral para el resultado de dicha suma.

La arquitectura Madaline (Multilayer Adaline) creada tambin por Widrow
presenta una configuracin constituida por dos o ms unidades Adaline.

A lo largo del tiempo se han estudiado diferentes variaciones de los algoritmos
de aprendizaje de la Adaline, y Madaline, y entre las aplicaciones investigadas
destacan entre otras, filtros adaptativos de eliminacin de ruido y
reconocimiento de patrones de seales .


No obstante, desde los primeros experimentos con la Adaline y Madaline se
constat la capacidad de clasificar patrones linealmente separables,
presentando la misma limitacin que el Perceptron: la carencia de un mtodo
que ajuste ms de una capa de pesos.


Estructura
Adaline:


La Figura muestra una Adaline bsica. La unidad procesadora representada
por un crculo con el smbolo sumatorio implementa una funcin umbral. Las
conexiones de cada una de las entradas tienen asociadas un valor de
ponderacin llamado tambin peso wi.

El mecanismo de ajuste de los pesos representado en la siguiente figura
consiste en utilizar




Red Adaline.



la diferencia entre el valor de la salida y el valor esperado. La unidad
procesadora acta como un sumador y despus realiza la funcin umbral segn
la ecuacin.



xj =
1 si S =
i
a
i
w
i
>= 0


-1 si S =
i
a
i
w
i
< 0

La salida de la unidad Adaline es 1 a diferencia de la arquitectura del
Perceptron que slo permite los valores 0 y 1.

El entrenamiento se realiza presentando repetidamente una serie de parejas
de entradas y salidas. El objetivo de la Adaline durante el proceso de la
adaptacin es producir la salida deseada como propia suya.

La regla de aprendizaje en la arquitectura de la Adaline es la regla de Widrow-
Hoff expresada en la ecuacin

w
i
= a
i
(t * x)



siendo la constante de aprendizaje, ai la salida de la unidad i, t la salida
deseada y por ltimo x la salida de la unidad Adaline. No obstante la variante
de esta regla ms utilizada considera el valor de la suma ponderada S en vez
del valor de la salida de la unidad Adaline.

Estructura
Madaline.-

El sistema Madaline tiene una capa de unidades Adaline que estn conectadas
a una simple unidad Madaline. La Figura (4.6) muestra cuatro unidades en la
capa de entrada, tres unidades Adaline en la segunda capa y una unidad
Madaline en la tercera capa.





Sistema Madaline.

Las conexiones entre la capa de entrada y la capa de las unidades Adaline
tienen asociadas un peso ajustable por cada una de ellas. Sin embargo, las
conexiones entre la capa de Adaline y la unidad Madaline no tienen asociado
ningn peso. Cada unidad Adaline transmite su salida (-1 +1) a la unidad
Madaline. La Madaline emplea una regla de mayoras para obtener su salida:
si la mitad o ms de las unidades Adaline presentan un valor de salida +1,
entonces la salida de la Madaline es +1. En caso contrario el valor de salida
de la red Madaline es -1.

El entrenamiento de los sistemas Madaline es similar al entrenamiento de
las Adaline. El conjunto de entrenamiento es un conjunto de patrones de
entrada emparejados con las salidas deseadas. Una vez que se presenta el
patrn a la entrada, el sistema Madaline calcula su salida y a continuacin se
compara con la salida deseada. Los pesos son modificados despus de que
cada patrn sea presentado a la entrada del sistema.

Red Backpropagation
La unidad procesadora bsica de la red Backpropagation se representa en
la Figura. Las entradas se muestran a la izquierda, y a la derecha se

encuentran unidades que reciben la salida de la unidad procesadora situada en
el centro de la figura.

La unidad procesadora se caracteriza por realizar una suma ponderada de las
entradas llamada Sj, presentar una salida aj y tener un valor j asociado que
se utilizar en el proceso de ajuste de los pesos. El peso asociado a la
conexin desde la unidad i a la unidad j se representa por wji, y es
modificado durante el proceso de aprendizaje.




Unidad Procesadora Bsica Backpropagation .

Normalmente, la Backpropagation utiliza tres o ms capas de unidades
procesadoras. La Figura muestra la topologa backpropagation tpica de tres
capas. La capa inferior es la capa de entrada, y se caracteriza por ser la nica
capa cuyas unidades procesadoras reciben entradas desde el exterior. Sirven
como puntos distribuidores, no realizan ninguna operacin de clculo. Las
unidades procesadoras de las dems capas procesan las seales como se
indica en la figura. La siguiente capa superior es la capa oculta, y todas
sus unidades procesadoras estn interconectadas con la capa inferior y con
la capa superior. La capa superior es la capa de salida que presenta la
respuesta de la red.



Red Backpropagation completamente interconectada.




Red Self Organizing Map

La red S.O.M. (Self Organizing Map) tiene la caracterstica de organizar mapas
topolgicos. El mapa que presenta la red a partir de una situacin inicial
aleatoria muestra las relaciones existentes entre los diferentes patrones
presentados a la red. Este modelo de red fue presentado por Kohonen
(1988) aun cuando otros investigadores como Grossberg tambin se
encontraban trabajando en la misma red.

Esta nueva red muestra de forma efectiva la idea bsica de tener una red
neuronal artificial que organice un mapa topolgico, constituyendo como tal
una primera aproximacin a los mapas topolgicos de los fenmenos
motores y sensoriales existentes en la superficie del cerebro humano. La
red de Kohonen presenta ventajas sobre las tcnicas clsicas de
reconocimiento de patrones porque adems de utilizar la arquitectura paralela
de las redes neuronales provee una representacin grfica de las relaciones
entre los patrones.

Un aspecto diferenciador de la red SOM de otras muchas redes es que
aprende sin supervisin, de aqu su nombre en ingls. No obstante, cuando la
red SOM est en combinacin con otras capas neuronales para
aplicaciones de categorizacin y/o prediccin la red aprende primeramente
en modo no supervisado y despus cambia a modo supervisado.

Las aplicaciones ms frecuentes de esta red son visualizar topologas y
estructuras jerrquicas de espacios de entrada de dimensin elevada, as
como su utilizacin en redes hbridas para problemas de prediccin y
clasificacin.

Arquitectura Bsica y Modo de Operacin

La red SOM presenta una topologa constituida por dos capas. La primera capa
de la red es la capa de entrada, y la segunda capa, llamada capa competitiva o
de Kohonen est organizada en una rejilla de dos dimensiones.

Las dos capas estn totalmente interconectadas como se muestra en la
Figura (6.1). Cada una de las conexiones tiene asociado un peso que ser
modificado a lo largo de la sesin de entrenamiento.



Estructura bsica de la Red SOM.



Las reglas bsicas de operacin de la red SOM son las siguientes:
a) Localizar la neurona en la capa de Kohonen cuyos pesos asociados se
aproximen mejor al patrn de entrada.

b) Aumentar la aproximacin de los pesos asociados de dicha unidad y sus
vecinas al vector de entrada.

c) Disminuir gradualmente los dos parmetros que intervienen en dicho
proceso, el parmetro de aprendizaje y el tamao del vecindario.
La localizacin de la neurona cuyos pesos se aproximan a la entrada
responde a que el aprendizaje de la capa de Kohonen sigue el modelo de
aprendizaje competitivo, de ah el nombre de dicha capa.

El ajuste de los pesos de la neurona ganadora se realiza para que se
aproxime ms a los datos de la entrada; y por otra parte el ajuste de los
pesos de las neuronas vecinas contribuye a mantener el orden del propio
espacio de entrada.

Infografa:

http://cvb.ehu.es/open_course_ware/castellano/tecnicas/redes_neuro/contenid
os/pdf/transparencias-del-curso.pdf
http://insn.die.upm.es/docs/capitulo22-RedesNeuronales.pdf
http://la-nanotecnologia.blogspot.com/2008/05/funcin-de-salida-o-
transferencia.html