Camilo Navarrete- Felipe Reyes Prof.

: Marcos Lvano Inteligencia Artificial

Interrogacin # 2

Problema 1:

Extracto del dataset:

Matrices generadas:

Codigo de Fuente:

Resultados de los Modelos: Para la red 4-3-6 con backpropagation, funcion de activacion logistica y 3 repeticiones.

En 24315 pasos dio un error cuadrtico medio del orden de 70.483, muy alto para converger en el target deseado.

Para la red 4-4-3-6 con backpropagation, funcion de activacion logistica y 8 repeticiones.

Para la red 4-5-4-6 con backpropagation, funcion de activacion logistica y 12 repeticiones.

En 61254 pasos como mximo, dio un error cuadrtico medio del orden de 33.500, muy alto para converger en el target deseado.

Ninguna de las redes pudo dar una aproximacin satisfactoria para los targets deseados, quizs aadiendo mayor cantidad de pocas y mayor numero de neuronas en la capa oculta hubiese funcionado, pero el tiempo de procesamiento se volva muy alto.

Problema 2:
Redes Recurrentes
La redes recurrentes se caracterizan porque se crean bucles en las neuronas de la red mediante el uso de las llamadas conexiones recurrentes, pudiendo aparecer en la red conexiones de una neurona a ella misma, conexiones entre neuronas de una misma capa o conexiones de las neuronas de una capa hacia la capa anterior, tal como se muestra a continuacin.

Ejemplo de neuronas con conexin recurrente

Dentro de las redes neuronales Recurrentes podemos definir dos tipos Redes neuronales parcialmente recurrentes, como la Red de Elman La red recurrente Elman es una red de retro propagacin de dos capas, con la adicin de una retroalimentacin de la salida de la capa oculta con la entrada de la red. Esta retroalimentacin le permite a la red generar y detectar patrones variantes en el tiempo. La red Elman tiene como funcin de activacin el Tansigmoidal en su capa oculta y la funcin lineal en su capa de salida lo que le permite aproximar cualquier funcin y cierta exactitud siempre que se tengan suficientes neuronas en la capa oculta para el procesamiento. La retroalimentacin contiene un retraso que permite retener los valores del primer paso para usarlos en el actual paso de procesamiento. Debido a que la red puede grabar informacin para futura referencia es capaz de aprender patrones temporales tan bien como patrones espaciales adems de generarlos.

Algunos de los esquemas de redes recurrentes de uso mas frecuente se muestran a continuacin:

Esquema red de Hopfield

Esquema simple de una red Elman.

La red Elman debido a que su retroalimentacin contiene un retraso, permite retener los valores del paso previo para ser usados en el instante actual para el procesamiento de la seal de salida. Debido a que la red es capaz de grabar informacin para futuras referencias, es capaz de aprender patrones temporales de forma precisa. Uno de las mayores ventajas que ofrecen los modelos de redes neuronales recurrente, es que facilitan el tratamiento de sistemas dinmico con dependencia temporal, en el sentido que un patrn de salida en un determinado instante depende de sus valores de salidas o variables en instantes anteriores de tiempo.

RESUMEN En general, todos los sistemas basados en redes neuronales son diseados con el fin de aprender, generalizar y en ciertos casos predecir patrones o estados deseados a travs del entrenamiento y prueba de dichos sistemas. Las diferentes arquitecturas de las redes neuronales tienen diferentes propiedades dependiendo de la manera en que sus componentes, las neuronas, se interconectan y comparten informacin. Para los problemas en los que se requiere que la red neuronal se estabilice en un estado final fijo para despus someterla a pruebas con datos de entrenamiento, la arquitectura ideal es aquella que comprende a las redes feedforward. Este tipo de redes pueden compartir informacin con las capas inmediatas posteriores y de esta manera actualizan sus pesos al evaluarse la funcin de error al final de la red, pasando a una nueva iteracin. En trminos de tiempo de procesamiento, estas redes no demandan tantos clculos y actualizaciones, por lo que son ms rpidas al procesar pero ms lentas al llegar al resultado deseado. Adicionalmente, su margen de error es mayor que de los otros tipos de arquitectura y por lo tanto deben utilizarse slo en aquellos problemas que no presenten no-linealidades significativas en el tiempo. Las redes Elman son un paso intermedio entre las redes feedforward y las redes neuronales recurrentes completamente conectadas (RNN). Estas redes cuentan con caminos de retroalimentacin simples entre capas, lo que le da a la red la capacidad de almacenar informacin del estado inmediato anterior. Es por esto que estas SRN tienen algunas de las ventajas de las RNN, pero su eficiencia y velocidad de convergencia son inferiores a stas ltimas. En trminos del tiempo de procesamiento requerido para que este tipo de redes logren la meta, se le puede considerar como un trmino intermedio. No obstante, su arquitectura las hace ptimas solamente para aplicaciones muy especficas limitadas a predicciones un instante de tiempo adelante, y la mayora de los problemas a los que se someten las redes recurrentes necesitan capacidades de procesamiento, almacenamiento y prediccin superiores. Las RNN, por otro lado, son ideales para problemas tales como los que se le presentan a un IDS durante su funcionamiento: la identificacin y clasificacin de patrones secuenciales con distintas probabilidades de ocurrir a travs del tiempo. El comportamiento no lineal que las interconexiones de retroalimentacin ocasionan en las RNN las hace ptimas para resolver estos problemas. Dependiendo del tipo de algoritmo de entrenamiento que se utilice, es posible que las RNN requieran tiempos de procesamiento muy grandes. No obstante, a pesar de esto la velocidad con la que convergen al resultado esperado ignorando mximos y/o mnimos locales sobrepasa con creces esta desventaja, en especial en redes con un nmero de neuronas reducido. En cuanto a sus porcentajes de error, las RNN son ms efectivas al detectar, clasificar y aprender nuevos patrones. Para un mismo conjunto de datos de entrenamiento, entregarn mejores resultados que cualquiera de los otros dos tipos de redes neuronales.