Redes Neuronales

Artificiales

✓ Definición Historia
✓ Aplicaciones de las redes neuronales artificiales
✓ Fundamentos de las redes neuronales artificiales
✓ Algunos tipos de redes Neuronales Artificiales
✓ Mecanismos de Aprendizaje de las redes perceptrónicas
✓ Revisión de conceptos
✓ Regla de Aprendizaje de Hebb. Memorias Asociativas
✓ Regla de Aprendizaje Widrow-Hoff Backpropagation
✓ Aprendizaje asociativo. Reglas no supervisadas
✓ Referencias Bibliográficas

José Luciano Maldonado

Profesor
 Redes Neuronales
Artificiales
“Una nueva forma de computación, inspirada
en Modelos Biológicos”

“Un modelo matemático compuesto por un

gran número de elementos procesales
organizados en niveles”.

“Redes interconectadas masivamente en

paralelo de elementos simples (usualmente
adaptativos) y con organización jerárquica, las
cuales intentan interactuar con los objetos del
mundo real del mismo modo que lo hace el
sistema nervioso biológico”.
Una Red Neuronal Artificial es una función
matemática compleja, formada de la
interacción de funciones matemáticas
simples, que a través de software/hardware
permite resolver problemas tratando de
emular al cerebro biológico.
 Historia de las Redes Neuronales Artificiales
Hay indicios de trabajos en este campo a finales del siglo 19 y comienzos del siglo 20. Trabajos interdisciplinarios en
física, psicología y neurofisiología (Hermann Von Helmholtz, Ernst Mach e Ivan Pavlov). Teorías generales sobre
aprendizaje, visión, percepción, etc. Sin modelos matemáticos específicos de operación de las neuronas.

Visión moderna: Comienza en los años cuarenta del siglo pasado con los Trabajos de Warren McCulloch y Walter
Pitts, quienes intentaron convencer a los estudiosos del área que las ANNs podían calcular cualquier función aritmética
o lógica. Sus trabajos se tienen como referencia del origen del campo de las ANNs.

Los trabajos de McCulloch y Pitts fueron seguidos por Donald Hebb, quién destacó propiedades individuales de las
neuronas. Explicó un mecanismo de aprendizaje de las neuronas biológicas.

La primera aplicación práctica de las ANNs apareció a finales de la década de 1950, con la invención de la red
perceptrónica y una regla de aprendizaje propuesta por Frank Rosenblatt.

Rosenblatt y su equipo construyeron una red perceptrónica y demostraron su habilidad para realizar reconocimiento de
patrones. Este hecho despertó mucho interés sobre la investigación de ANNs. Años más tarde, otros investigadores
comprobaron que la red perceptrónica básica podía resolver solo una clase limitada de problemas.

Más o menos, por el mismo tiempo, Bernard Widrow y Ted Hoff introdujeron un nuevo algoritmo de aprendizaje, al
que usaron para entrenar redes neurales lineales adaptativas, las cuales eran similares en estructura y capacidad al
perceptrón de Rosenblatt. La regla de Widrow todavía se usa.
 Historia de las Redes Neuronales Artificiales
Las redes de Rosenblatt y Widrow presentaban las mismas limitaciones, las cuales fueron ampliamente publicitadas en un
libro, por Marvin Minsky y Seymour Papert. Enterados de esto, propusieron nuevas redes, sin embargo, no lograron
modificar sus algoritmos de aprendizaje para entrenar a esas redes más complejas.

Debido a los trabajos de Minsky y Papert, conjuntamente con el hecho de que no habían computadores digitales
poderosos para experimentar, el campo de las ANNs fue abandonado por muchos investigadores. Por una década, la
investigación en el campo de las ANNs fue, prácticamente, suspendido.
En 1972, Teuvo Kohonen y James Anderson en forma independiente desarrollaron nuevas ANNs que podían actuar
como memorias. Por esos mismos tiempos, Stephen Grossberg produjo sus trabajos sobre las ANNs auto-organizantes.

Durante la década de 1980, la aparición de los computadores personales y las estaciones de trabajo y nuevos conceptos,
dieron lugar a un crecimiento importante en la investigación de las ANNs.
Nuevos conceptos responsables del resurgimiento de las ANNs: el uso de mecanismos estadísticos para
explicar la operación de cierta clase de redes recurrentes, las cuales podrían usarse como memorias asociativas. Esta
red fue producto de los trabajos del físico John Hopfield.

Aparición del algoritmo Backpropagation para entrenar redes perceptrónicas multicapas, el cual fue descubierto de
manera independiente por diferentes investigadores (la publicación que tuvo mayor influencia respecto a este
algoritmo fue la realizada por David Rumelhart y James McClelland). Este algoritmo constituyó la respuesta a las
críticas de Minsky y Papert que hicieron en la década de 1960.
Para el 2000, se habían escrito miles de artículos y las ANNs encontraron muchas aplicaciones.

El progreso del campo de las ANNs sufrió altibajos inicialmente, pero en la actualidad tiene muchas
aplicaciones. Todo se debe a los nuevos conceptos, arquitecturas, reglas de entrenamiento y a los
poderosos computadores que permiten probar esos conceptos nuevos.
 Aplicaciones de las ANNs
Campo automotriz: Sistemas de guías automáticas para automóviles, analizadores de desgaste de componentes, etc.

Banca: Lectores de cheques y otros documentos, evaluaciones de créditos, etc.

Militar o defensa: reconocimiento facial, sensores, radares, procesamiento de imágenes, compresión de datos,
extracción de propiedades y supresión de ruido, identificación de señales, identificación de objetos, seguimiento de
trayectorias, control de armas, etc.

Entretenimiento: Animación, efectos especiales, juegos, etc.

Electrónica: Predicción de secuencias de códigos, control de procesos, análisis de fallas de chips, síntesis de voz,
modelado no lineal, visión en máquinas, diseños de circuitos integrados, etc.

Finanzas: análisis de usos de líneas de crédito, bienes raíces, préstamos, hipotecas, análisis financiero corporativo,
predicción de precios, etc.

Seguros: Evaluación de aplicación de pólizas, optimización de productos, etc.

Industria: Control de procesos industriales, análisis y diseño de productos, diagnósticos de máquinas, sistemas de
inspección visual de la calidad, predicción de calidad del papel, análisis de calidad de chips, análisis de mantenimiento
de máquinas, control de proyectos, etc.

Medicina: Análisis de células cancerígenas, análisis EEG y ECG, diseño de prótesis, optimización de tiempos de
transplantes, mejora de la calidad en los hospitales, etc.
 Aplicaciones de las ANNs
Petróleo y gas: Exploración, extracción, transporte y comercialización.

Robótica: Control de trayectorias, control de manipuladores, sistemas de visión, elevadores robotizados, etc.

Campo aeorespacial: simulaciones de trayectorias de vuelos, sistemas de control de aeronaves, detectores de

fallas de componentes de aeronaves, simulaciones de componentes de aeronaves, etc.

Procesamiento de Voz: reconocimiento de voz, compresión de voz, clasificación de sonidos vocales, síntesis
texto a voz.

Telecomunicaciones: Compresión de datos e imágenes, servicios de información automatizados, sistemas de

procesos de pagos de los clientes, traducción en tiempo real, etc.

Transporte: sistemas de rutas, horarios de los autobuses y trenes, sistemas de diagnósticos de los vehículos,
etc.
Mercado: análisis de mercado, análisis de existencias, etc.
Fundamentos de las redes neuronales artificiales
 Fundamentos de las redes neuronales artificiales
Las dendritas son ramificaciones nerviosas que trasmiten señales electroquímicas hacia el cuerpo de la célula. El cuerpo de
la célula suma esas señales de entrada.
El axón es un filamento que lleva la señal desde el cuerpo de la célula hacia otras neuronas.
El punto de contacto entre un axón de una célula y una dendrita de otra célula se llama sinapsis.
El arreglo (conexión) de neuronas establece la función de toda la red neural.

Se nace con alguna estructura neural, se crean nuevas conexiones y otras se gastan; se desarrollan a través del aprendizaje
propio de la etapa de crecimiento.

La estructura neural cambia a través de la vida. Esos cambios consisten en reforzamiento o debilitamiento de las junturas
sinápticas. Se cree que se forman nuevas memorias al modificar o reforzar algunas sinapsis, así por ejemplo, memorizar
la cara de una persona que nos presentan, consiste en alterar varias sinapsis.
Similaridades clave entre las redes neurales biológicas y las artificiales: los bloques que las constituyen son
dispositivos computacionales sencillos (más las artificiales) que están altamente interconectados. La conexión de neuronas
establece la función de toda la red neural.

Las ANNs tratan de copiar la complejidad del cerebro.

Aunque las neuronas biológicas son muy lentas comparadas a los circuitos eléctricos, el cerebro biológico es capaz de
realizar muchas tareas más rápido que cualquier computador convencional, debido en parte a su estructura masivamente
paralela, donde sus neuronas están operando simultáneamente.
Muchas ANNs se implementan en computadores digitales convencionales, sin embargo, su estructura se puede implementar
con procesadores paralelos.
 Modelo matemático de la Neurona

w n a a = f (wp + b)
p  f
b
1
La entrada escalar p se multiplica por el peso escalar w para formar wp, un término que entra al sumador.

Otra entrada, 1, que se multiplica por un sesgo (offset) b, también va al sumador.

La salida del sumador, n, que se conoce como entrada de red va a la función de transferencia f (función de activación), la cual
produce la salida escalar a de la neurona.
 Correspondencia con la neurona biológica
El peso w se corresponde con el efecto de la sinapsis.

El cuerpo de la célula se representa por la sumatoria.

La función de transferencia y la salida a de la neurona representan la señal sobre el axón.

La salida depende de la función de transferencia que se escoja.

El sesgo b es un peso con una entrada constante de valor 1, ( se puede omitir).

W y b son los parámetros ajustables de la neurona.

La función de transferencia la escoge el investigador.

Los parámetros w y b se ajustan de acuerdo a una regla de aprendizaje de tal manera que la relación entrada/salida de la
neurona debe alcanzar algún objetivo.

Funciones de transferencia
Se escoge una función de transferencia particular para satisfacer el problema específico que queremos resolver con la neurona o
red de neuronas.
Funciones de Transferencia
 Funciones de transferencia
Función de transferencia lineal: La salida es igual a su argumento.

Función de transferencia sigmoide: esta función toma la entrada (cualquier valor entre menos y más infinito) y
comprime la salida en el rango de 0 a 1. Esta función se usa comúnmente en redes multicapas entrenadas con
backpropagation, debido en parte a que es una función diferenciable.

Neurona de múltiples entradas

 Referencias
Cualquier libro, página web, blog, paper o pdf que trate las Redes Neuronales Artificiales.

Martin Hagan, Howard Demuth y Mark Beale. Neural Network Design. PWS Publishing
Company, 1996.

José Hilera y Victor Martínez. Redes Neuronales Artificiales, Fundamentos, Modelos y

Aplicaciones. Alfaomega RA-MA, 2000
.
Simon Haykin. Neural Networks. A Comprehensive Foundation. MacMillan Publishing.

Robert Hecht-Nielsen. Neuroncomputing. Addison Wesley.

Bart Kosko. Neural Networks and Fuzzy Systems. Prenticell Hall.