You are on page 1of 44

IA

 La idea del aprendizaje se centra en el hecho
de que éste es útil para que un agente pueda
realizar determinadas acciones o tareas en el
futuro

 Tipos de aprendizaje desde el punto de vista
de la naturaleza de la inferencia:
◦ Inductiva:
 Mejorar la corrección (exactitud) de la solución.
 El objetivo es la síntesis (definición) de una estructura
nueva.

◦ Deductiva:
 Reducir el tiempo de cálculo de la solución
 El objetivo es el análisis (explicación) de una
observación

 Aspectos relacionados: ◦ Adquisición de conocimiento ◦ Capacidad de memorizar ◦ Relación con el entorno . Una mejora que se materializa en el incremento del conocimiento adquirido de forma que se puedan llevar a cabo nuevas tareas más eficientemente.

) dada una información parcial I acerca de D.. los pesos de una red.. . Una definición genérica de la tarea de aprendizaje sería: identificar correctamente un elemento desconocido D (un árbol de decisión.

de análisis. . regla o hecho del dominio.  CB: conocimiento de base. Esquema genérico de inferencia P & CB =>C  P: premisa. todo lo conocido. datos de entrada.  =>.  C: consecuente. obj. consecuencia lógica entre antecedente y consecuente.

(Objetivo de aprendizaje) . Consiste en establecer una hipótesis P que permita determinar el papel de la información dada C con respecto a la estructura lógica que refleja el conocimiento disponible CB:  I = C + CB  D = P.

 I = P + CB  D = C. Consiste en particularizar la estructura que refleja el conocimiento disponible para así poder justificar la información generada. (Objetivo de aprendizaje) .

.

 Uso de elementos no lineales llamados neuronas los modelos que se derivan reciben el nombre de: redes neuronales .

 Orígenes: Algoritmos que intenten imitar el cerebro  Fue ampliamente usado en los 80’s e inicios de 90’s. . Luego bajó su popularidad en los 90’s  Actualmente hay un resurgimiento: técnica para muchas aplicaciones.

.

y peso b que se introduce en el sumador . wi ◦ Función de activación: y w1·x1+ w2·x2 + . es un dispositivo simple de cálculo que ante un vector de entradas proporciona una única salida. + wn·xn = a ◦ Función de transferencia: y = F (w1·x1+ w2·x2 + . Neurona artificial: unidad de procesamiento de la información. xj a ◦ Pesos sinápticos.. + wn·xn ) ◦ Bias o polarización: entrada constate de magnitud 1..  Elementos: ◦ Conjunto de entradas...

. y=1 si a>=0 ◦ Sigmoide ◦ Gaussiana. Principales funciones de transferencia: ◦ Lineal: y=ka ◦ Escalón: y = 0 si a<0.

. yn)T  Y=F(W·X+b) a1 y1 a2 y2 an yn .  Los nodos se conectan mediante la sinapsis  Las neuronas se agrupan formando una estructura llamada capa. . Una neurona aislada dispone de poca potencia de cálculo.. y2.  Los pesos pasan a ser matrices W (n x m)  La salida de la red es un vector: Y=(y1. .

.  Tipos de capas: ◦ Entrada ◦ Salida ◦ Oculta  No hay realimentación => red feedforward ◦ Salida depende de entradas y pesos. Redes multicapa: capas en cascada.  Si hay realimentación => red recurrente  Efecto memoria  Salida depende también de la historia pasada.  Una RNA es un aproximador general de funciones no lineales.

 Tipos de entrenamiento: ◦ Supervisado. ◦ Convergencia: salidas de la red = salidas deseadas.  Método: ◦ Uso de un algoritmo para el ajuste de los parámetros libres de la red: los pesos y las bias.  Solamente conjunto de entradas.  Error por cada par que se utiliza para ajustar parámetros ◦ No-supervisado.salida deseada.  Pares de entrenamiento: entrada .  Objetivo: tener un comportamiento deseado.  Salidas: la agrupación o clasificación por clases ◦ Reforzado. Entrenamiento: proceso de aprendizaje de la red. .

 McCulloch y Pitts. .5= a = w1·x1 + w2·x2 ◦ No hay combinación de x1 y x2 que resuelva este problema. publicaron el primer estudio sobre RNA. ◦ 0. a y  Solo permite discriminar entre dos clases linealmente separables: XOR. en 1943.  Solución: más capas o funciones de transferencia no lineales.  El elemento central: perceptrón.

monótona creciente y diferenciable. . a y  Función acotada.  Suficiente con dos capas.  Red de tipo feedforward.

 Clave en el resurgimiento de las redes neuronales. .  Generalización para redes multicapa con funciones de transferencia no-lineales y diferenciables.

 Descenso por la superficie del error  Cálculo de derivadas del error respecto de los pesos y de las bias. . Adelant ◦ Calculamos la salida de la red ◦ Calculamos la diferencia entre la salida real de la red y la salida deseada. con lo que obtenemos el vector de error e ◦ Ajustamos los pesos de la red de forma que se minimice el error ◦ Repetimos los tres pasos anteriores para cada par de Atrás entrenamiento hasta que el error para todos los conjuntos de entrenamiento sea aceptable. seleccionamos el primer par de entrenamiento.  Descripción: ◦ Tras inicializar los pesos de forma aleatoria y con valores pequeños.

…). parar ◦ Fase hacia atrás: . ◦ Fase hacia delante:  Calcular la salida de la red para cada patrón de entrada. Detalles: ◦ SSE: E=SEp=S (ypk-opk)2 ◦ Dwij=-h E/ wij  Pasos: ◦ Inicialización:  Construcción de la red.  Calcular el error total cometido (SSE)  Si la condición de terminación se satisface. 0.  Inicialización aleatoria de pesos y umbrales (-0.  Contador de iteraciones n=0.5.5)  Criterio de terminación (número máximo de iteraciones.

◦ Dependiente de las condiciones iniciales:  Parálisis de la red.  Mínimos locales. ◦ Fase hacia atrás:  Incrementar el contador n=n+1. . calcular dj=f’(netj)Skdkwjk  Actualizar pesos: Dwij(n+1)=hdjoi+aDwij(n)  Volver a la fase hacia delante.  Paca cada neurona de salida calcualr: dk=(ok-yk)f’(netk) donde netj=Siwijxi+bj  Para cada unidad oculta.  Inconvenientes del algoritmo backpropagation: ◦ Tiempo de entrenamiento no acotado.

◦ Caracterización de la red.◦ Underfitting. ¿Cuantas capas. ◦ Memorización o Sobreaprendizaje.…? . cuantas neuronas en cada capa.

 Mapa de Rasgos Autoorganizados. SOM (Kohonen. Tiene nx X ny neuronas operando en paralelo. a través de los pesos wij .  Todas las neuronas de entrada están conectadas a las neuronas de la segunda capa.  Capa segunda se realiza el procesamiento. Autoorganizativas: durante el proceso de aprendizaje la red debe descubrir por si misma regularidades o categorías => la red debe autoorganizarse en función de las señales procedentes del entorno. formando el mapa de rasgos. 80)  Características: ◦ Red competitiva ◦ Arquitectura unidireccional de dos capas:  Capa de entrada: m neuronas una por cada vector de entrada.

 Cada neurona (i.  Cada neurona sirva para detectar alguna característica del vector de entrada.  Función de vecindad: relación entre neuronas próximas en el mapa.j) calcula la similitud entre el vector de entradas y su vector de pesos  Vence la neurona cuyo vector de pesos es más similar al vector de entrada. .

. si no volver al paso 2. la similitud entre su vector de pesos wij y el vector de entrada x. Aprendizaje: ◦ Inicialización de los pesos wij ◦ Presentación de las entradas x(t) ◦ Cada neurona calcula. usando la distancia Euclídea ◦ Determinación de la neurona ganadora: ◦ Actualización de los pesos de la neurona ganadora y sus vecinas ◦ Las demás neuronas no actualizan su peso ◦ Si se ha alcanzado el número de iteraciones parar.

. ◦ Operación en tiempo real: procesan gran cantidad de datos en poco tiempo. Ventajas de las RNA: ◦ Aprendizaje adaptativo: lo necesario es aplicar un buen algoritmo y disponer de patrones (pares) de entrenamiento. ◦ Auto-organización => conduce a la generalización ◦ Tolerancia a fallos: las redes pueden aprender patrones que contienen ruido. ◦ Facilidad de inserción en tecnología ya existente. distorsión o que están incompletos.

 Filtrado de señales  Segmentación de datos  Control  Identificación. . Detección de patrones.

Redes Neuronales en identificación de sistemas .

) ◦ Obtener un conjunto de datos experimentales ◦ Seleccionar un modelo de la clase elegida ◦ Estimar los parámetros (método de Identificación: LS.) ◦ Validación (exactitud.IV. adecuación de uso) . La identificación consiste en calcular un modelo del sistema en base a datos experimentales. Entrada: u(t) Salida: y(t) Sistema  Pasos: ◦ Seleccionar una clase de modelos (CARIMA..... Box- Jenkis.RLS...

 Mediante conexiones recurrentes. Representación del tiempo. ◦ Dotar de memoria a la red:  Introduciendo directamente en la red tanto la señal actual como los valores pasados. ◦ Identificación de modelos dinámicos ◦ Control de sistemas.  Redes dinámicas: ◦ Respuesta a:  Las entradas actuales  La historia pasada del sistema. . ◦ Tratamiento de señales.

 Ventajas: ◦ Algoritmo simple es suficiente ◦ No problemas de realimentación  Desventajas ◦ Información útil debe “caber” en la ventana temporal ◦ Muchas entradas  Sobreparametrización u(t) u(t-1) u(t-2) ym (t) … u(t-m) y(t-1) y(t-2) … . Ventanas de datos pasadas de las entradas y de las salidas.

 Redes neuronales parcialmente recurrentes: ◦ Conexiones recurrentes con valores fijos ◦ Algoritmo de aprendizaje “ve” una red perceptrón multicapa ◦ Ejemplos:  Jordan  Elman  Redes neuronales recurrentes:  Todas las neuronas interconectadas  Computacionalmente costoso .

(t))+e(t)  Estructura de caja negra: modelo de entrada.  Elementos del regresor: ◦ Entradas pasadas u(t-k) ◦ Salidas pasadas medidas: y(t-k) ◦ Salidas pasadas calculadas por el modelo: ÿu(t-k|q) ◦ Residuos pasados calculados: eu(t-k)=y(t-k)-ÿu(t-k|q) .·) desde el espacio de regresiones al espacio de salida  NO en modelos lineales ◦ y(t)=g(q. Determinación o elección de la estructura del modelo.  ¿Es necesario un modelo neuronal?  Nos basamos en modelos establecidos en el caso lineal  Diseño: ◦ Variables que forman parte del regresor (t) ◦ Función no-lineal g(·.salida.

 Ventajas: ◦ Puede aproximar cualquier sistema no-lineal arbitrariamente bien ◦ No recurrente.  Desventajas: ◦ Vector de regresión puede ser grande ◦ No se modela el ruido yt yˆ (t ) g yt yˆ (t )  g (q .  (t )).. y(t-n) u(t-k) . ut (t)=[y(t-1) ... u(t-m-k+1)]T ..

ya que parte de las entradas constituye la salida de la propia red.. Corresponde a una red recurrente. u (t  m  k  1)]T yˆ (t | q )  g ( (t ). ◦ Comprobación difícil para modelo de predicción estable ◦ Entrenamiento laborioso por cálculo correcto de gradientes yˆ t yˆ (t ) t y g yt ut  (t )  [ yˆ (t  1 | q ) .q ) ... yˆ (t  n | q ) u (t  k ) ..

◦ Conjunto de datos de validación. Validación: es el proceso de comprobación de la utilidad de modelo obtenido: ◦ Si el modelo concuerda con los datos observados ◦ Si servirá al propósito para el que fue creado ◦ Si describe el sistema real  Enfoque neuronal: ◦ Conjunto de datos de entrenamiento ◦ Conjunto de datos de test.  Enfoque basado en correlaciones: ◦ Test de blancura de los residuos  … .

Ca0. Tl Tr  Entradas: ◦ Manipulables: Fl Fr ◦ Perturbaciones medibles: Ca0 Tl0 Tr0 . Tr0  Se controla la temperatura Camisa mediante una camisa por la que circula un refrigerante A B  Salidas: ◦ Ca Cb Tl Tr Ca.  Transforma un producto A en otro B Fl. Tl0  Reacción química exotérmica Reactor Fr. Cb.

 El periodo de muestreo es T = 0.2 horas  Las entradas han de ser tales que provoquen todas las salidas de interés .

Elman Tr . Se normalizan los datos de entrada y salida  Se entrenan cuatro redes.N.A. Elman Cb Ca0 Tl0 R.N. cada una modela una salida  Se usa el algoritmo backpropagation Fl R.A. Elman Ca Fr R.N. Elman Tl Tr0 R.N.A.A.

 Validación del modelo. ◦ De forma neuronal: test son saltos en Fr .

◦ Correlaciones: blancura de los residuos .