PERCEPTON ADALINE

Topologia Monocapa o multicapa
Aprendizaje Supervisada, es decir, necesita conocer los valores esperados para cada una de las entradas presentadas
Algoritmo de Aprendizaje
Hebb y Perseptron
Incremento del Peso Hebb= x*Y*∂ / Perseptron= x*(y- s * ! x*(y- s *∂
Error cuadratico Medio !/("*# * ( $ (y- s %"
Tipo inf E! Heteroasociacitiva, es decir, el tipo de in&' de (ntrada es distinto al tipo de in&' de Salida'
Inf" E! () *nal+,ica - S) -inaria () *nal+,ica - S) -inaria y *nal+,ica
Rep" de la inf E! discreta continua
Tipo de #uncion de acti$" escalon ./-- lineal con umbral - rampa ./--
#uncion de transferencia
Des$entaja
0ncapacidad para solucionar problemas 1ue no sean linealmente separables
CONCEPTO
Entrenamiento
!er paso) 0niciali2ar los pesos
"do paso) Presentar patr+n de entrada
3er paso) 4alcular salida
5to paso) 4alcular error 5to paso) 4alcular error
6to paso) *7uste de pesos
8e,la 9elta o de :ildro; / Ho&&) permite buscar el ;
optimo
Cantidad de neuronas de la
Primera Capa
posee un limitador &uerte (<ardlim,
restrin,e el espacio de salida a valores
entre ! y =!
&uncion lineal (purelin, #a salida de una &unci+n de
trans&erencia lineal es i,ual a su entrada
(s una red 1ue reali2a una &uncion de
clasi&icaicon lineal' 8ecibe el vector de
entrada, calcula la &uncion de decision
lineal y le aplica una &uncion umbral 1ue
&uer2a a la red a obtener solo dos valores
posibles a la salida
Puede resolver problemas no lineales y solo rempla2o la
&uncion de salida por una &uncion rampa' (sta permite
,enerali2ar el perceptron para (/S continuas y permite
aplicar la tecnica del ,radiente o descenso iterativo
>ercero Paso) ?btener la salida lineal (&unci+n rampa de
la red
6to paso) *7uste de pasos (debido a 1ue
<ay error
Entrenamiento
@to Paso) Para cada entrada se repite nuevamente los
pasos con los pesos a7ustados y lue,o se calcula el error
cuadrAtico medio, 1ue en caso de ser menor al
BaceptableC se &inali2a, caso contrario comien2o de nuevo
con la !er entrada, y asD sucesivamente' 4alculamos el
error cuadrAtico medio
%AC&PROPA'ATION (Retropropagacion)
Multicapa
y Salida
Supervisada, es decir, necesita conocer los valores esperados para cada una de las entradas presentadas
y* Salida Calculada con Funcion Tranferencia
x Entrada
∂= >asa de *prendisa7e
(y- y* ) Error
#= 4antidad de Pasos
w Pesos
$ ;*x
s=x*w Salida Obtenida
Heteroasociacitiva, es decir, el tipo de in&' de (ntrada es distinto al tipo de in&' de Salida'
∂ Tasa de !rendisa"e# $aria de % a &
continua
>an,ente <iperb+lica o si,noidal
!er paso) 0niciali2ar los pesos
"do paso) Presentar patr+n de entrada
si,noidal (lo,si,E (sta &unci+n toma los valores de
entrada, los cuales pueden oscilar entre mas y menos
in&inito, y restrin,e la salida a valores entre cero y uno, de
acuerdo a la expresi+n
Puede solucionar solucionar problemas 1ue no sean
linealmente separables
(mplea un ciclo de propa,aci+n - adaptaci+n de " &ases'
*l aplicar un patron de entrada a la red este se propa,a
desde la !a capa a trave2 de las capas superiores <asta
,enerar una salida 1ue se compara con la deseada y se
calcula el error por cada una' #as salidas de error se
propa,an <acia atrAs partiendo de la capa de salida
<acia todas las neuronas de la capa oculta 1ue
constituyen la salida'
3er paso) Propa,ar los valores de la capa de entrada
<acia la capa oculta' (para cada una de las neuronas de
la capa oculta
5to paso) Propa,ar los valores de la capa oculta <acia la
capa de salida'
6to paso) 4alcular los errores de las unidades de la capa
de salida'
@to paso) 4alcular los errores de la/s unidades de las
capa/s ocultas'
Fto paso) *7ustar los pesos entre la capa oculta y la capa
de salida'
Gvo paso) *7ustar los pesos entre la capa de entrada y la
capa oculta'
Hno paso) 8epetir desde el paso " <asta 1ue el error total
sea menor al deseado, o <asta 1ue se cumpla la cantidad
total de ciclos'
!Imo paso) 4alcular el error cuadrAtico medio
considerado al &inal de cada ciclo
Perceptron
?8 solo cuando <ay error ?8 I'3 siempre
#ey de Perseptron ! #ey de Hebb Y
Perseptron= x*(y- s * ! Hebb= x*Y*∂
(/S puden ser I/! (/S puden ser I/!
J Y : b S Y* e J Y : b S Y* e
! I -!'6 -!'6 -!'6 I I ! I -!'6 -!'6 -!'6 I I
I I I'6 I -!'6 I I I I I'6 I -!'6 I I
I I !'6 I -!'6 I I I I !'6 I -!'6 I I
! ! -!'6 -!'6 I I ! ! ! -!'6 -!'6 I I !
I ! I'6 I I I ! I ! I'6 I I I !
! ! !'6 !'6 I I ! ! ! !'6 !'6 I I !
! ! -I'6 -I'6 I I ! ! ! -!'" -!'" -I'F I !
! ! I'6 I'6 I I ! ! ! I'6 I'6 -I'F I !
I ! "'6 I I I ! I ! !'G I -I'F I !
! ! I'6 I'6 5'6 ! I ! ! -I'H -I'H !'F ! I
! ! !'6 !'6 5'6 ! I ! ! I'G I'G !'F ! I
! ! "'6 "'6 5'6 ! I ! ! !'G !'G !'F ! I
J Y : S Y* e J Y : S Y* e
! I I'6 I'6 I'6 ! ! ! I -I'H -I'H -I'H I I
I I !'6 I I'6 ! ! I I I'G I -I'H I I
I I "'6 I I'6 ! ! I I !'G I -I'H I I
! ! I I "'6 ! I ! ! -I'H -I'H I'H ! I
I ! !'6 I "'6 ! I I ! I'G I I'H ! I
! ! "'6 "'6 "'6 ! I ! ! !'G !'G I'H ! I
! ! I I !'6 ! I ! ! -I'@ -I'@ I'" ! I
! ! !'6 !'6 !'6 ! I ! ! I'G I'G I'" ! I
I ! "'6 I !'6 ! I I ! "'! I I'" ! I
! ! I I 5 ! I ! ! -I'3 -I'3 "'H ! I
! ! !'6 !'6 5 ! I ! ! !'! !'! "'H ! I
! ! "'6 "'6 5 ! I ! ! "'! "'! "'H ! I
J Y : S Y* e
! I I I I I I
I I !'6 I I I I
I I "'6 I I I I
! ! I I "'6 ! I
I ! !'6 I "'6 ! I
! ! "'6 "'6 "'6 ! I
! ! I I !'6 ! I
! ! !'6 !'6 !'6 ! I
I ! "'6 I !'6 ! I
! ! I I 5 ! I
! ! !'6 !'6 5 ! I
! ! "'6 "'6 5 ! I
*daline
(rror *ceptado
siempre ?8 I'3 siempre ?8
#ey 9ellta e #ey 9ellta e
x*(y- s *∂ x*(y- s *∂
(/S puden ser 4ontinuos (/S puden ser 4ontinuos
J Y : b S e J Y : b S
! I -!'6 -!'6 -!'6 !'6 I ! I'G5 I I'G6
I I I'6 I -!'6 !'6 I ! I'3H I I'G6
I I !'6 I -!'6 !'6 ! ! I'G6 I'G6 I'G6
! ! -!'I6 -!'I6 I'56 I'66 I " I'G5 I I'3H
I ! I'6 I I'56 I'66 ! " I'3H I'3H I'3H
! ! !'6 !'6 I'56 I'66 I " I'GH I I'3H
! ! -I'GH -I'GH -I'3H !'3G6 I 3 I'G5 I !'FF
! ! I'6 I'6 -I'3H !'3G6 ! 3 I'GG I'GG !'FF
I ! !'@F I -I'3H !'3G6 ! 3 I'GH I'GH !'FF
! ! -I'5F -I'5F "'!!! !'!!! ! 5 I'G5 I'G5 I'G5
! ! I'H" I'H" "'!!! !'!!! I 5 !'"5 I I'G5
! ! !'@F !'@F "'!!! !'!!! I 5 !'"@ I I'G5
5 I'F!3!3 ! 6 !'FH !'FH 3'I6
J Y : S e I 6 !'"5 I 3'I6
! I -I'5F -I'5F -I'5F I'5@H6 ! 6 !'"@ !'"@ 3'I6
I I I'H" I -I'5F I'5@H6 ! @ "'3F "'3F 3'@"
I I !'@F I -I'5F I'5@H6 ! @ !'"5 !'"5 3'@"
! ! -I'33 -I'33 !'35 I'33@36 I @ !'G6 I 3'@"
I ! I'H" I !'35 I'33@36 ! F 3'IH 3'IH @'GH
! ! !'@F !'@F !'35 I'33@36 ! F !'H@ !'H@ @'GH
! ! -I'53 -I'53 I'5H I'6!5I@ ! F !'G6 !'G6 @'GH
! ! I'H" I'H" I'5H I'6!5I@
I ! !'6@ I I'5H I'6!5I@ Pasos F
! ! -I'"G -I'"G "'3@ !'36G5F
! ! !'IF !'IF "'3@ !'36G5F J Y : S
! ! !'6@ !'6@ "'3@ !'36G5F I ! 3'IH I !'G6
5 I'3I65! I ! !'H@ I !'G6
J Y : S e ! ! !'G6 !'G6 !'G6
! I -I'"G -I'"G -I'"G I'"F635 I " 3'IH I !'H@
I I !'IF I -I'"G I'"F635 ! " !'H@ !'H@ !'H@
I I !'6@ I -I'"G I'"F635 I " !'6H I !'H@
! ! -I'!H -I'!H !'3F I'3F!3@ I 3 3'IH I 3'6F
I ! !'IF I !'3F I'3F!3@ ! 3 !'HF !'HF 3'6F
! ! !'6@ !'6@ !'3F I'3F!3@ ! 3 !'6H !'6H 3'6F
! ! -I'3 -I'3 I'FF I'"3553 ! 5 3'IH 3'IH 3'IH
! ! !'IF !'IF I'FF I'"3553 I 5 !'GI I 3'IH
I ! !'56 I I'FF I'"3553 I 5 !'5" I 3'IH
! ! -I'"3 -I'"3 "'3@ !'36GH" ! 6 3'3@ 3'3@ 5'FG
! ! !'!5 !'!5 "'3@ !'36GH" I 6 !'GI I 5'FG
! ! !'56 !'56 "'3@ !'36GH" ! 6 !'5" !'5" 5'FG
5 I'"@55" ! @ 3'53 3'53 6'"3
! @ !'GI !'G 6'"3
I @ !'5H I 6'"3
! F 3'@@ 3'@@ F'!G
! F "'I3 "'I3 F'!G
! F !'5H !'5H F'!G
Pasos F
*daline
I'5
I'3 siempre ?8 ! Siempre
#ey 9ellta e #ey 9ellta e
x*(y- s *∂
(/S puden ser 4ontinuos (/S puden ser 4ontinuos
e J Y : b s e
I'!6" I -! "'II I -I'6 -I'6II
I'!6" I -! -!'II I -I'6 -I'6II
I'!6" ! -! -!'6I -!'6 -I'6 -I'6II
!'@I@ I -! !'II I -I'6 -I'6II
!'@I@ ! -! -I'6I -I'6 -I'6 -I'6II
!'@I@ I -! I'6I I -I'6 -I'6II
!'"3! ! -! !'6I !'6 -I'6 -I'6II
!'"3! I -! I'6I I -I'6 -I'6II
!'"3! I -! I'6I I -I'6 -I'6II
3'!@I
3'!@I
3'!@I ! ! "'II " !'6 -I'6II
!'H5H I ! -!'II I !'6 -I'6II
!'H5H I ! -"'II I !'6 -I'6II
!'H5H I ! !'II I !'6 -I'6II
"'3G" ! ! -!'II -! !'6 -I'6II
"'3G" I ! I'6I I !'6 -I'6II
"'3G" I ! !'II I !'6 -I'6II
I'!I6 I ! I'6I I !'6 -I'6II
I'!I6 ! ! I'6I I'6 !'6 -I'6II
I'!I6
Pasos " I'!"6
!'@G6
e
-I'G5G
-I'G5G
-I'G5G
I'I5I
I'I5I
I'I5I
-I'6@6
-I'6@6
-I'6@6
I'H!3
I'H!3
I'H!3
I'"!6
I'"!6
I'"!6
I'FF"
I'FF"
I'FF"
-I'!FH
-I'!FH
-I'!FH
I'!G"