Welcome to Scribd, the world's digital library. Read, publish, and share books and documents. See more
Download
Standard view
Full view
of .
Look up keyword
Like this
1Activity
0 of .
Results for:
No results containing your search query
P. 1
Von Zuben - Processamento Dinâmico em Redes Neurais Artificiais - Redes Neurais recorrentes

Von Zuben - Processamento Dinâmico em Redes Neurais Artificiais - Redes Neurais recorrentes

Ratings: (0)|Views: 25|Likes:
Published by henrique_oliv

More info:

Published by: henrique_oliv on May 22, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

05/22/2011

pdf

text

original

 
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
1
Processamento Dinâmico em Redes Neurais Artificiais:Redes Neurais Recorrentes
1. Redes neurais recorrentes de tempo discreto
 
redes neurais recorrentes são estruturas de processamento capazes de representar umagrande variedade de comportamentos dinâmicos.
 
a presença de realimentação de informação permite a criação de representaçõesinternas e dispositivos de memória capazes de processar e armazenar informaçõestemporais e sinais seqüenciais.
 
a presença de conexões recorrentes ou realimentação de informação pode conduzir acomportamentos complexos, mesmo com um número reduzido de parâmetros.
 
como estruturas de processamento de sinais, redes neurais recorrentes se assemelhama filtros não-lineares com resposta ao impulso infinita (N
ERRAND
 
et al.
, 1993).
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
2
1.1 Modelagem de sistemas dinâmicos lineares
camada de saídacamada intermediáriacamada de entradacamada de contexto
 y
( )
 y
( )
1
u
( )
m
u
( )
1
 x
( )
1
 x
( )
n
 
Figura 1 - Estrutura detalhada da Rede de Elman (E
LMAN
,
 
1990)
 
xWxWuyWx
()()()
ttt
 xxxu yx
= =
()+()11 
(aproxima qualquer dinâmica linear nesta representação)
 
 
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
3
1.2 Modelagem de sistemas dinâmicos não-lineares
z
-1
 f  g 
x
(
)
u
(
)z
-1
y
(
) 
Figura 2 - Representação por espaço de estados de um sistema dinâmico não-linear 
( )( )
xxuyxu
()(),()()(),()
tfttgt
+ ==
1 onde
u
(
)
 
m
,
x
(
)
 
n
,
y
(
)
 
,
 f 
:
n
×
m
 
 
n
e
 g 
:
n
×
m
 
 
.
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
4
1.3 O efeito da recorrência no processo de adaptação
 
redes neurais não-recorrentes podem ser interpretadas como poderosos operadores detransformação de representação, mas não são capazes de reutilizar a informaçãotransformada, produzindo apenas mapeamentos estáticos.
 
esta é a razão para que este tipo de rede neural encontre dificuldade em representar comportamento dinâmico, já que o vetor de saída da rede neural, denominado
$
()
s
,depende apenas do vetor de entrada definido no mesmo instante, denominado
x
(
). Istoconduz a mapeamentos do tipo:
$
()((),())
sx
tRNt
= θ
. (1)onde
θ
(
) denota o vetor de parâmetros no instante
, sendo de dimensão fixa no casode redes neurais paramétricas e de dimensão variável no caso de redes neurais não- paramétricas.
 
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
5
 
 por outro lado, em redes neurais recorrentes o tempo é representado pelo seu efeito realno processamento. Considerando apenas a existência de recorrência externa, ou seja,realimentação apenas da informação de saída da rede neural, resultam modelos do tipo:
$
()((),
$
(),())
sxs
tRNtt
rec
=
1
θ
. (2)
 
 por substituição recursiva desta equação nela mesma, fica claro que o vetor de saída darede neural depende da história do vetor de entrada e do vetor de parâmetros.
 
resulta, então, uma rede neural paramétrica com recorrência externa, apresentada nafigura a seguir.
 
repare que o processo de treinamento vai envolver duas dinâmicas acopladas: adinâmica da rede neural e a dinâmica do ajuste de pesos.
 IA353 – Prof. Fernando J. Von Zuben DCA/FEEC/UnicampTópico 10 Processamento Dinâmico em Redes Neurais Artificiais: Redes Neurais Recorrentes
6
n
w
0
e
 f  f 
11
......
-1-11
u
m
u
1
 s
n
 s
1
n
0
=
+1
 xw
10
e
w
11
e
w
1
e
m
w
1
e
m
w
1
e
m+n m+r 
w
e
n
w
1
e
n m
w
e
n m+
w
e
1
r n
w
o
w
10
o
w
11
o
n
w
1
o
w
0
o
w
1
o
1
 x
+1
++
11
++
 
()
[ ]
 xwywfswwfwuwwxw
kjo j jnkjo j jnokjo jieiim je jieimimm jno
+= = == ++=
= = + = + +
    
+
101010110termo adicional
1 24 3
 

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->