You are on page 1of 28

Introducci on a las redes neuronales articiales

Cesar Fern andez


cfernandez@inf.uct.cl
Universidad Catolica de Temuco
Escuela de ingeniera inform atica
INF1915 INTRODUCCI ON A LAS REDES NEURONALES
Presentaci on del curso
Introducci on a las redes neuronales
Outline
1
Presentaci on del curso
2
Introducci on a las redes neuronales
INF1915 INTRODUCCI ON A LAS REDES NEURONALES
Presentaci on del curso
Introducci on a las redes neuronales
1
Presentaci on del curso
2
Introducci on a las redes neuronales
INF1915 INTRODUCCI ON A LAS REDES NEURONALES
Presentaci on del curso
Introducci on a las redes neuronales
Descripci on del curso
El curso provee los fundamentos b asicos de las redes
neuronales articiales.
El plan de la asignatura. contempla del estudio de los tipos
de redes, sus principales componentes y enfoques de
aprendizaje.
Los algoritmos involucrados en la construcci on, estimaci on
de par ametros y el aprendizaje ser an desarrollados en el
lenguaje Python.
Se promueve un enfoque pr actico, donde los alumnos
aplicar an los conocimientos adquiridos en problemas de
regresi on y pron ostico.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 1 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Objetivos del curso
Estudio de los fundamentos b asicos de las redes
neuronales articiales bajo un enfoque aplicado a la
resoluci on de problemas de regresi on y pron ostico.
Conocer los componentes b asicos y su funci on dentro de
de red neuronal articial.
Estudiar los enfoques de aprendizaje supervisado y no
supervisado.
Dise nar e implementar modelos neuronales aplicados a
problemas de regresi on o pron ostico.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 2 / 15
Presentaci on del curso
Introducci on a las redes neuronales
1
Presentaci on del curso
2
Introducci on a las redes neuronales
INF1915 INTRODUCCI ON A LAS REDES NEURONALES
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Una manera para representar las interconexiones de una
red es usar una estructura directed acyclic graph (DAG).
En este tipo de estructura (topologa) la informaci on uye
en una direcci on particular.
En Feedforward Single-Layer Networks la informacion uye
desde los nodos de entrada hacia los nodos de salida.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 3 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Una manera para representar las interconexiones de una
red es usar una estructura directed acyclic graph (DAG).
En este tipo de estructura (topologa) la informaci on uye
en una direcci on particular.
En Feedforward Single-Layer Networks la informacion uye
desde los nodos de entrada hacia los nodos de salida.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 3 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Una manera para representar las interconexiones de una
red es usar una estructura directed acyclic graph (DAG).
En este tipo de estructura (topologa) la informaci on uye
en una direcci on particular.
En Feedforward Single-Layer Networks la informacion uye
desde los nodos de entrada hacia los nodos de salida.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 3 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Una manera para representar las interconexiones de una
red es usar una estructura directed acyclic graph (DAG).
En este tipo de estructura (topologa) la informaci on uye
en una direcci on particular.
En Feedforward Single-Layer Networks la informacion uye
desde los nodos de entrada hacia los nodos de salida.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 3 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Figure: Directed acyclic graph (DAG)
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 4 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
Sea X = (X
1
, . . . ,X
r
)
T
un vector aleatorio de r entradas.
La funci on de activaci on de la l - esima neurona f (U
l
) es
calculada como la combinaci on lineal entre las entradas X
j
y los pesos sin apticos
jl
m as una constante (bias)
0l
.
f (U
l
) = f (
0l
+
r

j =1

jl
X
l
) = f (
0l
+ X
T

l
) (1)
En t erminos matriciales, lo anterior puede escribirse como:
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
) es una matriz de (s r ) pesos sin apticos.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 5 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
Sea X = (X
1
, . . . ,X
r
)
T
un vector aleatorio de r entradas.
La funci on de activaci on de la l - esima neurona f (U
l
) es
calculada como la combinaci on lineal entre las entradas X
j
y los pesos sin apticos
jl
m as una constante (bias)
0l
.
f (U
l
) = f (
0l
+
r

j =1

jl
X
l
) = f (
0l
+ X
T

l
) (1)
En t erminos matriciales, lo anterior puede escribirse como:
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
) es una matriz de (s r ) pesos sin apticos.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 5 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
Sea X = (X
1
, . . . ,X
r
)
T
un vector aleatorio de r entradas.
La funci on de activaci on de la l - esima neurona f (U
l
) es
calculada como la combinaci on lineal entre las entradas X
j
y los pesos sin apticos
jl
m as una constante (bias)
0l
.
f (U
l
) = f (
0l
+
r

j =1

jl
X
l
) = f (
0l
+ X
T

l
) (1)
En t erminos matriciales, lo anterior puede escribirse como:
f (U) = f (
0
+X) (2)
donde U = (U
1
, . . . ,U
s
)
T
,
0
= (
01
, . . . ,
0s
) y
B = (
1
, . . . ,
s
) es una matriz de (s r ) pesos sin apticos.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 5 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Feedforward Single-Layer Networks
Figure: Ejemplo: Rosenblatts single-layer perceptron
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 6 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
La versi on generalizada de una unidad simple de
procesamiento puede escribirse como:
f (
0
+ X
T
), (3)
donde f () es una funci on de activaci on.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 7 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
Nombre Funci on Valores
Identity x
Hard-limiter sign(x) {1, + 1}
Threshold I[x 0] {0,1}
Logistic (sigmoid) (1 + e
x
)
1
(0,1)
Hyperbolic tangent (sigmoid)
(e
x
e
x
)
(e
x
+e
x
)
(1, + 1)
Table: Funciones de activaci on usuales
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 8 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Funci on de activaci on
Figure: Funci on logstica f (x) =
1
1+e
1
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 9 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
MLP es una t ecnica estadstica multivariada nolineal que
mapea las variables de entrada X = (X
1
, . . . ,X
r
)
T
a las
variables de salida Y = (Y
1
, . . . ,Y
s
)
T
.
Entre las capas de entra y salida se encuentran las
variables ocultas dispuestas en una o m as capas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 10 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
MLP es una t ecnica estadstica multivariada nolineal que
mapea las variables de entrada X = (X
1
, . . . ,X
r
)
T
a las
variables de salida Y = (Y
1
, . . . ,Y
s
)
T
.
Entre las capas de entra y salida se encuentran las
variables ocultas dispuestas en una o m as capas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 10 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
La red MLP puede representarse por:
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
representa las conecciones entre la capa de
entrada y oculta.
La matriz
jk
representa las conecciones entre la capa
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 11 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
La red MLP puede representarse por:
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
representa las conecciones entre la capa de
entrada y oculta.
La matriz
jk
representa las conecciones entre la capa
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 11 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
La red MLP puede representarse por:
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
representa las conecciones entre la capa de
entrada y oculta.
La matriz
jk
representa las conecciones entre la capa
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 11 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
La red MLP puede representarse por:
Un conjunto {X
1
, . . . ,X
r
} de r entradas.
La matriz
ij
representa las conecciones entre la capa de
entrada y oculta.
La matriz
jk
representa las conecciones entre la capa
oculta y de salida.
Un conjunto {Y
1
, . . . ,Y
s
} de s salidas.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 11 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
La estimaci on de la k- esima neurona k {1, . . . ,s} de la capa
de salida se expresa como:
Y
k
=
k
(X) +
K
, (4)
donde la respuesta de la red en la k- esima neurona de salida
corresponde a:

k
(X) = g
k

0k
+
t

j =1

jk
f
i

0j
+
r

m=1

mj
X
m

, (5)
donde f y g son funciones de activaci on.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 12 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
En la pr actica, se seleccionan las siguientes funciones de
activaci on:
La funci on f es usualmente continua nolineales (logstica,
tanh,etc).
La funci on g es usualmente lineal en contexto de regresi on
y nolineal en clasicaci on.
El error
k
se asume como Gauseano de media cero y
varianza
2
k
.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 13 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Multilayer Perceptrons (MLP)
Si se considera la funci on de activaci on g como lineal y todas
las funciones de activacion son una sigmoidal , entonces, la
red se convierte en un single-layer perceptron donde
Y = (X) +, donde

k
(X) =
0
+
t

j =1

0j
+
r

m=1

mj
X
m

. (6)
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 14 / 15
Presentaci on del curso
Introducci on a las redes neuronales
Referencias
Neural Networks for Pattern Recognition. Christopher
Bishop. Oxford University Press, 1999.
Pattern Recognition and Machine Learning Information
Science and Statistics.Christopher Bishop. Springer, 2007.
Modern Multivariate Statistical Techniques: Regression,
Classication and Manifold Learning. Alan Julian Izenman.
Springer, 2008.
INF1915 INTRODUCCI ON A LAS REDES NEURONALES 15 / 15