EL CEREBRO HUMANO

El sistema nervioso humano puede considerarse como un sistema de tres etapas, como se
muestra en el diagrama de bloques de la Figura 1 (Arbib, 1987). En el centro del sistema está el
cerebro, representado por la red neural (nerviosa), que recibe continuamente información, la
percibe y toma decisiones apropiadas. En la figura se muestran dos conjuntos de flechas. Aquellas
que apuntan de izquierda a derecha indican la transmisión hacia adelante de señales portadoras
de información a través del sistema. Las flechas que apuntan de derecha a izquierda (mostradas en
rojo) indican la presencia de retroalimentación en el sistema. Los receptores convierten estímulos
del cuerpo humano o del entorno externo en impulsos eléctricos que transmiten información a la
red neural (cerebro). Los efectores convierten los impulsos eléctricos generados por la red neural
en respuestas discernibles como salidas del sistema.

La lucha por entender el cerebro se ha facilitado gracias al trabajo pionero de Ramón y Cajál
(1911), quien introdujo la idea de las neuronas como constituyentes estructurales del cerebro.
Típicamente, las neuronas son de cinco a seis órdenes de magnitud más lentas que las compuertas
lógicas de silicio; los eventos en un chip de silicio ocurren en el rango de nanosegundos, mientras
que los eventos neuronales suceden en el rango de milisegundos. Sin embargo, el cerebro
compensa la relativa lentitud de operación de una neurona al tener un número verdaderamente
asombroso de neuronas (células nerviosas) con conexiones masivas entre ellas. Se estima que hay
aproximadamente 10 mil millones de neuronas en la corteza humana y 60 billones de sinapsis o
conexiones (Shepherd y Koch, 1990). El resultado neto es que el cerebro es una estructura
enormemente eficiente. Específicamente, la eficiencia energética del cerebro es
aproximadamente 10^(-16) julios (J) por operación por segundo, mientras que el valor
correspondiente para las mejores computadoras es órdenes de magnitud más grande.

Las sinapsis, o terminaciones nerviosas, son unidades estructurales y funcionales elementales que
median las interacciones entre neuronas. El tipo más común de sinapsis es una sinapsis química,
que opera de la siguiente manera: un proceso presináptico libera una sustancia transmisora que se
difunde a través de la unión sináptica entre neuronas y luego actúa sobre un proceso
postsináptico. Así, una sinapsis convierte una señal eléctrica presináptica en una señal química y
luego nuevamente en una señal eléctrica postsináptica (Shepherd y Koch, 1990). En términos
eléctricos, se dice que dicho elemento es un dispositivo de dos puertos no recíproco. En
descripciones tradicionales de la organización neuronal, se asume que una es una conexión simple
que puede imponer excitación o inhibición, pero no ambas, a la neurona receptora.

Anteriormente mencionamos que la plasticidad permite que el sistema nervioso en desarrollo se

adapte a su entorno circundante (Eggermont, 1990; Churchland y Sejnowski, 1992). En un cerebro
adulto, la plasticidad puede explicarse mediante dos mecanismos: la creación de nuevas
conexiones sinápticas entre neuronas y la modificación de sinapsis existentes. Los axones, las
líneas de transmisión, y las dendritas, las zonas receptivas, constituyen dos tipos de filamentos
celulares que se distinguen por motivos morfológicos; un axón tiene una superficie más lisa,
menos ramificaciones y mayor longitud, mientras que una dendrita (llamada así por su semejanza
a un árbol) tiene una superficie irregular y más ramificaciones (Freeman, 1975). Las neuronas
tienen una amplia variedad de formas y tamaños en diferentes partes del cerebro.

La Figura 2 ilustra la forma de una célula piramidal, que es uno de los tipos más comunes de
neuronas corticales. Al igual que muchos otros tipos de neuronas, recibe la mayoría de sus
entradas a través de espinas dendríticas; consulta el segmento de dendrita en la inserción de la
Figura 2 para más detalles. La célula piramidal puede recibir 10,000 o más contactos sinápticos y
puede proyectarse hacia miles de células objetivo.

La mayoría de las neuronas codifican sus salidas como una serie de breves pulsos de voltaje. Estos
pulsos, comúnmente conocidos como potenciales de acción o espigas,3 se originan en o cerca del
cuerpo celular de las neuronas y luego se propagan a través de las neuronas individuales con
velocidad y amplitud constantes. Las razones para utilizar potenciales de acción para la
comunicación entre neuronas se basan en la física de los axones. El axón de una neurona es muy
largo y delgado y se caracteriza por una alta resistencia eléctrica y una capacitancia muy grande.
Ambos elementos están distribuidos a lo largo del axón. Por lo tanto, el axón puede modelarse
como una línea de transmisión de resistencia-capacitancia (RC), de ahí el uso común de la
"ecuación de cable" como terminología para describir la propagación de señales a lo largo de un
axón. El análisis de este mecanismo de propagación revela que cuando se aplica un voltaje en un
extremo del axón, decae exponencialmente con la distancia, disminuyendo a un nivel
insignificante cuando alcanza el otro extremo. Los potenciales de acción proporcionan una forma
de evitar este problema de transmisión (Anderson, 1995).

En el cerebro, existen organizaciones anatómicas tanto a pequeña escala como a gran escala, y
diferentes funciones tienen lugar en niveles más bajos y más altos. La Figura 3 muestra una
jerarquía de niveles de organización entrelazados que ha surgido del extenso trabajo realizado en
el análisis de regiones locales en el cerebro (Shepherd y Koch, 1990; Churchland y Sejnowski,
1992). Las sinapsis representan el nivel más fundamental, dependiendo de moléculas e iones para
su acción. En los niveles siguientes, tenemos microcircuitos neur

3 MODELOS DE UNA NEURONA

Una neurona es una unidad de procesamiento de información fundamental para el

funcionamiento de una red neuronal. El diagrama de bloques de la Figura 5 muestra el modelo de
una neurona, que sirve de base para diseñar una amplia variedad de redes neuronales estudiadas
en capítulos posteriores. Aquí identificamos tres elementos básicos del modelo neuronal:

1. Un conjunto de sinapsis o conexiones, cada una de las cuales se caracteriza por un peso o fuerza
propia. Específicamente, una señal xj en la entrada de la sinapsis j conectada a la neurona k se
multiplica por el peso sináptico wkj. Es importante observar la manera en que se escriben los
subíndices del peso sináptico wkj. El primer subíndice en wkj se refiere a la neurona en cuestión, y
el segundo subíndice se refiere al extremo de entrada de la sinapsis a la que se refiere el peso. A
diferencia del peso de una sinapsis en el cerebro, el peso sináptico de una neurona artificial puede
encontrarse en un rango que incluye valores negativos y positivos.

2. Un sumador para sumar las señales de entrada, ponderadas por las respectivas fuerzas
sinápticas de la neurona; las operaciones descritas aquí constituyen un combinador lineal.

3. Una función de activación para limitar la amplitud de la salida de una neurona. La función de
activación también se denomina función de compresión, ya que comprime (limita) el rango
de amplitud permitido de la señal de salida a algún valor finito.

Típicamente, el rango de amplitud normalizado de la salida de una neurona se expresa como el

intervalo cerrado [0,1], o alternativamente, [-1,1]. El modelo neuronal de la Figura 5 también
incluye un sesgo aplicado externamente, denotado por bk. El sesgo bk tiene el efecto de aumentar
o disminuir la entrada neta de la función de activación, dependiendo de si es positivo o negativo,
respectivamente. En términos matemáticos, podemos describir la neurona k representada en la
Figura 5 escribiendo el par de ecuaciones:

\[ \sum_{j=1}^{m} w_{kj} x_j + b_k = u_k \]

y
\[ y_k = \varphi(u_k) \]

donde \( x_1, x_2, ..., x_m \) son las señales de entrada; \( w_{k1}, w_{k2}, ..., w_{km} \) son los
pesos sinápticos respectivos de la neurona k; \( u_k \) (no se muestra en la Figura 5) es la salida del
combinador lineal debido a las señales de entrada; \( b_k \) es el sesgo; \( \varphi(\cdot) \) es la
función de activación; y \( y_k \) es la señal de salida de la neurona. El uso del sesgo bk tiene el
efecto de aplicar una transformación afín a la salida \( u_k \) del combinador lineal en el modelo
de la Figura 5, como se muestra por:

\[ u_k + b_k = v_k \]

En particular, dependiendo de si el sesgo bk es positivo o negativo, la relación entre el campo local

inducido o potencial de activación \( v_k \) de la neurona k y la salida \( u_k \) del combinador
lineal se modifica de la manera ilustrada en la Figura 6; de aquí en adelante, estos dos términos se
utilizan de manera intercambiable. Observa que como resultado de esta transformación afín, el
gráfico de \( v_k \) versus \( u_k \) ya no pasa por el origen.

El sesgo bk es un parámetro externo de la neurona k. Podemos tener en cuenta su presencia como

en la Ec. (2). De manera equivalente, podemos formular la combinación de las Ecs. (1) a (3) de la
siguiente manera:

\[ \sum_{j=1}^{m+1} w_{kj} x_j = u_k \]

\[ y_k = \varphi(u_k) \]

En la Ec. (4), hemos añadido una nueva sinapsis. Su entrada es:

\[ x_{m+1} = -1 \]

y su peso es:

\[ w_{k(m+1)} = b_k \]

Por lo tanto, podemos reformular el modelo de la neurona k como se muestra en la Figura 7. En

esta figura, el efecto del sesgo se tiene en cuenta al hacer dos cosas: (1) añadir una nueva señal de
entrada fija en -1, y (2) agregar un nuevo peso sináptico igual al sesgo bk. Aunque los modelos de
las Figuras 5 y 7 son diferentes en apariencia, son matemáticamente equivalentes.
La función de activación, denotada por \( \varphi(v) \), define la salida de una neurona en términos
del campo local inducido v. A continuación, identificamos dos tipos básicos de funciones de
activación:

1. Función de Umbral. Para este tipo de función de activación, descrita en la Figura 8a, tenemos:

\[ \varphi(v) = \begin{cases} 1, & \text{si } v \geq 0 \\ 0, & \text{si } v < 0 \end{cases} \]

En ingeniería, esta forma de función de umbral se conoce comúnmente como función de

Heaviside. Correspondientemente, la salida de la neurona k que emplea tal función de umbral se
expresa como:

\[ y_k = \begin{cases} 1, & \text{si } v_k \geq 0 \\ 0, & \text{si } v_k < 0 \end{cases} \]

donde \( v_k \) es el campo local inducido de la neurona; es decir,

\[ v_k = \sum_{j=1}^{m} w_{kj} x_j + b_k \]

En la computación neuronal, a esta neurona se le conoce como el modelo de McCulloch–Pitts, en

reconocimiento al trabajo pionero realizado por McCulloch y Pitts (1943). En este modelo, la salida
de una neurona toma el valor de 1 si el campo local inducido de esa neurona es no negativo y 0 en
caso contrario. Esta afirmación describe la propiedad de todo o nada del modelo de McCulloch–
Pitts.

2. Función Sigmoidal. La función sigmoide, cuyo gr

áfico tiene forma de "S", es de lejos la forma más común de función de activación utilizada en la
construcción de redes neuronales. Se define como una función estrictamente creciente que
muestra un equilibrio grácil entre el comportamiento lineal y no lineal. Un ejemplo de la función
sigmoide es la función logística, definida por:

\[ \varphi(v) = \frac{1}{1 + e^{-av}} \]

donde \( a \) es el parámetro de pendiente de la función sigmoide. Variando el parámetro \( a \),

obtenemos funciones sigmoide de pendientes diferentes, como se ilustra en la Figura 8b. De
hecho, la pendiente en el origen es \( a/4 \). En el límite, a medida que el parámetro de pendiente
se acerca a infinito, la función sigmoide se convierte simplemente en una función de umbral.
Mientras que una función de umbral asume el valor de 0 o 1, una función sigmoide asume un
rango continuo de valores de 0 a 1. Además, observa que la función sigmoide es diferenciable, a
diferencia de la función de umbral. (La diferenciabilidad es una característica importante de la
teoría de redes neuronales, como se describe en el Capítulo 4).

Las funciones de activación definidas en las Ecs. (8) y (11) van desde 0 hasta 1. A veces es deseable
que la función de activación varíe de -1 a 1, en cuyo caso, la función de activación es una función
impar del campo local inducido. Específicamente, la función de umbral de la Ec. (8) se define ahora
como:

\[ \varphi(v) = \text{sgn}(v) \]

lo cual se conoce comúnmente como la función signo. Para la forma correspondiente de una
función sigmoide, podemos usar la función tangente hiperbólica, definida por:

\[ \varphi(v) = \tanh(av) \]

Permitir que una función de activación de tipo sigmoide asuma valores negativos según lo
prescrito por la Ec. (13) puede proporcionar beneficios prácticos sobre la función logística de la Ec.
(11).

Modelo Estocástico de una Neurona

El modelo neuronal descrito en la Figura 7 es determinista en el sentido de que su

comportamiento de entrada y salida está definido de manera precisa para todas las entradas. Para
algunas aplicaciones de redes neuronales, es deseable basar el análisis en un modelo neuronal
estocástico. En un enfoque analíticamente manejable, la función de activación del modelo de
McCulloch–Pitts recibe una interpretación probabilística. Específicamente, se permite que una
neurona resida en uno de dos estados: +1 o -1, por ejemplo. La decisión para que una neurona
dispare (es decir, cambie su estado de "apagado" a "encendido") es probabilística. Sea \( x \) el
estado de la neurona y \( P(v) \) la probabilidad de disparo, donde \( v \) es el campo local
inducido de la neurona. Entonces podemos escribir:

\[ P(v) = \frac{1}{1 + e^{-T v}} \]

Una elección estándar para \( P(v) \) es la función con forma de sigmoide:

\[ P(v) = \frac{1}{1 + e^{-T v}} \]

donde \( T \) es una pseudotemperatura utilizada para controlar el nivel de ruido y, por lo tanto, la
incertidumbre en el disparo (Little, 1974). Es importante darse cuenta, sin embargo, de que \( T \)
no es la temperatura física de una red neuronal, ya sea una red neuronal biológica o artificial. Más
bien, como se mencionó anteriormente, debemos pensar en \( T \) simplemente como un
parámetro que controla las fluctuaciones térmicas que representan los efectos del ruido sináptico.
Observa que cuando \( T \rightarrow 0 \), la neurona estocástica descrita por las Ecs. (14) y (15) se
reduce a una forma sin ruido (es decir, determinista), a saber, el modelo de McCulloch–Pitts.