Recuperacin espontnea de la respuesta condicionada en un agente autnomo

LOLA ALONSO, RAFAEL MORENO*, MANUEL VZQUEZ, EMILIO DEL ROSAL Y JOS SANTACREU
Universidad Autnoma de Madrid; *Universidad de Sevilla

Resumen
Los modelos formales planteados en la literatura para explicar el condicionamiento clsico tienen especial dificultad en exhibir la recuperacin espontnea de la respuesta condicionada. Por ello se presenta un modelo matemtico del condicionamiento clsico capaz de superar tal dificultad. Dicho modelo integra en un nico sistema de ecuaciones en diferencias dos ideas claves expuestas en la literatura para dar cuenta de la recuperacin espontnea: a) la extincin es un proceso inhibitorio, producido por las presentaciones del estmulo condicionado aislado (sin EI) y b) la extincin es un proceso transitorio, cuyos efectos desaparecen con el paso del tiempo. Adems, el modelo incorpora, por una parte, la funcin de activacin del estmulo que permite la reactivacin del EC en la fase de prueba, tras el paso de un tiempo despus de la extincin; y por otra una funcin inhibitoria, que es calculada cuando se produce la extincin, que explica parte de este proceso. Sometido tal modelo a pruebas de simulacin, los resultados obtenidos resultan satisfactorios, abrindose la posibilidad de futuras pruebas del modelo con otros fenmenos del condicionamiento clsico. Palabras clave: Modelos computacionales, simulacin de procesos de aprendizaje, condicionamiento clsico, extincin, recuperacin espontnea.

Spontaneous recovery of conditioned response in an autonomous agent Abstract

Formal models proposed in the literature to explain classical conditioning find it particularly difficult to exhibit spontaneous recovery of the conditioned response. The paper presents a mathematical model of classical conditioning capable of overcoming this difficulty. This model integrates, in a single system of difference equations, two key ideas described in the literature to account for spontaneous recovery: a) extinction as an inhibitory process produced by presentations of the conditioned stimulus without US, and b) extinction as a transient process, whose effects fade away over time. Moreover, it incorporates, on the one hand, a stimulus activation function, which allows the conditioned response to reappear when the CS is presented in the test phase some time after extinction; and, on the other, an inhibitory function, which is calculated when extinction takes place, thus explaining part of the process. The satisfactory results of subjecting this model to simulation tests open the door to future tests of the model with other classic conditioning phenomena. Keywords: Computational models, simulation of learning processes, classic conditioning, extinction, spontaneous recovery.

Correspondencia con los autores: Jos Santacreu Mas. Departamento de Psicologa Biolgica y de la Salud. Universidad Autnoma de Madrid. Ciudad Universitaria de Cantoblanco. 28049 Madrid. E-mail: jose.santacreu@uam.es Original recibido: Marzo, 2005. Aceptado: Junio, 2005.
2005 by Fundacin Infancia y Aprendizaje, ISSN: 0210-9395 Estudios de Psicologa, 2005, 26 (3), 365-376

366

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

El condicionamiento clsico ha sido un rea de gran inters para la ciencia de la conducta, existiendo numerosos modelos que intentan dar cuenta de los diversos fenmenos englobados en dicho trmino. Entre estos, uno de los ms difciles de representar es el de la recuperacin espontnea de la respuesta condicionada, a pesar de la notable atencin que recientemente ha venido recibiendo en la literatura del aprendizaje animal (Brooks y Bouton, 1993; Devenport, 1998; Goddard, 1997; Maes y Vossen, 2000; Rescorla, 1997a; 1997b; Rosas y Bouton, 1996). Por recuperacin espontnea se entiende la reaparicin de una respuesta condicionada (RC) ante un estmulo condicionado (EC) en una prueba realizada un tiempo relativamente largo despus de que la respuesta haya sido extinguida a lo largo de presentaciones del EC sin ser acompaado del estmulo incondicionado (EI). Un fenmeno que, a partir de la observacin original de Pavlov (1927), parece tener que ver con que durante la extincin ocurre algo diferente a la eliminacin de las asociaciones aprendidas dado que algunas de ellas persisten despus de la extincin. De acuerdo a las llamadas teoras inhibitorias (Bouton, 1993, 1994; Konorski, 1948; Rescorla, 1979; Wagner, 1981;) cabe interpretar el fenmeno en trminos de algn tipo de proceso inhibitorio puesto que despus de transformar un estmulo neutro en un EC excitatorio por su emparejamiento con un EI, la retirada de ste en la extincin da lugar o a una asociacin inhibitoria entre el EC y el EI o a la inhibicin de la RC en presencia del EC; una asociacin inhibitoria EC-no EI en cualquier caso que interferira con la asociacin excitatoria debilitando la RC y tendra un carcter ms lbil que las excitatorias. El propio Pavlov (1927) atribuy la recuperacin espontnea a la disipacin de un proceso inhibitorio transitorio que suprima la excitabilidad del nodo del EC. As pues, la recuperacin espontnea de la RC tras un perodo de descanso puede interpretarse como consecuencia de un proceso transitorio que inhibe las respuestas (RCs) al EC pero que no produce un deterioro de lo aprendido, ya que despus de un perodo de descanso esta inhibicin desaparece y las respuestas al EC reaparecen (Rescorla, 1997a; Sandoz, 1998). Por tanto, la produccin de la RC sera funcin de la fuerza asociativa pero tambin de una variable que se recupera o aumenta con el paso del tiempo sin estimulacin. Ello significa que cualquier modelo que trate de reproducir el fenmeno de condicionamiento clsico debera contemplar al menos los dos aspectos siguientes: que se producen asociaciones excitatorias y asociaciones inhibitorias, y que en la produccin de la RC ha de estar implicada una variable como el grado de activacin del estmulo, sensible al paso del tiempo en funcin de la ltima presentacin de dicho estmulo. De acuerdo con este planteamiento, los modelos que no contemplan el paso del tiempo no pueden exhibir fenmenos como a) la recuperacin espontnea de la RC, b) la dependencia de la magnitud de la RC del intervalo entre estmulos de manera que a mayor contigidad entre estmulos mayor magnitud de la RC, o c) el efecto de la prctica distribuida por el que, a igualdad de ensayos y probabilidades, cuanto ms distanciados entre ellos aparezcan los emparejamientos, ms condicionamiento se producir, como es el caso de los modelos de Dickinson y Burke (1996), Mackintosh (1975), Pearce (1987), Pearce y Hall (1980), Rescorla y Wagner (1972) y van Hamme y Wasserman (1994) que, en todo caso, constituyen sin duda la historia del progreso de la modelizacin del aprendizaje asociativo. Otros modelos que s generan sus soluciones en tiempo real, como los planteados por Klopf (1988), Sutton y Barto (1981, 1987), Schmajuk y DiCarlo (1992) o Wagner (1981), no explican sin embargo la recuperacin espontnea. En definitiva, encontrndonos ante un fenmeno no abordado o reproducido por los modelos existentes, el objetivo del presente trabajo es exponer y someter a prueba de simulacin un modelo formal que, en el marco de los

Recuperacin espontnea de la respuesta condicionada en un agente autnomo / L. Alonso et al.

367

fenmenos bsicos del condicionamiento clsico, pueda dar cuenta de la recuperacin espontnea de la RC. El modelo que se presenta no ha sido generado para explicar un fenmeno especfico de condicionamiento clsico. El abordaje de la recuperacin espontnea surgi como un fenmeno emergente en el proceso de construccin de un agente autnomo en el que distintos procesos de aprendizaje (fundamentalmente habituacin, sensibilizacin, condicionamiento clsico y condicionamiento operante) puedan funcionar simultneamente ante cualquier estimulacin del contexto. Se pretende un agente que habite ante la presentacin repetida de un evento (Alonso, Moreno, Vzquez y Santacreu, en prensa) y, cuando se den las circunstancias adecuadas, aprenda, extinga o recupere espontneamente la respuesta condicionada. Alternativamente a la descripcin de la extincin como un proceso inhibitorio y transitorio, Brooks y Bouton (1993) plantean que la extincin no es un condicionamiento inhibitorio en el que hay una asociacin EC-no EI, sino que en ella desempea un papel fundamental el contexto, pues constituye el medio que permite la recuperacin de lo aprendido. Un hecho que sostiene este planteamiento es que al contrario que en la adquisicin de la respuesta, la extincin no se generaliza a nuevos contextos: lo que se ha extinguido en un contexto no se mantendr inhibido en otro distinto. De hecho pequeos cambios en los elementos del contexto en el que una RC est habituada facilitan la recuperacin de dicha respuesta (Bouton y Nelson, 1998; Bouton, 2004). Del mismo modo un largo periodo de tiempo post la sesin de extincin puede reinstaurar la RC, lo que se ha explicado como el efecto de un cambio en el contexto temporal de la extincin (Rosas y Bouton, 1997; 1998) . Esta propiedad es muy similar a la descrita para la habituacin, lo que sugiere que ambos procesos pueden ser explicados en trminos de un sistema de aprendizaje que adquiere, finalmente, una influencia inhibitoria en la respuesta de orientacin o en la RC. As lo plantea Robbins (1990), como una de las alternativas plausibles en la explicacin de la extincin. Este autor sugiere que un descenso temporal en la atencin que se presta a un EC contribuye a la extincin (reacurdese que el procedimiento de extincin es similar al procedimiento de habituacin) y que la recuperacin de la atencin que se da despus de pasado un cierto tiempo sin presentar el EC puede explicar la recuperacin espontnea de la RC. Precisamente, el modelo implementado en el agente que presentamos en el siguiente apartado, es capaz de integrar los fenmenos de habituacin (Alonso et al., en prensa) con los de condicionamiento clsico, y, en particular, la recuperacin espontnea de la respuesta de orientacin se produce a travs del mismo mecanismo que la recuperacin espontnea de la RC, por lo que la sinergia al considerar ambos tipos de aprendizaje como partes indisolubles de un nico sistema de aprendizaje puede ser la clave de la explicacin del fenmeno de la recuperacin espontnea. En definitiva, nuestro modelo propone que cualquier agente que condicione tambin habituar y, por tanto, entendemos que no es posible plantear un modelo de condicionamiento basado en la asociacin que no contemple que cualquiera de los estmulos del contexto sufrir los efectos de los procesos de habituacin sensibilizacin. Planteado sta cuestin como supuesto bsico de toda simulacin del condicionamiento, creemos que fenmenos como el de la recuperacin de la RC despus de un periodo de extincin, son reproducibles sin introducir funciones adicionales, por modelos de condicionamiento que, como el planteado por nuestro grupo, incluya una funcin asociativa excitatoria y una funcin inhibitoria expresado en una ecuacin en diferencias, es decir, que vare en funcin del tiempo.

368

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

Mtodo Funciones del modelo Las funciones que se proponen trabajan recalculando su valor en cada una de sus iteraciones o ciclos del ordenador y representa un periodo de tiempo arbitrario asignable a cada ciclo (p.e., 1 segundo) y estn formuladas en trminos de ecuaciones en diferencias, en las que el valor para cada momento se calcula basndose en alguna transformacin del valor en el momento inmediatamente anterior. Asimismo, todas las funciones comienzan teniendo valor 0 y estn definidas entre 0 y 1, excepto la de asociacin inhibitoria que es definida entre 0 y 1. En la notacin usada en adelante, el subndice j hace referencia a los estmulos condicionados, i a los incondicionados y k a las respuestas condicionadas. Ntese que las ecuaciones forman parte de un sistema acoplado, que slo a efectos expositivos se describen por separado. En primer lugar, la funcin Atj, da cuenta del grado de activacin en el agente de cualquier evento del contexto en todo momento. Est definida como: (ec. 1) donde j es un parmetro que determina la velocidad de decaimiento de la activacin del elemento j, Stj es la intensidad del estmulo j (por lo que en la primera presentacin del estmulo, Atj = Stj ) y puede oscilar entre 0 y 1. La ecuacin 1 incluye otra ecuacin en diferencias, Dtj , llamada funcin de disponibilidad del estmulo y que determina la potencial activacin de un estimulo particular si se presentara en el momento t; es una funcin sigmoidal creciente al igual que la propuesta en el modelo de la habituacin de Wang (1994). Nuestra funcin es adems sensible a la presentacin de otros estmulos junto al estmulo objeto de estudio. As la funcin de disponibilidad aumenta su tasa de crecimiento, cuando el estmulo en cuestin se asocia con cualquier otro debido a la contigidad temporal entre ambos. Esta funcin permite que se recupere la activacin potencial (Atj ) del E en funcin no solo del paso del tiempo sino tambin de la presentacin de otro estmulo, lo que contribuye a deshabituar la respuesta de orientacin (RO) y, por consiguiente, a impedir la habituacin de un estmulo que se est condicionando. As pues, la funcin Atj es la responsable directa del decaimiento exponencial de la huella del estmulo y da cuenta de los fenmenos de habituacin y sensibilizacin y, por tanto, de la asociabilidad de dicho estmulo a lo largo del tiempo. (ec. 2) En el modelo presentado, al igual que en el de Mackintosh (1975) y a diferencia que en el de Rescorla y Wagner (1972), la activacin del EI no depende de lo que ocurra con otros ECs presentes en la situacin. En el modelo propuesto, dicha activacin se calcula del mismo modo que la de cualquier evento teniendo en cuenta que la intensidad de tal EI se considera mxima y su disponibilidad se alcanza totalmente en el ciclo siguiente a una presentacin. En segundo lugar y para modelizar los fenmenos de condicionamiento clsico, proponemos tres funciones asociativas al igual que en el modelo SOP de Wagner (1981): la excitatoria, la inhibitoria de carcter opuesto a la excitatoria y la total como suma de las dos anteriores consideradas cualitativamente semejantes. La funcin asociativa excitatoria es sigmoidal creciente y se define como: (ec. 3)

Recuperacin espontnea de la respuesta condicionada en un agente autnomo / L. Alonso et al.

369

donde el parmetro libre es la tasa de aprendizaje y es un parmetro que seala el valor mnimo inicial. La funcin de crecimiento sigmoidal permite una simulacin ms adecuada de la curva de adquisicin que la ms sencilla exponencial negativamente acelerada que se ha propuesto en anteriores modelos. En ella, se incluyen las activaciones del EC (Atj ) y del EI (Ati) como representantes de la asociabilidad y contigidad temporal de dichos estmulos, de forma que cuanto ms cercanos en el tiempo aparezcan, ms activos estarn y ms asociacin se ganar en un ensayo concreto. De esta forma adems, se consigue acoplar las funciones de activacin estimular construidas para la habituacin estimular con las propias de la asociacin. En cuanto a la asociacin inhibitoria se supone, al igual que en el modelo de Pearce y Hall (1980), que se produce por la formacin de una asociacin EC-no EI como se expres previamente, pero con la diferencia que contemplamos la ausencia de cualquier EI, en lugar de la omisin de un EI esperado ya predicho por el EC. En este modelo, se define la fuerza asociativa inhibitoria a travs de la siguiente ecuacin: (ec. 4) donde los parmetros tienen significado similar al de la ecuacin 2, aunque con las siguientes diferencias: Esta funcin adquiere valores negativos conforme va calculndose en los ensayos pertinentes de EC-no EI, y su decremento es ms lento que el de la funcin excitatoria al dividirse por un nmero (/2) al igual que en el modelo SOP de Wagner (1981). La fuerza asociativa total se entiende por su parte como la suma de las fuerzas excitatoria e inhibitoria, calculndose para todo momento t mediante la siguiente ecuacin: (ec. 5) De esta manera, el poder predictivo para un mismo EC j respecto a un EI i es una suma de las veces en que lo ha predicho y de las veces en que no. Este trmino, adems, se utiliza para el clculo de la estimacin de la probabilidad de emisin de RC, como se indica a continuacin: (ec. 6) ecuacin que permite la aparicin de respuestas condicionadas, tanto en funcin del proceso de adquisicin, cuando Tjt>0, como en funcin de la activacin del EC cuando Atj > 0. Con este trmino de interaccin entre la fuerza asociativa y la activacin se logra simular la relacin no lineal entre la fuerza asociativa y la RC, algo no contemplado en otros modelos como el de Dickinson y Burke (1996) que basan sus predicciones nicamente en la fuerza asociativa, como sinnimo de fuerza de respuesta, perdiendo con ello el efecto del intervalo EC-EI que recoge la variable Atj de la ecuacin 6. Procedimiento Para evaluar mediante simulacin la modelizacin descrita se dispuso un agente autnomo que contacta o se relaciona con un contexto a travs de un programa de comunicaciones TCP/IP. El contexto genera los estmulos apropiados y el agente calcula para cada estmulo la serie de funciones arriba descritas. La preparacin experimental constaba de las siguientes fases: a) Adquisicin: En intervalos de un minuto cada uno y hasta la asntota de emisin de RCs, se realizaron 12 emparejamientos EC-EI. El intervalo entre la

370

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

aparicin del EC y la del EI era de dos segundos y ambos estmulos estaban presentes durante un segundo con la mxima intensidad Stj = 1,Sti = 1. b) Extincin: Cinco minutos despus de la fase anterior se presentaba el EC 12 veces ms en iguales condiciones que en la fase de adquisicin, aunque sin la presentacin del EI. c) Prueba de recuperacin espontnea en extincin: Dos horas despus de la fase anterior, se volva a presentar el EC en las mismas condiciones que en la primera fase de extincin. La prueba implicaba nicamente la primera presentacin de esta serie, pero la simulacin se efectu repitiendo el procedimiento de extincin para observar adicionalmente si, como sealan los datos empricos, la segunda sesin de extincin resultaba ms rpida que la primera. La duracin total de la simulacin fue de 9350 segundos (ms de dos horas y media), realizndose diez simulaciones con un agente ingenuo y diferente cada una de ellas con el fin de obtener un promedio representativo de la emisin de la RC al ser esta un valor probabilstico que depende de la ecuacin 5. Los valores de los parmetros utilizados para todas las simulaciones fueron los siguientes obtenidos de estudios previos: j = 0.95; = 0,3171; = 0.003804; = 0.025; = 0.01; = 0.05; j = 1.00; = 0.01 Resultados En las figuras 1 a 6 se presentan los datos de la simulacin que reflejan la dinmica de cada una de las funciones del agente respecto al EC en las tres fases estudiadas. En la figura 1 se muestra la activacin del EC, Atj; en la figura 2, la asociacin excitatoria, Etj,i, del EC respecto al EI al que fue condicionado; en la 3 la asociacin inhibitoria Ntj del EC respecto al mismo EI, y en la 4 la asociacin total Ttj como la suma de fuerzas excitatorias e inhibitorias del EC. Por ltimo, en la figura 5 se presenta la probabilidad de RC en cada presentacin del EC, P(Rk)t, y en la 6 una estimacin de la emisin de la RC promedio de 10 agentes
FIGURA 1 Activacin del estmulo condicionado en tres fases a lo largo de 2 horas y media de simulacin

1,0

adquisicin

5 min

0,8

extincin extincin Activacin del EC

0,6

0,4

0,2

0,0 0 300 600 900 1200

Tiempo (s)

1500

1800

2 horas

t j

8700

9000

9300

Recuperacin espontnea de la respuesta condicionada en un agente autnomo / L. Alonso et al.

371

FIGURA 2 Fuerza asociativa excitatoria del EC

1,0
5 mins 2 horas

E
Asociacin Excitatoria

t j
0,8

adquisicin

extincin

extincin

0,6

0,4

0,2

0,0 0 300 600 900 1200

Tiempo (s)

1500

1800

8700

9000

9300

ingenuos con respecto a la tarea de condicionamiento en cada una de las tres fases del procedimiento. A continuacin se describen todos esos componentes agrupados en cada una de las fases consideradas. En lo que se refiere a la fase de adquisicin, en la figura 1 puede observarse el decrecimiento o habituacin de la activacin del EC en funcin de su repetida
FIGURA 3 Fuerza asociativa inhibitoria del EC
0,0

-0,2

5 min

N tj

adquisicin

Asociacin Inhibitoria

-0,4
extincin

-0,6

-0,8

-1,0 0 300 600 900 1200

Tiempo (s)

1500

1800

2 horas

extincin

8700

9000

9300

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

372
FIGURA 4 Fuerza asociativa total del EC

1,0
adquisicin 5 min

t j
0,8

extincin 2 horas

Asociacin Total

0,6
extincin

0,4

0,2

0,0 0 300 600 900 1200

Tiempo (s)

1500

1800

8700

9000

9300

presentacin, que en todo caso mantendra una RO a un nivel aceptable superior al 70% a lo largo de los ensayos de condicionamiento. En las figuras 3 y 4 se observa respectivamente la igualdad de la funcin asociativa excitatoria y la asociacin total, debida a que la funcin inhibitoria no se calcula cuando, como en esta fase de adquisicin, no hay ensayos EC-no EI y por tanto el EI aparece antes de que el EC pierda su activacin (ec. 1, Atj ). Por ltimo, la probabilidad de emisin de la RC y el promedio de emisin de la RC de 10 agentes muestran la tpica curva de adquisicin sigmoidal creciente del condicionamiento clsico (Figuras 5 y 6). Respecto a la primera extincin, segunda fase del procedimiento, la activacin del EC en los primeros ensayos se recupera despus de los 5 minutos de inactividad tras la fase anterior tal como caba esperar (Figura 1), habitundose posteriormente aunque no en la medida ni con la rapidez que habran existido si tal estmulo no hubiera sido previamente condicionado. As pues, la evolucin de la activacin en esta fase 2 funciona normalmente para lo que sera esperable tanto desde la perspectiva de la habituacin como desde la del condicionamiento. Con respecto a la funcin excitatoria en esta fase de extincin, el sistema muestra la estabilidad de la curva que refleja la ausencia de cambios debida a la no presentacin conjunta EC-EI (Figura 2). En cambio, la funcin inhibitoria se activa en esta fase (Figura 3) lo cual incide en la asociacin total (Figura 4) y, naturalmente, en las funciones que controlan la RC (Figura 5 y 6). En consecuencia, la estimacin de la RC en esta fase de extincin disminuye porque lo hacen tanto la asociacin total como la activacin del EC. Por ltimo, al comparar la fase recin considerada de la primera extincin con la fase 3 de segunda extincin tras un descanso prolongado, puede comprobarse la recuperacin espontnea de la RC que se da en la ltima. As, en la figura 1 se aprecia la reactivacin del EC, que a su vez es coincidente con los datos empricos de la habituacin en los que se recupera la RO pasado un cierto tiempo tras la serie de presentaciones del EC. El paso del tiempo no afecta en todo caso a las

Recuperacin espontnea de la respuesta condicionada en un agente autnomo / L. Alonso et al.

373

FIGURA 5 Probabilidad de emisin de la respuesta condicionada

P(R j )t
1,0
adquisicin

0,8
Probabilidad de RC

extincin

0,6

2 horas

5 min

extincin

0,4

0,2

0,0 0 300 600 900 1200

Tiempo (s)

1500

1800

8700

9000

9300

FIGURA 6 Perfil de la probabilidad de emisin de la respuesta condicionada, obtenido con la media de las RC en 10 simulaciones independientes

P R j S tj 0
1,0

Picos de Probabilidad y emisin de RCs (media de 10 agentes independientes)

Probabilidad Media de RCs

20 18 16

0,8

14 12

0,6

adquisicin

extincin extincin

10 8

0,4 6
5 min

0,2

4
2 horas

2 0

0,0 0 5 10 15 20 25 30 35
Presentaciones del EC

374

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

funciones asociativas sino exclusivamente a la activacin del EC. Sin embargo, el conjunto de ensayos de extincin de la fase 3 muestra cmo la funcin inhibitoria se pone en marcha de nuevo (Figura 4), lo cual contribuye junto a la reduccin de la activacin del EC por su serie de presentaciones aisladas a conseguir como efecto emergente una ms rpida extincin (Figuras 5 y 6). Discusin El modelo presentado parece dar cuenta de los fenmenos de adquisicin de condicionamiento clsico, extincin y reextincin mayor y ms rpida de la RC, y tambin de la recuperacin espontnea de dicha respuesta, fenmeno central en el presente trabajo y difcil de reproducir por los modelos formales existentes. En nuestra opinin dos factores han sido determinantes para el resultado obtenido. De una parte, la arquitectura del agente y, de otra, el sistema dinmico de ecuaciones en diferencias que conforma el modelo. La arquitectura del agente permite que ste: a) procese cualquier evento generado por el contexto realizando los clculos de las funciones mencionadas en tiempo real para cada estmulo, de manera que la funcin de activacin se inicializa para cada estmulo nuevo, del que no se tengan datos. b) calcule el nivel de activacin de cualquier estimulo del que se tengan datos, en funcin de su nivel de activacin anterior. c) calcule la asociacin de un E con cualquier otro posterior si ambos tienen un valor de activacin distinto de cero (Atj 0), y ello con independencia de que sea considerado neutro o incondicionado, es decir de su valor de incentivo, lo que permite el condicionamiento de 2 orden. d) calcule la asociacin inhibitoria de un EC si no se calcula una asociacin excitatoria para dicho estmulo con cualquier otro, es decir, si no aparece ningn otro estmulo en el periodo en el que el EC est activado, lo que permite simular la habituacin, la recuperacin espontnea de la RC y una segunda fase de la extincin mas rpida que la primera. e) y genere una estimacin de la RC en funcin tanto de la activacin del EC en el momento en que este se presente, como del grado de asociacin total con el EI en dicho momento. Por su parte, el sistema dinmico de ecuaciones en diferencias implementado en el agente incluye la funcin de activacin de E, que da cuenta de los fenmenos estudiados bajo el epgrafe de habituacin, y las funciones de asociacin excitatoria e inhibitoria que contemplan como una de las variables para su clculo el nivel de activacin de cada estmulo en todo momento. En este sentido, el hecho de generar un sistema inclusivo e integrado de funciones es caracterstico del modelo presentado, al considerar central que un agente que condiciona o asocia, necesariamente tambin habita, razn por la cual ambos procesos han de estar integrados formalmente. En cuanto a la forma sigmoidal de las funciones utilizadas, se corresponden con las de mayor xito en la simulacin de cada uno de los procesos de habituacin y condicionamiento, en el sentido de que son capaces de reproducir el mayor nmero de fenmenos con una razonable simplicidad. La referencia en el caso de la activacin ha sido la funcin desarrollada por Wang (1994) y en el caso del condicionamiento los supuestos tericos que desde Pavlov asumen que en el proceso de extincin se pone en marcha un proceso activo inhibitorio distinto del excitatorio, de menor intensidad que este ltimo pero que se puede representar por una funcin similar (vase por ejemplo Bouton, 1994; Pearce y Hall, 1980; Robbins, 1990; Wagner, 1981).

Recuperacin espontnea de la respuesta condicionada en un agente autnomo / L. Alonso et al.

375

Tras lo logrado en el presente trabajo, varias son las posibles lneas a abordar en el futuro inmediato mediante las funciones construidas. Una de ellas sera probar las hiptesis en torno al papel del contexto en la recuperacin espontnea de la RC, planteadas por Bouton (1993; 2004), Bouton y Nelson (1998), Brooks y Bouton (1993), Rosas y Bouton (1997; 1998). Segn tales hiptesis, la recuperacin de la RC se debera a que la nueva presentacin aislada del EC (la fase 3 del procedimiento arriba presentado), mucho tiempo despus de los ensayos de extincin, ya no se corresponde al mismo contexto de extincin en el que se presentaba la anterior serie de ensayos (fase 2); y en un sentido similar, pequeos cambios en los estmulos del contexto previamente habituados podran alterar la produccin de la RC. La prueba de estas hiptesis exige enfrentar al agente a un contexto en el que se presente de manera continuada una serie de estmulos hasta su habituacin y, posteriormente, con un nuevo estimulo (EC) seguir el procedimiento seguido en el presente trabajo en sus fases de adquisicin, extincin y reextincin de manera que entre la fase 2 y 3, en lugar de esperar un tiempo largo y vaco, se introduzca un nuevo estmulo en el contexto y comprobar si en tal situacin nuestro modelo es capaz de simular el fenmeno de recuperacin sealado por los datos empricos. En todo caso, el potencial verdadero del modelo planteado deber evaluarse cuando con las funciones y parmetros descritos se intente reproducir de modo sistemtico cada uno de los fenmenos del condicionamiento clsico descritos en la literatura con sus diversas variantes y matices (Rosas, 2002 y Bouton, 2004).

Referencias
ALONSO, L., MORENO, R. VAZQUEZ, M. & SANTACREU, J. (en prensa) Simulacin de la funcin de filtro de la habituacin a estmulos. The Spanish Journal of Psychology. BOUTON, M. E. (1993). Context, time, and memory retrieval in the interference paradigms of Pavlovian learning. Psychological Bulletin, 114, 8099. BOUTON, M. E. (1994). Conditioning, remembering, and forgetting. Journal of Experimental Psychology: Animal Behavior Processes, 20, 219231. BOUTON, M. E. (2004) Context and Behavioral Processes in Extinction. Learning & Memory, 11, 485-494 BOUTON, M. E. & NELSON, J. B. (1998). Mechanisms of feature-positive and feature negative discrimination learning in an appetitive conditioning paradigm. En N. A. Schmajuk & P. C. Holland (Eds.), Occasion Setting: Associative Learning and Cognition in Animals (pp. 69-112). Washington, DC: Americal Psychological Association. BROOKS, D. C. & BOUTON, M. E. (1993). A retrieval cue for extinction attenuates spontaneous recovery. Journal of Experimental Psychology: Animal Behavior Processes, 19, 77-89. DEVENPORT, L. D. (1998). Spontaneous recovery without interference: why remembering is adaptive. Animal Learning and Behavior, 26, 172-181. DICKINSON, A. & BURKE, J. (1996). The essentials of conditioning and learning. Pacific Grove: Brooks/Cole Publishing. GODDARD, M. J. (1997). Spontaneous recovery in US extinction. Learning and motivation, 28, 118-128. KLOPF, A. H. (1988). A neuronal model of classical conditioning. Psychobiology, 16 (2), 85-125. KONORSKI, J. (1948). Conditioned reflex and neuron organisation. Cambridge: Cambridge University Press. MACKINTOSH, N. J. (1975). A theory of attention: Variations in the associability of stimuli with reinforcement. Psychological Review, 82, 276-298. MAES, J. H. R. & VOSSEN J. M. H. (2000). Training history affects magnitude of spontaneous recovery from extinction of appetitive conditioned responding. Behavioural Processes, 50, 43-57. PAVLOV, I. P. (1927). Conditioned reflexes. Londres: Oxford University Press. PEARCE, J. M. (1987). A model for stimulus generalization in Pavlovian conditioning. Psychological Review, 94, 61-73. PEARCE, J. M. & HALL, G. (1980). A model for Pavlovian learning: Variations in the effectiveness of conditioned but not of unconditioned stimuli. Psychological Review, 87, 532-552. RESCORLA, R. A. (1979). Conditioned inhibition and extinction. En A. Dickinson & R. A. Boakes (Eds.), Mechanisms of learning and motivation: A memorial volume to Jerzy Konorski (pp. 83110). Hillsdale, NJ: Erlbaum. RESCORLA, R. A. (1997a). Spontaneous recovery after Pavlovian conditioning with multiple outcomes. Animal Learning and Behavior, 25, 99-107. RESCORLA, R. A. (1997b). Spontaneous recovery of instrumental discriminative responding. Animal Learning and Behavior, 25, 485-497. RESCORLA, R. A. & WAGNER, A. R. (1972). A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement. En A. H. Black & W.K. Prokasy (Eds.), Classical conditioning II: Current and research theory (pp. 64-99 ). Hillsdale, NJ: Erlbaum. ROBBINS, S. J. (1990). Mechanisms underlying spontaneous recovery in autoshaping. Journal of Experimental Psychology: Animal Behavior Processes, 16, 235249.

376

Estudios de Psicologa, 2005, 26 (3), pp. 365-376

ROSAS, J. M. (Ed.) (2002). Teoras asociativas del aprendizaje. Jan: Del Lunar. ROSAS, J. M. & BOUTON, M. E. (1996). Spontaneous recovery after extinction of a conditioned taste aversion. Animal Learning and Behavior, 24, 341-348. ROSAS, J. M. & BOUTON, M. E. (1997). Additivity of the effects of retention interval and context change on latent inhibition: Toward resolution of the context forgetting paradox. Journal of Experimental Psychology: Animal Behavior Processes, 23, 283-294. ROSAS, J. M. & BOUTON, M. E. (1998). Context change and retention interval have additive, rather than interactive, effects after taste aversion extinction. Psychonomic Bulletin & Review, 5, 79-83. SANDOZ, J. C. (1998). Apprentissage olfactif chez labeille domestique (Apis mellifera L.): tude comportamentelle et sensorielle. Ph.D. thesis, University of Paris 13. SCHMAJUK, N. A. & DICARLO, J. J. (1992). Stimuli configuration, classical conditioning, and hippocampal function. Psychological Review, 99, 268305. SUTTON, R. S. & BARTO, A. G. (1981). Toward a modern theory of adaptive networks: expectation and prediction. Psychological Review, 88, 135-170. SUTTON, R. S. & BARTO, A. G. (1987). A temporal-difference model of classical conditioning. Proceedings of the ninth conference of the cognitive science society. Seattle, WA: Erlbaum. VAN HAMME, L. J. & WASSERMAN, E. A. (1994). Cue competition in causality judgements: The role of nonpresentation of compound stimulus elements. Learning and Motivation, 25, 127-151. WANG, D. L. (1994). A neural model of synaptic plasticity underlying short-term and long-term habituation. Adaptive Behavior, 2, 111-129. WAGNER, A. R. (1981). SOP: A model of automatic memory processing in animal behavior. En N. E. Spear & R. R. Miller (Eds.), Information processing in animals: Memory mechanisms (pp. 5-47). Hillsdale, NJ: Erlbaum.