Integracion de modalidad cruzada en las Artes temporales'. Dra. Silvia Malbran Universidad Nacional de La Plata Universidad de Buenos Aires Argentina Introduccion La percepcién del mundo es resultado del impacto en nuestra conciencia de informacion proveniente de diferentes fuentes: auditivas, visuales, espaciales, tactiles y motoras. Diversos autores consideran que dicha percepcién mas que una serie de experiencias sensoriales independientes es incorporada como un interuego de impresiones distintas a través de las cuales los componentes sensoriales son sutilmente alterados por una integracién mutua (Stein y Meredith, 1993"; Deneve y Pouget, 2004). En estudios psicofisicos tempranos se comenz6 a prestar atencién a los aspectos referenciales del sonido y a la congruencia cognitiva entre la musica y las imagenes visuales (Lipscomb, 1999). Asi también, por los afios cuarenta, se administré una encuesta concemiente a las relaciones inter-sensoriales: los resultados Permitieron concluir en que la mayoria de los objetos de nuestra vida cotidiana son Percibidos por dos o mas modalidades sensoriales que trabajan en cooperacién (Ryan sit)® ‘Segtin Wood (1998) la investigacién musical frecuentemente ha postulado que el procesamiento de la miisica, como dominio especifico, es un fenémeno puramente auditivo que funciona independientemente de otras modalidades. Sin embargo, actuales tendencias en investigacién han comenzado a desefiar esta presuncién, por Considerar que la musica es una experiencia fisiologicamente mediada y situada que Se presenta con elementos visuales concurrentes que pueden ser relacionados con los sonidos; por ejemplo la actuacién de un director de orquesta, de un conjunto instrumental o de un grupo de rock La cognicién auditiva compromete diversas fuentes de conocimiento en formato de modalidad cruzada: visual, motor, cinética, con alineamientos, | Fiche de estudio original para el curso ® citade por Word (1998)superposiciones y paralelismos entre diversas vias de entrada y componentes puramente auditivos (Bregmann 1990, McAdams, 1984,1993) Las relaciones de comunicacién entre las personas requieren la integracion y coordinacién de estimulos sensoriales receptados por diferentes vias sensitivas. Un caso tipico se produce cuando, en una reunién social muy nuidosa, es diffcultoso entender lo que habla la persona con quien estamos departiendo. En tal situacion el ‘movimiento de los labios es importante ayuda para entender el mensaje del hablante. Este hecho presenta importantes implicaciones para los mecanismos de atencién selectiva que pueden comprometer sinergias espaciales (lazos cross modales) en el procesamiento atencional de informacion cruzada entre modalidades sensoriales Segin diversos autores, estas formas de conjuncién entre las. précticas expresivas son mecanismos multimodales de integracién que obtienen su mayor eficacia cuando logran congruencia de modalidad cruzada (cross modal congruence) y demandan diferentes modos de interaccién sensitiva, basados en la dominancia sensorial de los sentidos. En el desarrollo de la accién tal dominancia fluye entre una forma de arte y otra, reforzandose mutuamente. Los puntos de conjuncién entre acentos temporales de expresiones artisticas diferentes, son entendidos como lazos de conexién cross- modal (links cross modal) a los que se les adjudica gran influencia en la percepcién integral Las expresiones artisticas de conjuncién (teatro/musica, danza/misica, film/musica) cuando obtienen un eficaz arreglo en el tiempo, pasan a integrarse en una nica y nueva fusién; por ello se consideran discursos multimodales. Una entrada de informacién multidimensional (input) genera una salida unidimensional (output) Los investigadores coinciden en sefialar la correspondencia de estas ideas con el efecto McGurk’. En un ilustrativo estudio los autores observaron que si en la escena tuna persona dice la silaba ba y se aparea con un track de sonido que articula la silaba ga para los espectadores el resultado es una conjuncién de ambas entradas de informacién y creen que la silaba que han escuchado es de. La significacién de esto es conceptual: cuando se presenta informacién simulténea proveniente de un estimulo visual y otro auditivo la experiencia deriva en una nueva audiovision considerada 6ptima, ya que se conjuga en un nuevo producto fruto de la asociacion intermodal. A esto los autores lo llaman “captura” Seré captura auditiva” si el estimulo visual eclipsa © comanda al estimulo auditivo y sera captura visual si el estimulo auditivo captura al visual (Me Gurk y Mac Donald, 1976) ‘ cltado por Fogelsanger y Afanador, 2006, * Citado por Fogelsanger y Afanador, 2006,Componentes biolégicos La integracion muitisensorial es la capacidad de combinar informacion Proveniente de diferentes modalidades sensoriales de modo de alcanzar una mas precisa representacion del entomo y del propio cuerpo. Cada modalidad sensorial usa Un diferente formato para codificar las mismas propiedades del ambiente y del cuerpo. Esto es, cada una usa su propio lenguaje y la informacién no puede ser compartida entre modalidades sin recurrir a mecanismos de traduccién de cada lenguaje. Para combinar estas respuestas sensoriales diferentes, el cerebro debe tener en cuenta la Postura y los movimientos del cuerpo en el espacio. Los inputs sensoriales Provenientes de diferentes modalidades, pero originados en un mismo lugar del espacio, pueden influenciarse mutuamente segtin la postura corporal, lo que sugiere la existencia de un tazo de unién y de un mecanismo de traslacién de las representaciones espaciales provenientes de diferentes sistemas sensoriales (Deneve y Pouget. 2004) La posicién de objetos se codifica en diferentes marcos de referencia; los estimulos visuales son representados por neuronas receptadas por la retina, los estimulos auditivos por campos receptivos de la cabeza_y los estimulos tactiles por campos receptivos anclados en la piel. Se ha visto que un cambio en la posicién de los ‘ojos 0 en la postura corporal genera un cambio en la codificacion de los datos visuales / auditivos / téctiles! generando nuevas respuestas neurales diferentes a las registradas antes del cambio de posicién. Para combinar diferentes respuestas sensoriales, el cerebro toma en cuenta la postura y los movimientos del cuerpo en el espacio (Deneve y Pouget, 2004) ‘Seguin Reybrouck (2005), a misica es escuchada y “enactivada" mas que meramente imaginada o representada, Atin en los casos en que no es producida por el sujeto, puede inducir en las personas una suerte de resonancia ideomotora que genera en el auditor una experiencia con el sonido como si hubiera estado comprometido en su produccién. Esto indica que la intencién de la accién es tan movilizadora como el comportamiento manifesto. El autor lo explica como fenémeno endégeno localizado en el sistema nervioso central. Estudios previos muestran que existe en la percepcién un componente motor que hace que las mismas éreas cerebrales que son activadas en la accién sean activadas cuando son solamente imaginadas. Reybrouck (2005) concluye en que si bien no toda percepciin es reducible a componentes motores, los componentes motores estén siempre comprometidos y son parte integral de la percepcién; a la imagen virtual asi conformada en la mente (movimiento imaginado) la denomina simulacién ideomotora.Desarrollos recientes muestran la existencia de neuronas tri-modales (audio- viso- motoras) en la corteza pre-frontal del cortex (Kohler et al. 2000)°, por ello se considera que los diversos mecanismos de integracién multimodal resultan un aspecto crucial de la investigacién sobre neuro- cognicién. Stein y Meredith’ (1993) registraron la presencia de neuronas multi-sensoriales en diversas areas cerebrales, las cuales convergen dentro y a través, de informacion multimodal. Estas éreas responden méximamente a las interacciones de los estimulos a través de mas de una modalidad. Desde esta perspectiva los datos sensoriales multiples no solamente son integrados sino también reseteados, produciendo una amplia transformaci6n que va mucho més allé de la suma de las partes componentes. Olivetti Berardinelli et al.(2004) sefialan que en los ittimos afios un creciente nimero de investigadores han adoptado nuevas técnicas de neuroimagenes para pesquisar conexiones intermodales en las imagenes mentales. Los resultados dan cuenta de un alto grado de interaccién entre las imagenes mentales y otras funciones cognitivas. Componentes psicolégicos La investigacién en Psicologia Cognitiva ha mostrado que el cerebro (de manera involuntaria) reconoce lazos de unién entre informacién presentada por dominios sensoriales complementarios (Wood, 1998). Diversas lineas actuales de investigacién, dan cuenta de que la informacién onjunta proveniente de diferentes canales sensoriales, influencia nuestros juicios interpretativos (Cohen, 2005; Fogelsanger y Afanador,2006), Las diversas formas de integracion sensorial o de modalidad cruzada (cross- modal) potencian la eficacia comunicacional segiin el grado de congruencia entre las diferentes vias expresivas puestas en juego (Vines et al., 2006). Asi también, otros trabajos dan cuenta de que 1a emocién del espectador se incrementa cuando miisica y accién son congruentes en términos de contenido emocional (Cohen, 2001, 2005: Fogelsanger, A. y Afanador, K., 2006; Parke et al. 2007; Forge Thompson et al, 2006). La ejecuci6n musical, el cine, el teatro y la danza comprometen experiencias ‘multi-sensoriales en las cuales los estimulos sonoros y visuales interactian con el tiempo. Todas ellas son consideradas interacciones cross-modales; los procesos mentales subyacentes son de central importancia para nuestra comprensién de las Telaciones entre los sentidos, la organizacién perceptual y el modo en el cual las Tepresentaciones del mundo son configuradas (Vines et al. 2006) * Citado por Olivetti Berardinelli et al Citado por WoodLa conjuncién entre musica /sonido y accién, es caracteristica de diversas culturas (Cross, 1999); en tal sentido se ha visto que la mayor congruencia es en el campo de las artes temporales. Una de las formas privilegiadas de acuerdo entre dominios, es cuando comparten patrones de acentos temporales. Seguin Sloboda (1985) los espectadores en base a los principios de la Gestalt, tienden a construir asociaciones entre percepciones coincidentes en el tiempo. Un anélisis comparado de actuaciones en diferentes expresiones artisticas muestra que las artes temporales comparten formas de “diccién’ organizadas en patrones regulares; por ello es que los espectadores emiten juicios que atinan percepciones de la accién y de la misica, Es frecuente escuchar comentarios tales como ‘la escena es tan lenta como la misica de fondo’, “en el video-clip las sucesivas tomas van con la miisica, y por eso resultan tan rdpidas” “la musica es la que impone los cambios bruscos de velocidad de los bailarines". En todos estos casos se esté aludiendo al apareamiento temporal entre los niveles temporales de la musica y los de la accién (Mitchel y Gallear,2001; Hodgins 1992)° Desde la perspectiva psicolégica el espectador recibe del cine una multisensorial estimulacién, en la que a través de la narrativa visual puede relacionar su historia personal y explorar nuevas experiencias, entre otras. Las investigaciones han mostrado que los espectadores utiizan esquemas pre-existentes los aplican al film y crean nuevos esquemas coincidentes con la temética flmada (Cohen,2005) Integracién cross modal: musica y artes del espectaculo En las artes del espectéculo dramatico varios experimentos han mostrado que la inteligibiidad del lenguaje se incrementa significativamente cuando la cara del que habla es vista en lugar de ser solamente escuchada, ya que los movimientos del cuerpo ponen en evidencia variedad de actitudes e ilustran diversos estados mentales (Vines et al. 2006) ‘Seguin Laurienti et al. (2004) la congruencia entre semantica y actuacién es un factor critico en las performances de integracion multi-sensorial; esta afirmacion Sugiere el rol del lenguaje “corporizado” en la comprensién de la actuacién teatral y filmica, Boltz (2001) observé que los juicios de los espectadores de acciones dramaticas variaban segiin las caracteristicas de la miisica. A los sujetos participantes del estudio se les mostré una escena en la cual un hombre seguia a una mujer por la ciudad. Cuando la misica elegida resultaba dramética, tal accién fue interpretada * Citados por Fogelsanger y Afanador‘como peligro de muerte; la misma escena acompafiada por musica romantica, fue interpretada con valencia altamente positiva. Esto confirma que la misica actiia como un esquema, como marco interpretativo y como vinculo emocional en el Procesamiento de estimulos visuales. Asi también que contribuye a otorgar significacién a escenas ambiguas, mantener el estado de alerta y atencional, conceder sentido a diversos roles sociales y que acta como un valioso predictor en avance de la trama (Boltz 2001) Vines, et al (2005) consideran que acciones tales como mover la cabeza, levantar las cejas y otros gestos posturales frecuentes en la escena , cuando convergen temporalmente con la musica, comparten un significativo monto de informacién y por ello actiian como disparadores que refuerzan anticipan o aumentan la sefial auditiva, Los autores los consideran gestos para-ingUisticos. El aporte del sonido y la misica a la trama filmica no necesita ser justficado; basta con reflexionar sobre el giro comunicacional_y emocional que significé a aparicién del cine sonoro, Por ello en el caso de la unién entre misica y film se ponen ‘en juego principios que proceden de los datos a la estructura (bottom up), basados en el agrupamiento perceptual visual y auditive (Cohen, 2001, Lerdahl y Jackendoff, 1983). La congruencia film- musica ha sido ampliamente desarrollada por el compositor y cineasta francés Michel Chion (1990), creador de la “Audiovision* que presenté la nueva disciplina con su acertada frase “no se «ve» lo mismo cuando se oye; no se «ayer lo mismo cuando se ve". Cohen (2001) acuerda con Cook (1998) en que la musica es un modo de expresi6n poderoso para representar un sentimiento tan abstracto como el de la ‘emocién; concomitantemente la pantalla resulta igualmente poderosa para representar el objeto al cual la emocién es dirigida. La autora ha creado un modelo de “congruencia asociativa’. Para ella, la misica de film como forma de transmision de la cuttur sirve a la funcién narrativa y se codifica en un canal de procesamiento bidimensional dado que la musica del film aparea y retne la informacién visual y emocional Diversos autores han utllizado analogias entre musica y discurso verbal, para obtener informacién sobre sus interrelaciones, Malbrén (2008) en un test con un grupo de misicos, examiné las analogias entre fragmentos musicales y escenas Fespecto de textos escritos en forma dialogal y adjetivos calificativos. Comprobé correlacién positiva y significativa entre ambas dimensiones, tanto para el apareamiento estructural como en el tono emocional. Las conclusiones resultan coincidentes con las de otros trabajos previos (Krunhansl 1996; Krumhans| y Schenk, 1997): tanto en la versién sélo visual como en la versién sélo auditiva, los participantesIntegracion cross modal: Masica y danza / expresi6n corporal La danza en conjuncién con la misica presenta una larga historia a través de las diversas culturas del mundo; su potencial aporte como forma de cohesion social, entretenimiento e identidad cultural forma parte de la historia de la danza. Un trabajo de Fogelsanger y Afanador (2006) consistié en un estudio conjunto realizado por los autores (uno es coredgrafo y otro compositor). Analizaron diversas caracteristicas de la integracion musica y danza. Segiin los autores el atributo relevante es la congruencia entendida como el ajustado apareado entre la sucesién de eventos de la miisica y los de la coreografia. Por ello consignan una lista de paralelos tales como: i) apareamiento entre el pulso o el ritmo de la miisica y el del movimiento; ii) alineamiento de otros aspectos temporales estructurales que no son el pulso; ii) cualidades cross modales analogas; iv) otros referentes complementarios. Diversos trabajos han estudiado la manera en que la danza_y el movimiento corporal pueden reflejar las propiedades estructurales y expresivas de la musica (Krumhanst y Schenck, 1997). Estos autores consideran .que la congruencia cross ‘modal favorece la percepcién de similitudes y alineamientos entre las dos modalidades (danza y mdsica). En un experimento mostraron que la integracién auditiva y visual de una actuacién de ballet, si comparten informacién estructural y contenido emocional, generan en el espectador respuestas ‘fundidas" basadas en la conjuncién masica - movimiento. Los resultados del trabajo empirico mostraron que los participantes aparearon la segmentacién del fraseo con el componente visual, lo que induciria a Pensar que utiizaron un alto nivel de procesamiento perceptivo de los patrones de movimiento. Por ello los autores sefialan como factor de peso la correspondencia ‘temporal entre los eventos musicales y el movimiento del cuerpo, como asi también la correlacién entre contorno del movimiento corporal y contomo del fraseo. El estudio ermitié observar que la conjuncién intersensorial aporta a la emocién, indexada por latension y_clarifica la estructura, indexada por el fraseo. ‘Seguin Reybrouck (2005), la experiencia musical es multifacética y asume ‘como paradigma epistemolégico clave la adopcién de una vision procesual de la relacién entre la misica, el cuerpo y la cognicién experiencial. Para ello propone un modelo adaptative general de base biolégica y cognitiva como modo de atender conjuntamente al cuerpo, la mente y la misica. Considera que su modelo se aproxima a las teorias que entienden a la cognicién como una actividad estructurada por el cuerpo, en un entomo de naturaleza biolégica, psicolégica y cultural (Lakoff y Johnson, 1899). El autor propone una hipétesis corporizada que describe a la Percepcion como accién guiada por los sentidos y considera a los procesos sensoriales y motores como estructurados, inseparables y_mutuamente informativos.coinciden en la dimension estructural de las ideas intemas del discurso. La entrada unimodal (versiones s6lo auditiva 0 sélo visual) se interconectan con una entrada multisensorial (la versién integral) Esta entrada mapea todos los inputs sensoriales en un marco comin de referencia. Tal comprobacién en el trabajo de Krumhansl y Schenk (1997) fue analizada con la lectura de imagenes cerebrales acerca de las zonas neurales activadas. Esto les ha permitido comprobar la existencia de un érea cerebral multisensorial infiuenciada por entradas unimodales. Los paralelismos entre estructura y sintaxis de los lenguajes expresivos, también han sido sefialados por Meyer (1956,2001) que distingue entre actividad contrapuntistica y simultaneidades jerdrquicas, esto es, atender a la diferencia entre coincidencias punto a punto (punctus contra punctus) y entre las coincidencia entre grandes mojones de las estructuras de cada discurso. Deneve y Pouget. (2004) aseveran que la integracién muttisensorial extiende ‘sus beneficios a otros comportamientos tales como profundidad en la percepcion, discriminacion en la accién, comprensién del lenguaje € identificacién del objeto, asuntos que soportan la concepcién de una teoria general de la percepcién. Un elemento a considerar es el que se vincula con la musica como movimiento Virtual: es frecuente que cuando los sonidos aumentan en la frecuencia de vibracion (cualidad perceptiva de altura del sonido) las personas tienden a realizar movimientos ascendentes y viceversa. Asimismo que el aumento de sonoridad (crescendo) deriva en una analogia de ampliacién de! movimiento y viceversa, 0 que un aumento en la frecuencia temporal (aocelerando) sea corespondido como incremento en la velocidad de desplazamiento. Para Fogelsanger y Afanador, (2006) congruencia, captura y movimiento virtual son los tres atributos claves de la relacion misica y danza, Se ha visto que los principios de integracién y congruencia estructural son coadyuvantes para la interpretaci6n de la trama. El éxito de la integracién entre misica e historia narrada_es dependiente de la congruencia en el cruzamiento de ambas narrativas (Cohen,2005)Esto permite a las personas explorar el ambiente con el cuerpo y los sentidos, en un ir ¥ venir de entradas multisensoriales y experiencias corporales. Elaborados mecanismos de retroalimentacién (feedback) se han observado entre el aparato sensorial, el aparato motor e informacion temporal apareada con imagenes motoras (Toda, 1999). El rasgo dominante del siglo XXI es el cambio de paradigma en el estilo de comunicacién entre las personas. Los recitales, las presentaciones académicas, las Propuestas politicas, los avances de discos compactos de grupos juveniles, son presentados con recursos multimedia. Esto es, son todas manifestaciones cross- modales. La pedagogia tiene la palabra REFERENCIAS Boltz, M. (2001). Musical soundtracks as a schematic influence on the cognitive processing of filmed events, Music Perception, 18, 427-455 CChion, M. (1990/ 1993). La Audiovision. Introduccién a un anélisis conjunto de la imagen y el sonido, tera ed. en espanol. Paris: Ediciones Nathan Cross, | (1999). Music, Cognition, Culture and Evolution. Annals of the New York ‘Academy of Sciences, $30. (pp. 28-42) Cohen, Annabel. ( 2000), Musicology Alone. Review of Analysing Musical Multimedia, by Nicholas Cook (Oxford University Press). Music Perception 17: Cohen, Annabel. ( 2001), Music as source of emotion in film. En P. Juslin y J. Sloboda: Music and Emotion. Theory and Research. Oxtord: UP Cohen, Annabel J, (2005) How Music Influences Film and Video: Approaches from Experimental Psychology’. En Kendall, Roger A.. & Savage, Roger W. H.,(eds) Perspectives in Systematic Musicology .California: UP Deneuve, S. y Pouget, A. (2004). Bayesian multisensory integration and cross-modal spatial links. Elsevier. Journal of Phisiology. Paris Fogelsanger, A. y Afanador, K. (2006), Parameters of Perception: Audition, and Twentieth Century Music and dance, Congress on Research in Dance. Tempe: ‘Arizona, Forde Thompson W,Russo F. y Quinto L. (2006). Preattentive integration of visual and auditory dimensions of music. 2” International Conference on Music and Gesture. Manchester Laurienti, Pu, Kraft, R, Maldjan J Burdette, H.,& Wallace, M. T. (2004). Semantic congruence is a critical factor in multisensory behavioral performance. Exp. Brain Res. 158. 2004 Lerdahl, F.y Jackendoff, R. (1969/2003). La Gramatica Generativa de la Musica Tonal Madrid: AKAL, Lipscomb, S. (1999). Cross_modal integration: Synchronization of auditory and visual ‘components in simple and complex media Journal of the Acoustical Society of ‘America 105.ssue 2. Malbran, S. (2008). El cruce de modalidades perceptivas. Un estudio sobre misica y actuacién, Primer Congreso internacional. Artes en cruce: Probleméticas tedricas actuales Buenos Aires: Universidad de Buenos AiresMeyer, L. (1956/2001). Emocion y el significado en la musica Mitchel, R. y Gallear, M. (2001). Emboding Music: matching and dance in Memory. Music Perception 19.1. 65-85 Olivet Berardinelli M., Di Matteo R..Del Gratta, C., De Nicola,A, Ferret, A,Tartaro, A,Bonomo,L,y Romani, G.L. (2004) Intermodal’ sensory image generation:An {MRI analysis. The European Journal of Cognitive Psychollogy: Vol.16, Nro. 5 Parke, R., Chew, E. y Kyriakakis, C. (2007). Multiple Regression Modeling of the Emotional Content of Film and Music. 123" Convention in Audio Engineering, Reybrouck, M. (2005). Body, mind and music: musical semantics between experiential cognition and cogritive economy. Transcultural Music Review. 8 Sloboda, J. (1985). The Musical Mind: The Cognitive Psychology of Music. Oxford: Oxford UP. i Vines, 8.,Krumhans! C., Wanderley, M. y Levitin, D. (2006). Cross-modal interactions in the perception of musical performance, Cognition, 101, 80-113. West, R, Howell y Cross,l. (1985). Modeling perceived musical structure. En P. Howell, | Cross y R West (Eds.) Musical structure and Cognition. London: AP Wood,A, (1998). Intersensory segregation: an investigation into the effects of concurrently presented visual material on subject's ability to memorise the rhythm of short melodies. Christ's College. Cambridge. www./Imus.cam.ac.uk!~ic108/pandP/Wood98/Wood98. htm Reouperado el 28/08/2008 Sid Caesar y Nanette Fabray (ca 1952, ****)’Argument to Beethoven's Sth". Programa "Your Show of Shows" USA. (fim)