ALED 6, Santiago, Chile, septiembre de 2005, p.

1

¿A QUÉ LE LLAMAMOS DISCURSO EN UNA PERSPECTIVA MULTIMODAL? LOS DESAFÍOS DE UNA NUEVA SEMIÓTICA.

WILLIAMSON, Rodney Universidad de Ottawa rwilliamson_ca@yahoo.com

“Todos los textos son multimodales” afirman Gunther Kress y Theo van Leeuwen en 1998, iniciando una línea de reflexión teórica que los llevará a plantear nuevas perspectivas sobre texto, lectura y competencia comunicativa, estableciendo los fundamentos de una nueva semiótica que pone en tela de juicio la primacía de la expresión verbal. El cambio teórico es desde “una teoría que sólo dio cuenta del lenguaje hacia una teoría que pueda dar cuenta de la gestualidad, el habla, las imágenes, la escritura, objetos tridimensionales, colores, música, entre otros modos de expresión” (Kress 2003). Desde 1996 y el renovado interés por la lectura de imágenes y mensajes visuales con la publicación de obras como Reading images de Kress & van Leeuwen, ha ido creciendo el interés por leer mensajes, ya no en función de códigos discretos para cada vía de comunicación (verbal o visual o auditiva) sino de las conexiones e intersecciones que se dan entre estas varias vías o modos de comunicación. Esta preocupación por la intersección, sobre todo, de elementos verbales y visuales en los mensajes ha cundido en cuatro o cinco distintas corrientes de teoría multimodal a través del mundo. Entre otras, cabe mencionar las iniciativas de Bunt, Beun, Granström y Allwood en el norte de Europa, la colaboración de cuatro universidades italianas en el proyecto de Anthony Baldry con el apoyo de Paul Thibault, el constante interés por la multimodalidad en Australia (en relación, sobre todo, con la lingüística sistémica funcional de Halliday), y las investigaciones multimodales de la conversación en Estados Unidos por Charles Goodwin y Sigrid Norris. Pero es a la corriente británica (Kress, van Leeuwen, Jewitt) que queremos referirnos ahora, por un importante modelo de estratos formulado por Kress & van Leeuwen 2001 que nos servirá de guía en nuestras reflexiones presentes (Fig. 1)

DISCURSO formas de conocimiento socialmente “situadas”(¿quién, qué, dónde, cuándo, cómo?) + evaluaciones, propósitos, interpretaciones, legitimaciones DISEÑO conceptualización de la forma del producto semiótico Se diseña: 1) una configuración de discursos 2) una determinada (inter)acción 3) una determinada combinación de modos PRODUCCIÓN

1 Estratos analíticos de Kress & van Leeuwen (2001) Un aspecto básico de la semiótica de Kress & van Leeuwen es su insistencia en los recursos semióticos ( a diferencia de los códigos) de los que dispone el emisor de un mensaje. apropiado para la situación. Pero el estudio de diseños en sí no basta para apreciar la naturaleza de los actos comunicativos. el emisor se forma una idea de lo que quiere comunicar y lo hace gracias a los discursos a su disposición.” . El diseño es un concepto complejo que tiene un lado ideativo (social y conceptual) y un lado material: El diseño se encuentra a medio camino entre el contenido y la expresión. como una configuración particular de discursos y modos. puede proceder luego a integrar sus discursos en un acto comunicativo gracias a un diseño particular. sea como producto final DISTRIBUCIÓN ‘recodificación’ técnica del producto para fines de grabación o difusión Fig. La naturaleza histórica y evolutiva de los discursos se aprecia viéndolos como parte de un proceso de difusión a partir de un emisor o emisores hacia uno o varios 1 Traducción nuestra del texto original: “Design stands midway between content and expression. desde su concepción hasta las condiciones materiales y técnicas de su distribución.1 Por un lado. (Kress & van Leeuwen 2001:5). El análisis de los procesos de producción y de distribución (o difusión) del mensaje nos ayuda a apreciar éste en su materialidad y su sentido real. busca en su contexto inmediato los medios físicos y técnicos que puede aprovechar como vías de expresión de su mensaje. in all semiotic modes and combinations of semiotic modes. Es el lado conceptual de la expresión y el lado expresivo de la concepción. la teoría multimodal nos propone un enfoque sobre el discurso en el que éste no se ve como un objeto de estudio aislado. La teoría multimodal nos habla de discursos en plural porque su única existencia real es a través de actos de comunicación. El diseño. Designs are means to realise discourses in the context of a given communication situation. Los diseños tienen la finalidad de realizar discursos en el contexto de una situación comunicativa determinada. Sabiendo el emisor qué discursos quiere utilizar. and the expression side of conception. En otras palabras. en todos los modos semióticos y combinaciones de modos semióticos. Designs are (uses of) semiotic resources. sino como parte de un proceso.2 articulación material del diseño sea como prototipo. El primero de estos recursos es el acceso a determinado discurso o serie de discursos (entendiendo discursos a la manera de Michel Foucault como saberes socialmente construidos: “socially constructed knowledges of some aspect of reality” (van Leeuwen 2005:94). Los diseños son (usos de) recursos semióticos. por otro lado. y mucho menos su significación social. Foucault nos enseña que el discurso es una construcción social. pero la significación social del discurso sólo se puede apreciar enfocando todo el proceso comunicativo. es el objeto central del estudio multimodal. Un medio explotado conscientemente para fines comunicativos se llama modo. It is the conceptual side of expression. en los que cada discurso entra en combinación con otros.

La monomodalidad delata una tendencia hacia la especialización. vemos una cadena de palabras que sale de la boca del ángel Gabriel y que se dirige hacia el oído de María. y coincide esencialmente con un enfoque que. de los recursos técnicos a la disposición del emisor. la Anunciación. es decir. podemos concluir que un discurso tiene una presencia en el tiempo y el espacio: por una parte. Podemos ilustrar el hecho a través de un género artístico pictórico. Representación natural y valor icónico se funden en una sola categoría.3 públicos. la ejecución de un género por profesionales. a través de determinadas situaciones comunicativas. o asimilando sus funciones) y esto siempre refleja o tiene como consecuencia el uso de determinados recursos técnicos de producción o distribución. A partir del modelo esbozado. El arte eclesiástico o monástico emplea elementos tanto pictóricos como verbales. con fines didácticos. Lo anterior parece obvio. Los iconos del ramo y del florero con lirios se incluyen por sus valores simbólicos asociados con Gabriel y María. determinados sitios y tiempos.2). Pero ya fuera del ambiente monástico en el que vive Fra Angélico. gracias a los otros discursos con los que entra en contacto y se combina. gracias al conjunto de modos disponibles para su expresión. Por ejemplo.4). cromatismo). diferentes períodos de la historia cultural han sido marcados por un carácter relativamente multimodal (una serie de modos con funciones diferenciadas contribuyen a la construcción de un todo) o monomodal (predomina un modo relegando otros a un nivel secundario o imperceptible. Norman Fairclough puso en práctica hace décadas. Fig. El pintor de carrera debe ahora poder expresarlo todo por modos pictóricos (formas. La misma cadena de habla que sale de la boca del ángel se ve un siglo más tarde en el cuadro de Fra Angélico (1432. En el cuadro de Simone Martini (1333. respectivamente. Pero en términos multimodales. Las escuelas de arte. Fig 3). Fig. arquitectura y escultura del Renacimiento van dando lugar a una práctica artística más profesional. por otra. entre otros. todo va cambiando. los elementos verbales desaparecen. Un ejemplo es el paso de la Edad Media tardía (notablemente multimodal) hacia el Renacimiento (monomodal). . El resultado del proceso se aprecia en el cuadro de Francesco Salviati (1534. tiene consecuencias no tan obvias. El primer factor es sobre todo una cuestión de técnica.

5 Libro de horas. 4 Anunciación. suntuosamente ilustrados siguiendo la tradición de los manuscritos iluminados de la Edad Media (Fig. 1333 1432 Fig. Fra Angelico. 3 Anunciación. .5). Francesco Salviati. Los primeros libros impresos por Gutenberg. Flandes.4 Fig. Simone Martini.6). La evolución del libro representa un caso paralelo. 2 Anunciación. 1534 siglo XV Fig. Fig. Todos hemos admirado en museos los libros de horas de los siglos 14 y 15. Caxton y otros se destacan por sus finos grabados e ilustraciones (Fig.

8). Fig.7 Dos portadas de ediciones del siglo XVI. . 7). de Gabrieli y Galileo Y el proceso llega a su apogeo en los siglos 18-19 (Fig.5 Fig. Ilustraciones de la primera edición de Los cuentos de Canterbury de Chaucer (Caxton) Pero la re-organización de la página en términos de una coherencia puramente verbal comienza a aflorar desde el siglo 16 (Fig. 6.

se puede ilustrar con el siguiente fragmento de un poema de Dante Gabriel Rossetti. 8 Portadas de ediciones de Newton (1730) y de Jane Austen (1811) Aquí triunfa el poder de la palabra escrita. típico exponente del arte victoriano en Inglaterra (Fig. Fig. el predominio y el poder de la escritura.9 Fragmento del poema “The blessed damozel” de Dante Gabriel Rossetti (1870) ..9). El grado de integración de otros modos de comunicación al arte verbal.6 Fig.

se ha producido (según Kress & van Leeuwen 2001) en el paso del siglo 19 hacia el 20. sino comercial: se trata de logotipos. Ahora las cosas han cambiado. esta vez no con significado filosófico o sagrado.7 En el marco de la escritura poética se inserta el lenguaje hablado en forma de una conversación. una serie de modos de expresión pertenecientes a la situación comunicativa material se subsumen en la expresión escrita: el yo “ve” la sonrisa de la damisela (modo visual) y “oye” su llanto (modo sonoro). de una manera que hoy día sería muy poco habitual. textos-imágenes de marcas registradas. Y así como la invención de la imprenta resaltó la importancia de la letra impresa. las expresiones de la cara. 10 Siglo XIX: portadas de un libro de cocina y de una novela de amor (romance) Probablemente no. porque el proceso inverso. ¿El lector del siglo 21 compraría un libro de cocina o una novela de Corín Tellado con una presentación al estilo de las portadas de la Figura 10? Fig. Poco importa que se trate de una conversación más imaginada que real. Vuelven a aparecer los iconos. se representan a través del yo poético. el paso de la monomodalidad a la multimodalidad. las nuevas técnicas electrónicas. ahora vuelven a dar prominencia a la imagen. Los tonos de la voz. audiencia real de la escena. las posturas del cuerpo. quien actúa como observador. entre la damisela y los ángeles. . etc. De esta manera. Comentaremos luego más ejemplos de tendencias contemporáneas en el manejo de modos visuales. con las que los contenidos y formatos visuales se pueden manejar y difundir con enorme facilidad.

junto con el discurso poético descriptivo (arte verbal escrito) y el habla de la protagonista. El discurso científico que está en juego en el texto citado es el discurso médico. que puede dar lugar a un mensaje bifurcado. Pero hay casos que se pueden calificar de siniestros. y el mensaje propagandístico militar se combina con un género que acostumbramos ver en el cine. generados tanto por la enorme rapidez con la que géneros discursivos y diseños se transforman en el contexto contemporáneo. De hecho. como si se estuviera promocionando en este caso una película de acción. por ejemplo). éste es un anuncio no del ejército en sí. Este tipo de hibridaciones en nuestros medios contemporáneos. los sitúa en el siglo 19 en Inglaterra. quizá. no sólo a través de la serie de modos que en determinado momento sirven para expresarlo. los avances de estrenos de películas. como por la flexibilidad de los medios empleados. se encuentran en cualquier sociedad en cualquier época. que parecen coherentes debido a un hábil manejo de recursos multimodales. Los “expertos” en este caso son tanto los estilistas del pelo y los “artistas” de la cosmética. diferente para cada tipo distinto de audiencia contemplado. a casos discursivos más problemáticos. sino del videojuego que han confeccionado para “informar” al joven de catorce o quince años. El tono de consejo reconfortante del médico paternal se funde con las exhortaciones del discurso comercial y los “tips” de los expertos en estética corporal. Combina escenas realistas (como si fueran de noticiero) con otras de realidad virtual propias de los videojuegos. Cuando la combinación de discursos se realiza en el contexto de una fusión de géneros discursivos. finalmente. y en la tradición de la balada romántica. El emplear el mismo texto para comunicar mensajes diferentes a distintos públicos es una práctica establecida en muchos escenarios comunicativos en el mundo moderno (en escenarios políticos. El ejemplo del poema de Rossetti nos pone en escena un discurso amoroso y otro religioso que. sino también a través de su combinación con otros discursos. sobre la vida militar.8 Habíamos apuntado antes que el discurso revela su carácter histórico. se caracteriza por propagar mensajes dobles. . individualmente y como tales. Pero su particular combinación. potencial recluta futuro. El siguiente ejemplo es un video promocional del ejército estadounidense (por razones prácticas no nos es posible reproducir el video digital aquí). 11). como científicos del laboratorio Pantene y médicos. La intersección del discurso científico con el comercial es una técnica establecida para vendernos productos apelando a la autoridad de “expertos”. combinaciones discursivas disparejas. que señalamos como un problema para el análisis crítico del discurso. Más familiar. y no el ejército. nos resulta hoy día la combinación discursiva del anuncio del champú Pantene (Fig. Pasemos. se produce un caso de verdadera hibridación discursiva.

Click on the experts below to see what they have to say about taking care of your beautiful self this summer! Fig. With a good sun protection cream and a little bit of common sense we can all shine like a goddess this summer. but they are also a boundless source of physical & psychological benefits.9 We're all aware the sun's rays can be harmful. 11 Página web de Pantene .

objeto tridimensional con cara delantera y trasera. por ejemplo. pero potencialmente combinables por su carga de tiempo y espacio. De la misma manera que en los medios se ven casos de fusiones discursivas particularmente modernas. 14) que me fue proporcionado por mi alumna doctoral Karla Zúñiga. La superposición de modos.10 Vivimos en un mundo de constantes transformaciones de discursos visuales. objeto visual. pero que tiene un evidente potencial multimodal. vemos como la estructura narrativa se propone como una especie de plantilla que el usuario puede llenar de manera individual. las letras del lenguaje escrito se explotan en su plena potencialidad visual. en gran parte porque las nuevas tecnologías electrónicas e informáticas nos ofrecen un potencial nunca antes visto para el manejo de los modos visuales. Los medios contemporáneos también transforman las estructuras discursivas. Fig. también se producen casos de fusión de distintos modos de expresión. en una especie de ventana para visualizar otros objetos y referentes. no palabras ni frases sino imágenes a primera vista disparejas. 12). es un rasgo de los nuevos contextos de comunicación electrónica en el mundo moderno. creando efectos de aparente instantaneidad o simultaneidad en el tiempo. En los mensajes publicitarios. enhilando en este caso. formas. un espacio cromático. En un ejemplo interesante del sitio web de la revista Vogue (Fig. 13 Anuncio de la marca En la Figura 13. Un caso es la narración. De esta manera. una letra o morfema se puede convertir en icono. como en un ejemplo de la marca X (Fig. empleando la técnica de “collage” electrónico tan frecuente en Internet. que acostumbramos concebir en términos verbales. ¿OXOXO es una palabra o un conjunto de iconos (incluyendo el icono del corazón)? Se trata de un recurso lingüístico o de un objeto visual? Sólo un cuidadoso análisis multimodal nos puede ayudar a comprender casos de modos fusionados o superpuestos. pero haciendo clic en este vínculo sólo se llega a una serie de pantallas llamadas “style notes” (apuntes de estilo) con diferentes imágenes y textos . 12 Anuncio de la marca X OXOXO Fig. etcétera. El sitio de la revista Vogue invita a sus lectoras a conocer la “historia completa” (“the whole story”). estructuras en el espacio virtual.

La historia completa sólo la conocerán las lectoras de Vogue a través de las construcciones que ellas mismas hacen. los ejemplos de la historia pasada son útiles para comprender la historia de actos comunicativos “actuales” o recientes. 14 Página web de la revista Vogue Conclusiones Para resumir lo que podemos aprender de este veloz recorrido de ejemplos: 1) la teoría multimodal plantea el discurso como una realidad cambiante. La intención es que cada lectora o usuaria formule su propia historia de estilo. 3) para comprender la naturaleza de los discursos. 4) los aportes de la teoría multimodal son esenciales para un análisis verdaderamente crítico del discurso. 2) los detalles materiales y técnicos de la producción y distribución de discursos cobran una nueva y especial importancia. . a través de una temática. histórica. evolutiva. Fig. temporalidad y topografía vagamente trazadas (en forma de “apuntes”). que sólo se puede captar a través de un diseño y un contexto comunicativo. El papel creativo del receptor es cada vez más importante en el sofisticado manejo de múltiples modos en la comunicación contemporánea.11 breves. hay que examinar las audiencias que los reciben. En esto.

Multimodal literacy. Rick.York: Peter Lang. Campobasso: Palladino Editore. Björn. Kress. Londres: Routledge.) Multimodality and multimediality in the distance learning age. Front pages: (The critical) analysis of newspaper layout. Cooperative multimodal communication. Kress. Literacy in the new media age. 2000. The modes and media of contemporary communication. Berlin: Springer Granström. Paul. Kress. 2003. Gunther & Theo van Leeuwen.). Multimodality in language and speech systems. Approaches to media discourse. Kress. Theo 2005. Dordrecht: Kluwer Iedema. 2003. Oxford: Blackwell. Harry & Robbert-Jan Beun (eds. Jewitt. 2002. “The multimodal transcription of a television advertisement” en: Anthony Baldry (ed.). Gunther. 2001. David House & Inger Karlsson (eds.12 Referencias Bunt. Reading images. Gunther & Theo van Leeuwen. 2001. Thibault. Londres: Routledge. “Analyzing film and television” en T.) 2001. van Leeuwen. van Leeuwen & C. Multimodal discourse. 1996. Londres: Arnold. . Carey & Gunther Kress. Londres: Routledge.) Handbook of visual analysis. Gunther & Theo van Leeuwen. N. Jewitt (eds. En: Allan Bell & Peter Garrett (eds. Introducing social semiotics. 1998. Londres: Sage.

Sign up to vote on this title
UsefulNot useful