14/01/24

Semiótica TCAV TCM

M. Adriana Baptista
Tipos de Imagem
Opacas: exteriorizáveis apenas por códigos
Semiótica mentais arbitrários
(visuais, auditivas, gustativas, tácteis, olfativas)
Sensoriais e dependentes do orgão da visão,
percetuais
L. Multimédia 2023-2024 experienciais: retina
Interpretáveis, emotivas, criadas pela retórica
Imagem verbal verbal
(metáfora, imagem, alegoria, ...)
Fidedignas, distorcidas: produto de ações
Imagem ótica técnicas de captação (espelho, projeção,...)
Adriana Baptista ESMAD/PPorto Fidedignas, distorcidas: produto de ações
Imagem gráfica técnicas de produção, icónicas, simbólicas, alvo
de ação retórica

Imagem digital XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Adaptado de. W.T. Mitchel in What is anImage?

1 2

Tipos de Elementos significativos

Termos sinal índice ícone símbolo signo alegoria

Traços pertinentes

1. Representação —
... +
2. Analogia —
Comigo me desavim
Sou posto em todo o perigo.
Comigo me entendi
Fugi de todo o perigo. +
Não posso viver comigo Já posso viver comigo
3. Imediatidade —
Nem posso fugir de mim. E posso fugir de mim.
+
Sá de Miranda
4. Adequação —
+
5. Existencialidade —
Adaptado de R. Barthes, Elementos de Semiologia

3 4

1
 14/01/24

Her Morning Elegance Sun been down for days

Oren Lavie A winter melody she plays
https://www.youtube.com/watch?v=2_HXUhShhmY The thunder makes her contemplate
She hears a noise behind the gate
Perhaps a letter with a dove
Sun been down for days Perhaps a stranger she could love
A pretty flower in a vase
A slipper by the fireplace And she fights for her life http://boca.pt/boca-junior.html
as she puts on her coat
A cello lying in its case
And she fights for her life on the train
She looks at the rain BOCA JUNIOR
Soon she's down the stairs as it pours
Her morning elegance she wears
The sound of water makes her dream
And she fights for her life
as she goes in a store • A Alegria de Gostar
with a thought she has caught
Awoken by a cloud of steam by a thread
She pours a daydream in a cup she pays for the bread
A spoon of sugar sweetens up and she goes…
Nobody knows Jairo Anibal Neto
And she fights for her life
And she fights for her life
as she puts on her coat as she puts on her coat
And she fights for her life on the train And she fights for her life on the train
She looks at the rain as it pours She looks at the rain
And she fights for her life as it pours
And she fights for her life
as she goes in a store
as she goes in a store
with a thought she has caught where the people are pleasantly
by a thread strange
she pays for the bread and counting the
and she goes… change
as she goes…
Nobody knows Nobody knows

5 6

Agência alemã Jung von Matt, onde é patente a intertextualidade com a fotografia dos trabalhadores almoçando durante a construção
do edifício da General Electrics (registada em 1932 por Charles C. Ebbets

7 8

2
 14/01/24

Tipos de Mensagem A transmissão verbal e visual da informação

(Cf. J. Doblin 1985) (Cf. J. Doblin 1985)

Verbal Visual Numérica

Nominal lexical ideogramática numérica
Mensagens Informação relativa a
nomes ou termos que
nomes marcas números

servem a identificação ou
a classificação

Numenal lógica diagramática matemática

alfanuméricas iconográficas Informação concebida tabelas e gráficos
teorias fórmulas
pela razão, mas que não
pode ser percepcionada
pelos sentidos

verbais numéricas visuais Fenomenal prosaico isogramática aritmética

Informação conhecida descrições esquemas e mapas medidas
pela experiência mais do
desenhos e fotografias
que pelo pensamento ou
pela intuição

9 10

Processamento visual
tipos de informação visual
+Abstracto - organiza-se por fixações e sacadas (progressivas e
marcas Registo, substitui o nome
marcas regressivas)
Tabelas e Gere muita inf. e inf. complexa
tabelas e
gráficos - durante as fixações a percepção está dependente das
Esquemas Representa hierarquizadamente o real limitações da fóvea
gráficos e mapas Representa fielmente o real (planta, escala)
desenhos ideogramáticos
esquemas diagramáticos
e mapas isogramáticos
fotografias captação do real
desenhos
fotografias modelos reprodução tridimensional do real

modelos
+Realista

11 12

3
 14/01/24

A percepção visual e a leitura de textos verbais

A percepção visual na leitura não é estritamente sequencial.
Durante a leitura o movimento dos olhos não é contínuo.

Frequência das fixações (7 a 11 fixações por linha de 80 caracteres)

Duração das fixações (250 a 350 mls por pausa)

Amplitude do campo visual (15 a 18 caracteres/espaços por fixação)

(A área perceptiva é assimétrica à direita nas línguas 3-4 à esquerda do ponto de fixação e 14-15 à
ocidentais de escrita esquerda-direita) direita

13 14

15 16

4
 14/01/24

A percepção visual e o processamento de textos visuais Dados sobre processamento visual na leitura de imagens

- os objetivos de observação e as instruções de observação influenciam

significativamente o processamento das imagens;

Buswell, 1936 e Yarbus, 1967

17 18

Valores de duração média das fixações e da amplitude média das sacadas durante
diferentes tarefas de leitura

Tarefa Duração média das fixações Amplitude média das sacadas

(em milissegundos) (em graus)

Leitura silenciosa 225 2 (cerca de oito caracteres)

Leitura em voz alta 275 1,5 (cerca de seis caracteres)

Pesquisa visual 275 3

Visualização de imagens 330 4

Leitura de pautas de música 375 1

Dactilografia 400 1 (cerca de quatro caracteres)

Uma vez que actualmente, antes de aprender a ler, a criança se habituou a ver muitas
imagens fixas e em movimento, onde a amplitude média das sacadas é
significativamente maior do que na leitura, o treino para a leitura pode beneficiar de
exercícios de pesquisa visual que talvez ajudem a fazer a transição para o tipo de C obra A larm es, A gên cia N aga D D B da M alasia
sacadas que a leitura exige. C f. B aptista, 2010

19 20

5
 14/01/24

C f. B aptista, 2010 C f. B aptista, 2010

21 22

Tipos de Elementos significativos

Marca
Índice Tabela Gráfico + legenda (medições, contabilizações
e comparações.
Ícone
Esquemas e mapas
Sinal
Símbolo
Desenhos
Signo
Fotografias (grau maior ou menor de desvio da realidade)
Alegoria
modelos

Subjectividade/objectividade - rigor/distorção
escala/relação - abstracto/concreto

23 24

6
 14/01/24

25 26

27 28

7
 14/01/24

29 30

31 32

8
 14/01/24

33 34

35 36

9
 14/01/24

37 38

39 40

10
 14/01/24

41 42

43 44

11
 14/01/24

45 46

Ikko Tanaka , 1972

Hibernation Comedy
http://www.performingarts.jp/e/data_drama/theater/d-00022.html

AKIHAMA, born 1934, graduated from the Theatre Department of Tokyo's Waseda University.) "The Comic
Duo in Hibernation" (written in 1965; first produced in 1966)

The story is about a man and a woman who await the arrival of their lovers at their place deep in snow bound
mountains. The playwright uses the local language of Iwate Prefecture to portray with verve the life of the
people and the absurdity of the human condition. At a farmhouse in the mountains where the snow comes
right up into the earthen floor entryway. Yuki (a woman) is about to hang herself from the wooden structure of
the house. Toto is helping out by being the springboard, but yet again Yuki decides against going through with
the act. Apparently, the two do this hanging routine everyday. After that, Toto begins to reread a letter left to
him by his beloved Katsuko, who left three years ago. She has not been seen since. In it she promises to
return to him, but there is no sign of that. It has been snowing for three years since Katsuko left and the road
that connected this house with the outer world has vanished. Yet Toto still waits in hope of Katsuko's return.
Yuki, in turn, is waiting for Taro who promised to elope with her. In this shut off world, they play games
endlessly. They even seem to lose sense of their bodies and physical boundaries so that when Yuki is
preparing some snacks to go with Toto's sake, she chops up her arm into the pickled radishes she is slicing.
Her arm is somehow miraculously restored and the story goes on. Occasionally there is a knocking sound at
the door. Toto believes it is Katsuko and Yuki insists it is Tar? But in fact no one comes. The knocking at the
door begins to turn into lively Bon Festival dance music. Toto sings and Yuki dances and things begin to
happen. Nonetheless this also ends and quietude returns. The following day they again wait in the snowing
mountains. The hanging routine begins. Toto can no longer sustain the weight of Yuki's body. The rope bites
into Yuki's neck and her hanging happens for real, or so it would seem, for at that moment, the wooden
structure collapses and she is saved. However, an avalanche hits the house and buries it and their little
fantasy world under the snow.
Ikko Tanaka Ikko Tanaka

47 48

12
 14/01/24

49 50

51 52

13
 14/01/24

53 54

55 56

14
 14/01/24

57 58

Dicionário por imagens das bruxas e das fadas, Émile Beaumont [texto],

François Ruyer, Colette H.S, Sophie Toussaint [ilustração], Éd.Fleurus, Paris, 2000.
Tamanho do Homunculus de Penfield A linha como elemento estruturador da percepção visual.
Tamanho apropriado para diferentes tipos de leitura
O texto-rótulo e o texto instrucional (a pesquisa visual orientada e a iniciação à leitura).

59 60

15

Dicionário por imagens das bruxas e das fadas, Émile Beaumont
François Ruyer, Colette H.S, Sophie Toussaint
[texto],
Éd.Fleurus, Paris, 2000.
O humor e o non sense excitam a pesquisa visual
61
Evolução filogenética da escrita
A escrita [enquanto sistema de signos organizado e tendo em vista a leitura]
parece ter surgido na Mesopotâmia, com os Sumérios, cerca do IV
milénio a.C., condicionada, provavelmente, por necessidades
decorrentes das actividades comerciais.
Os principais estádios de evolução da escrita em termos filogenéticos
propiciaram a progressão dos ícones para os símbolos e destes para os
sinais e o aparecimento de sistemas:
Logográficos escritas pictográfica e ideográfica
Fonográficos escritas alfabética, silábica e consonântica
Mistos escritas de transição e logo-silábica, por ex.
que em diferentes suportes geriam a verticalidade a horizontalidade, a
orientação esquerda direita, direita esquerda e bustrofedónica.
63
14/01/24
[ilustração],
POKEMON SÍNQUISE
62
textos bimodais (verbais e picturais) ,
cf.B aptista 2008 e 2015
Relações dominadas por uma retórica da atração e não de resistência
evidenciam apenas uma parceria de textos eventualmente
Textos mistos
com consequências no processamento visual e cognitivo,
mas nenhuma das instâncias textuais afeta
significativamente a outra
partem de uma concepção dinâmica de texto, geram o
produto factorial das duas instâncias textuais; activam
Textos híbridos formas de processamento bimodal, estabelecem relações
deícticas in praesentia e in absentia e qualquer uma das
instâncias pode afectar a compreensão da outra
partem de uma conceção híbrida de texto, geram
inequivocamente um produto fatorial das duas instâncias,
Textos fusionais não permitem a identificação dos meios apresentativos e
representativos; ativam formas de processamento ainda por
definir
64
16
 14/01/24

O aparecimento da escrita e a sua evolução foram fortemente determinados por

necessidades e condicionantes culturais, mas também pela evolução dos suportes e
riscadores, pela realização sistemática da atividade e sua subsequente revolução
postural.

Peregrinação de Fernão Mendes Pinto Janelas percetivas para texto e imagem

65 66

Todo o texto é uma imagem particular.

e a mancha de texto tem de deixar ver a linha

Peregrinação
de Fernão Mendes Pinto
Janelas percetivas para
Imagem e texto O livia, Ian Falconer [texto], Ian Falconer [ilustração], E ditorial N otícias, Lisboa, 2000.

67 68

17
 14/01/24

Doodle Chaos
Line Rider : In the Hall of Mountain King – Edvard Grieg
https://www.youtube.com/watch?v=RIz3klPET3o&t=33s (2D)
https://www.youtube.com/watch?v=aMaencWqIhY (3D)
5ª Sinfonia de Beethoven
https://www.youtube.com/watch?v=vcBn04IyELc&t=4s

69 70

Variáveis que afectam a eficácia da imagem

construir os elementos da narração
Funções Básicas

Criar o mundo [ambiente, personagens, ponto de vista]

[ a cor
ficcional o tamanho
da Imagem

[
gerir morfologicamente o espaço gráfico (o tamanho apropriado depende do tempo disponível)

[ a quantidade de pormenores
(as crianças consideram ilustrações mais complexas mais interessantes e perdem mais tempo
com elas)
[ organização hierárquica
apresentar e construir sequências narrativas [ qualidade dinâmica das imagens
Construir ou [ritmando o tempo, desenrolando acções] [ legendas (repetição vs expansão da informação)
apoiar a
[ relação topográfica texto/imagem
narrativa
gerir sintacticamente o tempo gráfico [ uso de instruções especiais de processamento

71 72

18
 14/01/24

Peregrinação de Fernão Mendes Pinto Janelas percetivas para texto e imagem

73 74

75 76

19
 14/01/24

77 78

Ferramentas da imagem
(índices de apoio à compreensão da narrativa visual):

emoções
temperaturas
a paleta de cores espaços
o onírico e o real
expressividade

a iluminação o traço
a produção de contexto cenografico a distribuição nos planos
a gestão metonímica da ausência a subversão das escalas
a gestão dos tempos narrativos a retórica visual
a iconografia simbólica a apropriação do texto enquanto
imagem geradora de sentidos
(o bosque, a lua, o olho, o anel, a chave, o espelho...) a utilização de discurso verbal

79 80

20
 14/01/24

Pesquisar site:
Arquivo Digital da Po-Ex. Poesia Experimental Portuguesa
https://po-ex.net

81 82

83 84

21
 14/01/24

MAN RAY- Le violon D'Ingrés

85 86

Peça TV Cello de Pan June Paik

para a violoncelista e artista
performática Charlotte Moorman

87 88

22
 14/01/24

A leitura de imagens cobre sempre duas dimensões:

reporta-se ao significado da imagem entendido

Dimensão objectivamente;
denotativa O que se vê na imagem:
•a descrição do cenário,
•objectos
•figuras,
•acções,
•o tempo e o espaço
reporta-se às interpretações e apreciações do interprete;
Dimensão
O que a imagem sugere:
conotativa • personagens
• antecedentes e consequências
• emoções, etc.

89 90

Expressiva transmite mais o locutor do que a

informação

Persuasiva interpela e provoca reacções no

interlocutor
Funções da Imagem

Poética valoriza a dimensão conotativa

organizadora concretiza e hierarquiza

interpretativa confere maior inteligibilidade

Representativa
transformadora recodifica a informação

Decorativa enfeita de forma pertinente ou “não

pertinente”

Memorizadora facilita a retenção

Complemento acrescenta informação ao texto

Dialéctica discrepante ou incongruente

(critica, comenta, diverge)

Substitutiva sobrevive sem qualquer apoio verbal

Cf. Isabel Calado (1994)

91 92

23
 14/01/24

93 94

A leitura de imagens pressupõe a análise dos vários códigos:

espacial o ponto de vista do qual se contempla a realidade

(acima/abaixo; esq./dir; fidelidade/deformação)
gestual e sensações que produzem em nós os gestos e a mímica das
figuras, o ambiente retratado, a paleta de cores, o vestuário , a
cenográfico maquilhagem, etc.
(tranquilidade, nervosismo, medo, raiva, etc)
lumínico a fonte de luz e os seus efeitos
(deforma, agiganta, torna irreais)
simbólico convenções
(iconografia simbólica: a pomba, a chave, o corvo,...)
gráfico toma das imagens (perto ou longe); detalhe ou não, etc.

relacional relações espaciais que criam um itinerário para o olhar:

topicalizações (pregnância), jogo de tensões, equilíbrios,
Lamode - Moda Calçado O último desejo paralelismos, antagonismos e complementaridades.

Agência: Saatchi & Saatchi, Dubai / Copywriter: Avinash Sampath Art

Director: Avinash Sampath / Illustrator: V. R. Palani Photographer: Tejal Patni Adapt. de Maria Emília Sardelich, (2006:456-7)

95 96

24
 14/01/24

97 98

Leitura de textos bimodais e multimodais

Os registos de eyetracker demonstram que:

- a tarefa de leitura de uma imagem sem texto verbal escrito na proximidade da imagem e com
texto verbal audível (fixações e sacadas, AI, duração das fixações) é diferente da leitura de
uma imagem acompanhada de texto impresso e audível ou apenas de texto impresso.

- a tarefa de um leitor de um texto híbrido (verbal e visual com informação na instância visual
superior à da instância verbal) sem texto audível é diferente da mesma tarefa acompanhada
da audição do texto escrito, dado que a inexistência de texto escrito disponibiliza mais tempo
para a leitura da imagem

99 100

25
 14/01/24

Leitura de textos bimodais e multimodais Leitura de textos bimodais e multimodais

Como leio a narrativa visual sequencial?
O visionamento de uma narrativa visual que ocorre sem texto é
- acompanhado por palavras mentais que designam os elementos
in praesentiae, identificados no visionamento do filme
- acompanhado por palavras mentais que nomeiam elementos in
absentiae, por estratégia de metonímia
- pela leitura de ícones/índices de representação isomórfica e/ou
com desvio
- pela leitura de ícones/índices de representação retórica
- pela identificação de áreas de Interesse (AI) na imagem e
momentos de previsibilidade (MP) e momentos de expectativa
(ME)
• Leitura de texto visual em movimento sem texto impresso ou audível
• Oh Sheep
• https://www.youtube.com/watch?v=sY5MmhLQBng
• (Age rating 12+) 2018
• Two flocks of sheep are searching for companionship. But their shepherds,
being at odds with each other, do everything to keep them separated.
• Script: Gottfried Mentor, Max Lang Direction: Gottfried Mentor Music:
Matthias Klein Sound Design: Roman Volkholz, Christian Heck Animation:
Harry Fast, Cordula Langhans, Paul Cichon, Bin Han To, Annie Habermehl,
Gottfried Mentor Technical Direction: Marcel Reinhard Executive Producer:
Leonid Godik, Gottfried Mentor Production: Filmakademie Baden-
Württemberg GmbH

14/01/22

101 102

Leitura de textos bimodais e multimodais

Como leio a narrativa visual sequencial?

Qual é (quais são) o(s) personagem(ns) principal(is)?
Leitura de textos bimodais e multimodais Como se caracterizam os personagens?
Como leio a narrativa visual sequencial?
Quais são os acontecimentos? Como se desenrolam?
Como ler para decidir se a narrativa é cómica ou dramática? (Como se faz o leitor perceber que o desenrolar dos acontecimentos não basta?)
Como se encadeiam os acontecimentos?
- Identifica-se o tema da narrativa?
- Faz-se um segundo visionamento?
Qual é o personagem mais ativo?
- Faz-se uma leitura reflexiva por meditação no que foi visto após o visionamento?
- Faz-se uma leitura da carga emocional que o visionamento desencadeia? Qual é o personagem mais passivo?
Qual é o personagem mais reativo?
Como classificar, na narrativa fílmica, o tipo de leitura entre leitura
de reflexão e leitura recreativa, quando a fronteira entre ficcional e Como identificar o tema da narrativa?
(Como desenvolver a competência literácita impedindo que o final seja o tema?)
documental não basta?
Cruzar elementos explícitos da narrativa com conceitos implícitos
(valores simbólicos, alegóricos, retóricos)
Que conetores escolho para encadear frases?

103 104

26
 14/01/24

Leitura de textos bimodais e multimodais

Leitura de textos bimodais e multimodais Como se caracterizam os personagens?

Como leio a narrativa visual sequencial? Pastores: corpos, roupa, sapatos, chapéus, rostos, barbas iguais,
mentores de proibições, recolhimento, produtores de respostas e ações
iguais
Qual é (quais são) o(s) personagem(ns) principal(is)?
Rebanhos: iguais, amigos, brincalhões, guerreiros, (exteriormente)
Os pastores diferentes, sofredores
Os rebanhos
Os cajados (bastões) Cajados (bastões): diferentes, símbolos de poder dos pastores e
As fronteiras identidade dos pastores
O sangue
As tesouras Tesouras: iguais, escondidas, cortantes, bélicas, símbolos do poder dos
pastores

Fronteiras: distintas, ativas na separação, frágeis na duração da

separação

105 106

Como leio a narrativa visual sequencial?

Como se desenrolam os acontecimentos?
- Os pastores e os rebanhos cruzam-se
Como leio a narrativa visual sequencial?
- Os rebanhos sentem-se contentes
- Os pastores estão desentendidos
- Os pastores separam os rebanhos Qual é o personagem mais ativo?
- Os rebanhos pretendem juntar-se Os pastores, os rebanhos, as tesouras, os cajados, as
- Os rebanhos sofrem ao tentar juntar-se fronteiras?
- Os pastores tentam uma solução diferente da construção
de fronteiras Qual é o personagem mais passivo?
- Os pastores tosquiam as ovelhas para exibir a diferença As fronteiras, os pastores, os rebanhos, os cajados?
- Tosquiados, os rebanhos assumem ser diferentes (discutir “ativo/passivo” enquanto opostos filosóficos, cf. Oscar
- Por se sentirem diferentes, os rebanhos guerreiam-se Brenefier)
entre si
Qual é o personagem mais reativo?
Como se faz o leitor perceber que o desenrolar Os pastores, os rebanhos?
dos acontecimentos não basta?

107 108

27
 14/01/24

Como leio a narrativa visual sequencial? Como leio a narrativa visual sequencial se, mesmo mostrando como
se atingiu o seu terminus, não se explica porquê?
Como identificar qual o tema da narrativa? Como se encadeiam os acontecimentos? Que conetores escolho para encadear frases?
Como desenvolver a competência literácita impedindo que o final seja o
tema?
Cruzar elementos explícitos da narrativa com conceitos implícitos - Os rebanhos são pastoreados por pastores desentendidos
(valores simbólicos/alegorias): - Os pastores dos rebanhos não permitem que os rebanhos estejam juntos
- Os rebanhos pretendem estar juntos
Cajados: diferença, poder - Os rebanhos lutam entre si
Fronteira: separação, guerra, morte
Espaço : proibição do espaço partilhado entre grupos
Fronteira: construção da proibição de espaço partilhado, separação dos - logo....
grupos, construção da diferença entre grupos
- Apesar de os rebanhos quererem estar juntos, os pastores não permitem.
Lã de origem: igualdade dos grupos
- Os rebanhos guerreiam-se entre si por se sentirem diferentes.
Tesoura: poder, definição de acesso a território, destruição da igualdade
- Os rebanhos guerreiam-se entre si quando percebem que são diferentes.
Desenho da lã depois da tosquia: construção da desigualdade, o
desencadear da morte entre amigos - Os rebanhos guerreiam-se entre si porque os tornaram diferentes.
Como analisar a sequência? - Os rebanhos guerreiam-se entre si porque parecem diferentes.

109 110

Ler o que se vê é mais exigente do que ver.

111

28