外界影像從3D

外界影像從3D世界3D世界
Chapter 10 到2D (Retina)，
(Retina)，

如何建構回
如何建構回3D
構回3D立體
3D立體
Perceiving depth and size 深度知覺？
深度知覺？
深度與大小知覺
Fig. 8-1, p. 168

The cue approach 眼動線索

各種幫助重建立體感的線索 Oculomotor cues
• Oculomotor cues 眼動線索 • 眼外肌肉：雙眼聚合內旋 convergence
– 雙眼聚合convergence – 鬥雞眼狀
– 眼調節accommodation – 是較有效的眼動深度線索
• 眼內肌肉：眼調節accommodation
• Monocular cues 單眼線索 – 調節水晶體
– 圖片線索 Pictorial cues (8) • Hypothesis: 我們感覺到上述肌肉的張力而推
– 運動線索 Movement-Produced Cues (2) 論物體的遠近
• 試試看，盯著你漸近鼻頭的手指(單、雙眼試)
• Binocular cues 雙眼線索 • 動眼線索只適用於近距離(手臂距離內)
– Retinal disparity (binocular disparity)

The cue approach

眼動線索中的雙眼聚合內旋(convergence) 各種幫助重建立體感的線索
• Oculomotor cues 眼動線索
– 雙眼聚合convergence
– 眼調節accommodation

• Monocular cues 單眼線索

– 圖片線索 Pictorial cues (8)
– 運動線索 Movement-Produced Cues (2)

• Binocular cues 雙眼線索

– Retinal disparity
Fig. 8-2, p. 169
 圖片線索 Pictorial cues 單眼圖片線索與深度知覺

1. Occlusion 遮蔽
2. Relative High 相對高度
3. Relative Size 相對大小
4. Perceptive Convergence 知覺聚合
5. Familiar Size 熟悉大小
6. Atmospheric Perspective 大氣透視
7. Texture Gradient 質地梯度
8. Shadows 陰影

單眼圖片線索與深度知覺 Occlusion 遮蔽

Relative height 相對高度 Occlusion, relative height,

• 愈接近地平線
地平線者看起來愈遠（人與雲）
地平線 and shadows
• See also Figure 10.7 (p.233)
 陰影與深度錯覺 Relative size
• 其他Demo

Familiar size
• Viewed in a dark room
哪個看起來離你最近？
(an equal-sized dime looks closest)
• monocular viewing

一元 5元 10元 50元

Atmospheric perspective
大氣透視 質地梯度 texture gradient

Fig. 8-6, p. 171

遮蔽 occlusion; 知覺聚合 perspective convergence The cue approach
相對大小 relative size; 相對高度 relative height
各種幫助重建立體感的線索
• Oculomotor cues 眼動線索
– 雙眼聚合convergence
– 眼調節accommodation

• Monocular cues 單眼線索

– 圖片線索 Pictorial cues (8)
– 運動線索 Movement-Produced Cues (2)

• Binocular cues 雙眼線索

– Retinal disparity
Fig. 8-3, p. 170

•單眼線索
Movement-Produced Cues •運動線索
運動線索
•運動視差
motion parallax
1. 運動視差 motion parallax
2. 刪除和增加 deletion and accretion

較近的刺激會在視網膜
上移動較遠！！

•單眼線索 各種線索不同的適用距離
•運動線索
•表面消除(surface deletion) &
表面重現(surface accretion)
See also Figure 10.9

deletion accretion
 The cue approach 左右眼的影像是不同的
雙眼像差 Binocular disparity
• Oculomotor cues 動眼線索
– 雙眼聚合convergence • 感受一下雙眼
– 眼調節accommodation 像差

• Monocular cues 單眼線索 – 補充：你知道

– 圖片線索 Pictorial cues (8) 你的優勢眼
– 運動線索 Movement-Produced Cues (2) (dominant
eye)是哪一隻
• Binocular cues 雙眼線索 眼睛嗎？
– Retinal disparity

Corresponding retinal points 凝視球面 Horopter

• 凝視物體形成的球面(以fovea為球心)叫做凝視
• 左、右眼的A點，通往相同的視皮質(V1)
右眼 球面(Horopter)
位置，此位置稱為Corresponding retinal
points • 每凝視一個新的物體，就有一個新的Horopter
• 在Horopter上的物體，必定落在雙眼視網膜上
的Corresponding retinal points上

左眼 右眼

Non-corresponding points
不在Horopter上的物
體，就無法落在雙眼
視網膜上的
Corresponding Angle of disparity
points上，而是落在
兩個Non-
Distance in depth
corresponding points
上，造成雙眼像差
雙眼像差越大，
(binocular 表示物體離Horopter越遠
disparity)！
 disparity Disparity-generated stereopsis
視差造成立體知覺

disparity

Fovea Fovea

立體知覺 實體映像 Stereopsis:

Binocular disparity (Retinal disparity) 雙眼像差
立體鏡 stereoscope

物體前後距離較遠
物體前後距離較近

雙眼像差大 雙眼像差較小

2004 Budapest,
Hungary

Two images with 3D立體電影 (eg., IMAX 3D)

binocular disparity
 紅綠立體圖
紅-綠濾鏡
讓左右眼看不同畫面

隨機點立體圖
Random-dot stereogram (RDS):
Julesz

彩色隨機點立體圖
(使用紅綠眼鏡)

平行法(左眼看
左圖；右眼看
右圖):
右眼的方塊應
該左移才是凸
起感覺
• 心理系大三皓晨作品：
隨機點立體圖的重要性
• The correspondence problem? 記算同
一個物體在兩個retina上的像差
(disparity)？
• 形狀並非先決條件 (RDS為強力證據)

浮起的正方形 浮起三層蛋糕正方形
Ψ

深度知覺的生理基礎 頂葉有對特定
頂葉有對特定圖片深度線索
有對特定圖片深度線索敏感的神經
圖片深度線索敏感的神經

• Experiment by Tsutsui et al.

– Monkeys matched texture gradients that
were 2-D pictures and 3-D stereograms
– Recordings from a neuron in the parietal
lobe showed:
• Cell responded to pictorial cues
• Cell also responded to binocular
disparity Response of neurons in the parietal cortex
(Tsutsui et al., 2002, 2005)

Binocular depth cell / disparity-selective cells

Disparity tuning
立體視覺的行為資料
curve for a
• Blake & Hirch (1975)
disparity-sensitive
• 小貓六個月大之前兩眼交替看 (不讓牠有
neuron.
雙眼同時看的機會)
• 結果：
– 雙眼細胞(binocular cell)數目減少
– 同時發現小貓沒有立體視覺
• 推論：
對雙眼像差敏感的細胞負責立體視覺

Uka & DeAngelis (2003)

 物種差異
Connecting Binocular Disparity &
• 前側眼(frontal eyes)和旁側眼(lateral eyes)
Depth Perception
– 前者有精確的立體視覺(binocular disparity)；後
者沒有
• DeAngelis et al. (1998) • 獵食者和被獵食者
– 訓練猴子對不同深度做反應 • 蝙蝠：echolocation
– 在猴子腦中找到Disparity-selective neurons
– 用微電極刺激特定的disparity-selective neurons
– 結果會影響猴子對深度的判斷 (例如刺激-2像差神經，
猴子把0視差的刺激知覺成偏向負的)

Whiteout (Ganzfeld)
• 南極的飛航經驗，火柴盒可能被看成房子
• 失去距離知覺所造成的大小誤判
• 大小知覺與距離(深度)知覺高度相關
大小知覺
Perceiving size

Holway & Borings (1941)

大小判斷依據真實物理大小或
視網膜上大小(視角；visual angle)？
One eye
此實驗設計成Test circles永遠視角1度(網膜影像大小不變)

Peephole

No reflections
當深度距離線索不足的時候，我們會根據 大小恆常性
retinal size (visual angle)判斷物體大小
• 刺激在retinal的size改變(也就是視角
1. Holway & Boring的實驗 visual angle改變)，所知覺到的大小卻能
2. 太陽與月亮的大小 維持不變
3. 從高空的飛機上往下看

打破大小知覺恆常性
打破大小知覺恆常性的例子 的例子1:
1:
大小恆常性與深度知覺 The Ames Room

打破大小知覺恆常性的例子2: 打破大小知覺恆常性的例子3:

2009 Regensburg, Germany

 Emmert’s Law
Size-distance scaling
Try this!
• Demo: the size of the afterimage
• S=K(R × D)
– S: perceived size
– R: retinal size
– D: distance
– K: constant

Emmert’s law Other cues to help perceive

size accurately
• S=K(R × D)
• 後像在retina上的大小(R)是固 • Relative size of familiar things
定的，所以隨著距離(D)變大而 • texture gradient
知覺大小(S)變大

一些與深度有關的錯覺 The Muller-Lyer illusion

1. The Muller-Lyer illusion

2. The Ponzo illusion
3. The Ames room
4. The Moon illusion
 The Muller-Lyer illusion Size-distance scaling:反證
• Gregory (1966):
misapplied size
constancy scaling
S=K(R × D)

另一個與深度有關的錯覺：
Day’s conflicting cues theory The Ponzo illusion
• Conflicting cues between:
– The actual length of the to-be-judged lines
– The overall length of the figure

深度錯覺的運用：
The Ames room

Two
explanations:

S=K(R×D)
Relative size
 The moon illusion 月亮錯覺 月亮錯覺的解釋
• The apparent-distance theory
(Kaufman & Rock, 1962)
S=K(R × D)

月亮錯覺的其他解釋
beyond Emmert’s Law
• The angular size-contrast theory S=K(RXD)
• atmospheric perspective 大氣透視
• color 大小知覺除了與距離
• Eye muscles 和視網膜影像大小有關之外，
行動有關
還與感覺者的行動
行動

Summary: 深度知覺
• Oculomotor cues 動眼線索
– 雙眼聚合convergence
– 眼調節accommodation
• Monocular cues 單眼線索
– 圖片線索 Pictorial cues (8)
– 運動線索 Movement-Produced Cues (2)
• Binocular cues 雙眼線索
– Retinal disparity

大小知覺
Witt et al.’s (2004) Emmert’s Law S=K(S X D) (illusions)
 Autostereogram: 交叉的♀♂
Try this!

作業二
• 請同學們利用第十章所學，製作創意立體
圖 (照片立體圖、雙眼隨機點立體圖、單張
立體知覺(3D) 隨機點立體圖)
• 作業中請描述:
真實畫面(2D) – 1. 製作方法 (請詳細描述過程，建議加入半成
品以解說)
– 2. 預期看到的結果(請描述清楚)
– 3. 說明此立體圖造成立體知覺的原理
• 繳交期限：2011/12/11午夜前!!!
• 製作成功，建議當作DIY聖誕卡送給朋友
 同學作品分享(聖文)

紅綠眼鏡請向柏翰詢問

同學作品分享(耕維) 同學作品分享(桑瑜)

請改善學長姐們作品的小缺點 DIY 3D照片輔助軟體

• http://stereo.jpn.org/eng/stphmkr/index.html
• 立體感出現前(戴上眼鏡前)儘量不被看出 • http://kyyeung.com/Photo/070319/070319.htm
(軟體示範)
圖形: