多感官沉浸式科技的

趨勢及未來
黃仁志 中華經濟研究院第二（國際經濟）研究所 計畫輔佐研究員
林欣蓉 中華經濟研究院第二（國際經濟）研究所 計畫輔佐研究員

沉浸式體驗是銜接未來數位世界生活的重要趨勢。以視覺與聽覺為核心的多感官沉
浸式科技發展，正在快速改變人們的生活和娛樂方式，提升虛擬世界的體驗，並因此帶
來更多商業價值。本文借鏡韓國的「光化時代」計畫，探討臺灣未來的發展沉浸式科技
的可行策略。

關鍵詞：沉浸式體驗、多感官科技、數位創新
Keywords: Immersive Experience, Multi-Sensory Technology, Digital Innovation

多
感官科技的發展，是未來在虛實整合 被美國《時代》（TIME）雜誌評為 2022 年
世界中提升沉浸式體驗的關鍵。目前 最佳發明 1。在 2020 年全球新冠肺炎疫情下，
多感官沉浸式科技在諸多領域中獲得廣泛應 許多國際間的交流機會都被迫停止，實體見
用，其中又以娛樂和觀光產業最為顯著。這 面的機會大幅降低造成外交受到衝擊。但韓
些結合數位內容的感官科技設備和服務，可 國卻沒有因此停下前瞻科技創新的腳步，反
以讓用戶身歷其境地融入到虛擬世界，也因 而是利用疫情間的社會經濟活動需求作為發
而帶動許多頭戴式設備與智慧顯示科技廠商 展元宇宙的契機，甚至以線上大使館與數位
積極投入。例如蘋果公司推出的 Apple vision 外交的方式與國際保持聯繫。為持續提升韓
pro，即被視為是從「以螢幕為主的電子設備 國在感官科技與體感技術上的創新突破，韓
世代」跨足到「沉浸式多感官世代」的重要 國政府近期更提出「光化時代計畫」，以提
里程碑。 升觀光為科技落地應用場域，打造融合 5G 通
韓國是世界上沉浸式科技發展快速的國 訊技術和沉浸式科技的策略，並以此引領韓
家之一，元宇宙首爾（Metaverse Seoul）甚至 國感官科技的創新發展。

99
November 2023

多感官沉浸式科技的類型與發展趨勢 3. 互動性：透過體感互動機制，如手勢、
語音、控制器等，讓用戶透過數位訊號傳輸

一、穿戴型沉浸式裝置 參與和互動於虛擬世界中。

穿戴型裝置的設計是藉由貼近人體，讓 這些特質也讓穿戴式設備有較廣的應用

人的生理機能夠容易接收來自五感訊號的動 領域，無論是在娛樂、醫療、教育、銷售等

力回饋，甚至結合體感和即時控制系統，遙 領域中，都可以看到它被更廣泛地採用，但

控遠端機器設備。鑲嵌於穿戴式裝置的感官 穿戴式裝置在感官技術和設備性能上都需要
持續突破，諸如顯示器解析度、追蹤感應技
科技，無論是 AR（Augmented Reality，擴增
術、揚聲器音質、電源續航力、數據傳輸量
實境）/VR（Virtual Reality，虛擬實境）眼鏡
和運算力，以及裝置本身的便攜性等，才更
或是體感型壓力衣等，即是透過數位分身或
能滿足不同場景的需求。視覺設備，如 VR 頭
數位再現的機制，將在虛擬世界活動的感官
盔需精準追蹤使用者的頭部動作、視野解析
互動訊息以數位訊號轉換為機械訊號再回傳
度超過 8K，才能達到超越目前市面上最寬螢
給真實世界的用戶，進而創造出沉浸式感受。
幕的視覺效果。
多感官模擬科技的發展像是實體設備與數位
內容的創新，都是不可或缺。
二、場域型沉浸式裝置
目前在感官科技設備的發展上，以視覺
場域型的沉浸式科技應用最常被用在藝
和聽覺的相關設備和服務模式最為成熟。視
術展演領域。相較傳統的展演空間增加「感
覺沉浸式穿戴的裝置類型，主要有頭戴式設
官經驗」和「互動性」，將數位內容呈現投
備、VR、AR 眼鏡。這些產品被視為是有可
放到現實世界中，讓人們不用配戴任何設備
能替換智慧型手機應用的次世代關鍵產品，
即可身處於虛擬場景之中。場域型裝置主要
支持使用者有更深刻的參與感。總體來說，
採用 3D 立體顯示技術、大型曲面顯示、浮空
穿戴式設備具有三項特質，是其能提供沉浸
投影（全息投影）、互動式投影等，透過場
式體驗的關鍵所在：
域中的裝置，例如投影機、攝影機、螢幕等，
1. 多感官：穿戴裝置可以為用戶同時提 營造出以視覺改變效果的沉浸式場域，而立
供多種感官的融合感受，包括視覺、聽覺和 體感知是關鍵所在。這些裝置的主要特質如
觸覺等，為用戶創造更具有層次感知的體驗； 下：

2. 臨場感：貼身的穿戴式裝置更能協助 1. 3D 立體顯示技術：利用雙眼視差原理
使用者進入虛擬或數位環境中，創造出高度 創造立體成像。包含全像式、體積式、多平
身臨其境的體驗； 面式、2D 多工式。以目前較多廠商採用的 2D

100
 國際經濟

多工式為例，它在同一個顯示系統上提供觀看 目前的沉浸式體驗應用仍多以視覺和聽
者左右眼各一個不同平面的視角，再經由大腦 覺為主，但融合多感官沉浸式創新應用服務
把兩個畫面結合，進而形成 3D 立體感 2。 也逐漸成為業界關切趨勢。感官沉浸式科技
的應用類型廣泛，能快速結合會展活動的型
2. 大型曲面顯示：主要是 OLCD 基板，
態服務各類型產業，具有高創新效益、高成
材質極薄且容易加工製成凹面或凸面。與玻
長潛力和高附加價值等特性，可以為服務提
璃顯示器相比，在成本、視角和模組厚度等
供商帶來許多直接和間接的經濟效益。因此，
方面都具有相對優勢，而且更具靈活性。應
有越來越多科技廠商開始轉變從過去的以「設
用範疇包含智慧家庭裝置、車用顯示器和數
備產品」為主漸漸轉向以提供「服務體驗」
位看板 3。
為主的模式。
3. 浮空投影（全息投影）：以電腦建構
在產業應用上，多感官沉浸式技術強調
成像圖層，再將所有圖層投影到高密度的連
開發具高擬真感的內容，不僅在遊戲娛樂和
續平面上，實現擬真的 3D 畫面，進而產生
休閒運動產業，也在教育培訓領域中擴散應
立體投影效果。如總部位於加拿大多倫多的
用。藉由融合多感官沉浸式科技的服務模式，
ARHT Media 和 洛 杉 磯 的 新 創 公 司 PORTL
讓使用者能以較實體活動更少的風險和成本
Inc.，其所推出的全息投影系統，大小約等於
獲取相關體驗。搭配不斷提升的顯示介面、
一般電話亭，配備有 LED 照明、回饋監視器、
通訊科技、感測裝置和人工智慧等，創造出
4K 攝影機和麥克風等，結合網路連線，讓攝
故事型體驗讓用戶有身歷其境的感受。以下
影棚中的人可以真人尺寸的立體形式再現 4。
列舉三個多感官沉浸式科技實際應用案例。
4. 互動式投影：結合投影技術和體感功
1. 元宇宙表演：Orange Spain 利用 5G 通
能，讓使用者可以直接與數位內容互動。利
訊技術傳輸表演的高解析度數據和影像，讓
用感測技術偵測觸控或手勢，能提供更多元
用戶戴著 VR 裝置就能看演唱會和音樂會，為
的互動功能，例如操控虛擬物件或是多用戶
觀眾提供遠端參加活動的服務模式。穿著動
協作。互動式投影的技術原理是先以投影顯
作捕捉服的表演者可以透過元宇宙平台進行
示技術，將互動式影像投放到可偵測觸控或
表演，超低延遲的特質能即時同步傳輸舞者
體感動作的特殊平面上，利用感測技術（如
的動作，創造宛如現場觀賞一樣的感受 6。
紅外線、光學感測器、雷射等）來偵測使用
者動作，進而產生數位訊號回饋，形成虛擬 2. 虛 擬 展 售 服 務： 西 班 牙 電 信 商
互動的機制 5。 Telefónica 結合 5G、邊緣計算、光纖技術、
3D 捕捉和遠距全息通訊技術，設置虛擬攤位
多感官沉浸式科技的商業應用案例 並以 3D 形式打造線上服務員，以遠端裝置連

101
November 2023

線虛擬攤位進行管理，而用戶則可以遠距參 以 建 構 元 宇 宙 發 展 生 態 系 為 目 標， 韓
訪展場、在虛擬世界中逛擺攤，也能透過視 國政府近期也積極開發各種感官科技的應用
訊跟攤位的專家交流 7。 服務。以此一政策願景為根基，韓國的文化

3. 多感官沉浸式博物館：美國現代藝術 體育觀光部與韓國文化內容振興院合作，在

博 物 館（Museum of Modern Art, MoMA） 2022 年 1 月提出「光化時代計畫」。該計畫

開發出一套「觸摸導覽旅程」（Touchtour） 係以首爾市的熱門旅遊景點光化門為基地，

程式，讓視障者在直接觸摸博物館雕塑時聆 以 5G 通 訊 為 基 礎， 將 VR、AR、XR、AI、

聽藝術講解。不同於多數博物館所採用的語 全息投影等技術與文化觀光產業結合，透過

音導覽模式，未來的觸摸式導覽將以「多感 八項虛實互動內容的公共應用，打造出動態

官 轉 換 矩 陣 」（multi-sensory transformation 的沉浸式觀光文化體驗。

matrix）原理，結合可增強觸控介面觸感的 發展沉浸式觀光的策略，主要基於韓國
「特斯拉觸摸」（Tesla Touch）裝置，利用 的「數位新政」（Digital Deal），強調藉由
靜電振動將視覺感受轉化為觸覺感受。這種 發展沉浸式科技產業帶動韓國的數位經濟發
多感官技術的應用，不僅可以提升身障人士 展，並從中開創新的數位經濟型態，結合實
接觸環境的友善和掌握度，也可以為一般人 體生活與虛擬世界的相互滲透，創造出新的
8
提供多樣性的選擇與體驗機會 。 社會經濟價值 9。而「光化時代計畫」的執行
內容，主要強調「虛擬數位內容」與「實體
韓國「光化時代計畫」的應用模式
觀光場域」的整合效益，並據以規劃八項重

在國際元宇宙的發展上，韓國可謂是前 要呈現模式（見附表）10：

段班的代表。尤其自新冠疫情爆發以來，韓 1. 光化園：以流動式的地面投影和聲音
國政府更是積極以虛擬三維空間擴展公共服 感測器，讓聲波成為改變影像的刺激媒介，
務的可能性，同時也帶動感官沉浸式體驗相 進而提供與虛擬世界互動的感受；
關科技的應用需求。例如韓國政府於 2021 年
2. 光化人：可以切換多國語言模式介紹
發起的「元宇宙聯盟」，透過政府與企業間
觀光的 AI 導覽員；
的合作，支持元宇宙相關科技與經濟活動的
3. 光化壁畫：以大型 3D 裸視螢幕投射
發展。此外，首爾市政府也在同一年發表「首
藝術創作，創造出視覺變形錯覺體驗；
爾願景 2030」（The Seoul Vision 2030）發展
藍圖，規劃逐步為整個首爾市提供元宇宙化 4. 光化列車：VR 結合全景 4D 動感椅，
的公共服務。 打造出沉浸式穿越古蹟的效果；

102
 國際經濟

5. 光化樹：以 AR 結合社群軟體將大數 7. 光化談：結合線上 APP 和線下 AR，

據化成光影，以視覺形式再現不同類型的數 以視覺定位系統模擬出 3D 空間地圖，串聯歷
據特質； 史故事與遊戲，藉此讓用戶瞭解歷史文物；

6. 光化鏡：AR 結合當地歷史文物，藉由 8. 光化風流：以 5G 傳輸和高解析度投

手機內的光化鏡 APP 掃描建築，顯示該建築 影即時串流，讓觀光客在不同景點也能看到
的相關資訊，提升文化導覽的趣味性； 韓國明星的現場表演。

附表 韓國「光化時代計畫」項目與技術
項目 呈現型態 關鍵技術
光化園 多媒體動態影像 地面投影、移動傳感裝置、LED看板，結合聲波和民眾移動軌跡的即時影像
光化人 AI導覽員 語音辨識技術、深度學習AI系統、3D動畫、高解析影像、互動感應裝置、浮空投影
光化壁畫 大型3D裸式螢幕 透視點擬真3D、4K 3D影像動畫
光化列車 4DX古蹟導覽 5G網路、環形全景螢幕、VR眼鏡、4D動感椅
光化樹 AR互動式活動 AR、SNS（社群網路服務）、大數據
光化鏡 沉浸式介紹 AR技術、光化鏡APP
光化談 互動式觀光 視覺定位系統、3D空間地圖
光化風流 異地共演 5G頻寬、虛擬引擎、XR
資料來源：作者整理自韓國文化觀光體育部。

「光化時代計畫」是韓國開拓未來沉浸
式科技應用與數位內容市場的第一步，核心
策略是將歷史景點旅遊與文物閱覽數位化、
以互動媒體激發民眾的共感、借助沉浸式科
技融合傳統藝術與新興媒體。
臺灣發展感官沉浸式科技的計畫與
應用成果
目前我國的沉浸式感官科技發展仍以視
覺為主流，在政策上則是以「臺灣顯示科技
與應用行動計畫」為核心，以智慧零售、智
慧移動、智慧醫療及智慧育樂四大應用領域
為主軸，推動智慧應用產業鏈的發展與整合。
AI 和 5G 等新興科技的興起，讓顯示科技成
為打造未來智慧生活的關鍵項目，並因此開
拓臺灣顯示科技與應用產業的發展契機。計
畫推動內容包括 11：
1. 智慧零售：以顯示科技結合硬體和系
統平台，協助零售服務產業數位轉型，促成
顯示科技業者與中型零售業者合作，共同開
發商業模式。例如以全彩櫥窗 LED 屏幕結合
大型櫥窗，搭配人流統計系統進行數位內容
互動；或是藉由高解析互動式巨型 LED 屏幕，
搭配人臉辨識與動作捕捉，以 AR 的方式和民
眾進行互動；
2. 智 慧 移 動： 為 提 升 交 通 安 全 和 防 止

103
November 2023

重大交通事故，以顯示技術為介面，導入智 感測器、人工智慧等技術，提升旅客的觀光
慧移動載具和智慧移動服務系統。例如以浮 體驗。光化時代計畫的關鍵效益在於善用虛
空投影作為機場轉運站的指引、建置大型互 擬數位服務的科技特質，讓實體文物與知識
動看板提供娛樂或行銷服務，或是將車用的 娛樂相輔相成，進而達到互謀其利的成效。
Micro LED 顯示器整合生物感測和即時互動 韓國觀光部門藉此累積的「數位資產」更有
功能，為用車人員提供各種即時資訊； 助於未來透過線上化的方式，將其文化更有
效地輸出國際，或是將此經驗擴散到其他活
3. 智慧醫療：結合顯示科技、物聯網、
動場域上，例如數位藝術內容創作、場域服
5G 網路、穿戴式設備等，改善進出院前後所
務客服機器人、大型公設模擬投影、園區導
有流程。智慧眼鏡和透明顯示面板以 AR 的方
覽指引等。「光化時代計畫」的重要啟示是，
式提供患者生理資訊，甚至應用於手術導航，
以感官科技發展沉浸式體驗的策略，必須善
讓醫生能更精準地掌握術間所需資訊；
用其他重要科技（如 5G 通訊、AI、感測器與
4. 智慧育樂：育樂產業在近幾年來持續
體感裝置等）的特質，為特定場域設定主軸
擴大，新型態顯示技術也持續應用在展演活
應用，從中累積技術經驗和生態系合作關係。
動和電競比賽中。例如以 AR/VR 裝置、全息
相對地，我國所推動的「臺灣顯示科技
投影、3D 立體螢幕等，提供粉絲全新的沉浸
與應用行動計畫」，雖然提出聚焦在零售、
式賽事觀賞體驗。
醫療、移動與育樂四大領域，強調以硬體產
結語 業優勢帶動軟體發展，仰賴顯示器產業業者
主導技術整合和場域驗證，但在促成跨科技
感官科技是打開「體感互動世界」的敲
結合上則稍顯力道不足。未來，如果要促成
門磚，藉由精確捕捉人體活動的訊號，以及
以顯示科技為基礎的感官科技發展能夠拓展
精準提供感知回饋，創造人類穿梭真實世界
社會經濟價值，必須加強由場域經營者或主
與虛擬世界的渠道。感官體驗和體感式互動
管部會設定創新服務主題，並支持跨科技相
服務，也成為許多國家競逐科技發展的重要
互合作，共創服務利益的機制。儘管我國的
主題。然而，該如何為感官科技的應用創造
科技強項在硬體設備的研發與製造，但有越
社會經濟價值，也成為科技發展策略上的關
來越多的人才投身於數位軟體技術的開發中。
鍵議題。
因此，未來如何善用硬體設備廠商的國際通
韓國以知名的觀光景點「光化門」為驗 路和產業鏈，支持感官科技的場域應用創新
證場域，推動以沉浸式觀光為主題的「光化 與軟體服務開發等工作，同時為驗證場域規
時代計畫」，讓感官科技可以結合 5G 通訊、 劃更具潛力的應用主題，甚至鼓勵多感官體

104

驗的融合應用等，都是在下一階段政策規劃
上需要加以著重的方向。
附注
1. Korea Bizwire (2022). Metaverse Seoul Named
in TIME’s Best Inventions of 2022. http://
koreabizwire.com/metaverse-seoul-named-in-times-
best-inventions-of-2022/233462
2. 黃 怡 菁 、 黃 乙 白 、 謝 漢 萍 （ 2 0 1 0 ） 。 3 D 立 體
顯示技術。https://ejournal.stpi.narl.org.
tw/sd/download?source=9907/9907-07.
pdf&vlId=1A69084E-FEEB-4EBC-8D04-
C7D39F5DA19B&nd=0&ds=0
3. EETimes（2020）。LCD技術演進新篇章：柔性顯
示。https://www.eettaiwan.com/20200703nt31-the-
future-of-lcd-is-flexible/
4. John Boyd (2021). Hologram-in-a-Box Can Teleport
You Anywhere Novel volumetric displays aim to
transform the way we interact. https://spectrum.ieee.
org/hologram-booth
5. Jeb Brooks (2023). What Is an Interactive Projector.
https://gagadget.com/en/263448-what-is-an-
interactive-projector/
國際經濟
6. 楊 欣 倫 （ 2 0 2 3 ） 。 M W C 2 0 2 3 元 宇 宙 結 合 V R /
AR穿戴使沉浸體驗服務成真。https://
ieknet.iek.org.tw/iekrpt/rpt_detail.aspx?indu_
idno=3&domain=43&rpt_idno=535106026
7. 同注8。
8. Tazuru Harad (2018). Museum experience design based
on multi-sensory transformation approach. https://
www.researchgate.net/publication/325136394_
Museum_experience_design_based_on_multi-
sensory_transformation_approach
9. Minister of Science and ICT (2021). The recently
published the Immersive Economy Development
Strategy (Beyond Reality, Extend Korea) will lay
the ground for the Digital New Deal. https://www.
msit.go.kr/eng/bbs/view.do?sCode=eng&mId=4&m
Pid=2&pageIndex=&bbsSeqNo=42&nttSeqNo=476
&searchOpt=ALL&searchTxt=
10.林君玲（2023）。光化時代-以5G綻放想像之光。
https://www.find.org.tw/index/wind/browse/80d388
2c93e760151f12eca8c3e212a5/
11.行政院（2020）。臺灣顯示科技與應用行動計畫
（2020-2024年）。https://digi.nstc.gov.tw/
File/18994340E5195BEC
105