Machine Translated by Google

2020年4月23日接收，2020年4月28日接受，出版日期2020年5月6日，目前版本日期2020年5月20日。
數位物件識別碼 10.1109/ACCESS.2020.2991767

基於深度學習的假設生成
虛擬中文模型及其應用
書法書寫機器人
王偉彥，（IEEE 院士），許敏傑，餘麗安，錢義興，
和許振建 , (IEEE 高級會員)
國立台灣師範大學電機工程系，台灣台北 106
通訊作者: 徐振建 (jhsu@ntnu.edu.tw)

這項工作得到了國立台灣師範大學 (NTNU) 華文科技中心透過台灣教育部 (MOE) 高等教育萌芽計畫框架內的特色領域研究中心計畫的部分支持。部分由台灣科

學技術部透過普適人工智慧研究(PAIR) 實驗室，授予MOST 109‑2634‑F‑003‑006 和Grant MOST 109‑2634‑F‑003‑007。

摘要近年來，人們投入了大量的精力來模擬人腦的認知，特別是假設生成過程。大多數假設生成模型的研究都是基於機率的。然而，人腦的計算仍然是基於
神經元的，而不是計算機率。作為本文解決此問題的嘗試，我們提出了一種新穎的基於神經元的假設生成模型，稱為假設生成網絡，來模擬人類認知，包括
如何做出決策和如何採取行動。基本上，所提出的假設生成模型由兩部分組成，即假設模型和評估模型。當這兩個模型相互作用時，系統能夠根據歷史經驗
產生假設來解決複雜的任務。為了驗證所提出的假設生成模型的可行性，我們展示了一個具有認知系統的虛擬機器人可以在模擬環境中學習如何書寫中國
書法，其中提出了透過認知框架進行影像到動作的翻譯來學習該模式的漢字。基於所提出的深度思考和學習機制，虛擬機器人透過根據人類書寫樣本進行
思考和練習，能夠寫好中國書法，這是一項需要極其複雜動作的艱鉅任務。

索引術語假設生成模型、深度神經網路、中國書法、圖像到動作的翻譯。

一、引言近年來，人工智慧 模擬人類認知和人類思維。 AGI核心的關鍵要素之一是認知系統。傳統上，認知心理學

（AI）
在安全、家庭自動化、自動化系統、人臉辨識、物件辨識、市場分析等許多領域極 包括推理、記憶、知覺等幾個部分。其中，假設生成模型[1]是一個重要的研究主題，用於
大地影響了人類的生活。這些研究大部分涉及狹義人工智慧（ANI）。然而，需要適應 推理人類如何根據歷史經驗產生可能的狀態來做出決策來解決問題。
多變環境的設備、機器和機器人需要深入的思考和複雜的感知來處理不確定性並做出
正確的決策。因此，通用人工智慧（AGI）
正成為許多研究人員研究的重要議題。 AGI 是
一種強人工智慧，它試圖

在假設生成結構中，決策者需要世界的實際狀態，以便在當前狀態錯誤時修正行為。據
作者所知，大多數研究假設生成模型的研究都是基於機率的。即根據歷史經驗計算後驗
分佈以做出新的推論[2]。然而，人腦的計算仍然是基於神經元的，而不是計算

副主編負責協調本稿件的審查和
批准出版的是 Aysegul Ucar。

本作品根據知識共享署名 4.0 許可證授權。有關更多信息，請參閱 https://creativecommons.org/licenses/by/4.0/

2020 年第 8 卷 87243
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

可能性。作為本文解決此問題的嘗試，我們提出了一種新穎的基於神經元的假設生成模型，稱 寫中國書法[24]‑[29]，因為中國書法書寫的6軸[x， y，z，滾動，俯仰，偏航]運動規劃對機器人

為假設生成網絡，來模擬人類認知，包括如何做出決策和如何採取行動。
過去幾年，深度神經網路取得了一系列突破。它們廣泛應用於影像分類[3]‑[7]、物件偵測[8]
來說是一項複雜的任務。透過書法字符的骨架化和粗細，可以直觀地從書法字符中提取位置分
量[x，y， z]。然而，毛筆的方向和傾斜度計算起來要複雜得多，因為中國書法字符可以用許多不
同的動作來書寫。也就是說，不同的動作可以達到相同的書寫結果。運動與書寫結果之間的關係
不是一對一的，而是多對一的映射函數。雖然透過機器視覺操作可以直接產生毛筆的位置向量
序列，但對於毛筆來說，方向和傾斜序列的組合極為眾多。因此，直接利用電腦視覺方法從人

以及語音合成或影像翻譯[9]、[10]。自動編碼器（AE）
[11]、[12]是一種自動學習和提取特徵的 類書寫樣本中產生毛筆的滾動、俯仰和偏航座標是困難的。鑑於上述困難，因此我們的目標是透
無監督學習神經網路。 AE的隱藏層由編碼器和解碼器兩部分組成。編碼器的目的是將輸入壓縮 過模擬環境將所提出的基於神經元的假設生成模型應用到虛擬機器人系統中，使虛擬機器人及
為一組潛在向量。然後，這些潛在向量可以由解碼器處理以重建輸入。 其認知系統可以透過以下方式學習和思考如何寫好漢字：練習。

傳統的AE通常用於降維或特徵提取。近年來，AE在影像生成中得到了廣泛的應用，包括轉換圖
片顏色、去除浮水印、影像去噪等。因此，出現了各種類型的自動編碼器研究，例如變分自動編
碼器[13]、去噪自動編碼器[14]、稀疏自動編碼器[15]等。無監督學習中的另一種相關方法是產
生對抗網路（GAN）
[16]–[18]，它利用鑑別器模型將輸出影像分類為“真實”
或“假”，並利用
生成器模型產生“假”
影像，鑑別器模型無法將其與“真實”
影像區分開。

本文的其餘部分安排如下。第二節討論相關工作。第 3 節介紹了所提出的假設生成模型。
在第四節中，我們將假設生成模型應用於虛擬機器人書法書寫系統。模擬結果如第 5 節所示，
以驗證所提出方法的性能。結論在第 6 節中得出。

GANs 模型啟發了許多後續的圖像合成工作，例如 DCGAN [19] 和 Deepfake algo‑rithm

[20]、[21]，它們可以在視頻或圖像中將一個人的臉與另一個人的臉交換。在AE和GAN的推動
下，本文建立了基於神經元的假設生成模型。透過深度學習實現，所提出的假設生成模型能夠
透過基於歷史經驗的實踐來學習和產生假設，解決圖像到動作翻譯的問題。
二.相關工作為了建構人工認知系

統來模擬假設生成過程，深度神經網路的每個神經元都很重要。透過連結多個神經元，我們可
以建構一個模擬人腦結構的系統，以實現推理和判斷的功能。如果沒有假設生成過程，系統就
無法理解周圍環境並自行學習。因此，利用深度神經網路來實現假設生成過程，以模擬人類完成
不同類型任務的心理學習過程。

為了驗證所提出的假設生成模型的可行性，我們展示了一個具有認知系統的虛擬機器人可
以透過人類書寫樣本的思考和練習來學習如何在模擬環境中書寫中國書法。中國書法書寫被認
為是一項艱鉅的任務，需要極其複雜的動作[22]‑[25]，重點是改變毛筆的速度、壓力、力度、方
向和角度[26]來書寫美學書法。對於設計者來說，分析不同風格的漢字的筆畫是很複雜的。

在假設生成模型中，大多數研究顯示人類所做的假設接近貝葉斯模型[1]、[21]、[32]、
[33]，其中推理來自假設生成和評估：

P (d|h) P (h)
因此，寫好漢字需要深厚的功力。重按或輕按毛筆會使漢字的筆畫分別變粗或變細。此外，操 P (h|d) = 。 (1)
P (d|h ) P (h )
作刷子的轉動角度和時機也很重要。有鑑於這些挑戰，已有研究重點關注中國書法書寫機器人
h ∈H
的開發[22]‑[31]。

其中H是假設的完整集合， h， h ∈ H， d是感測器輸入， P (h|d)是假設h的後驗機率， P(h)

表示其先驗機率， P (d |h)表示假設h 下感覺輸入資料的可能性。

為了簡化所需的任務，大多數基於影像的研究都利用 3 軸向量[x, y, z] 來控制機器人 由於H是假設的完整集合，因此在許多情況下不可能產生整個假設空間。

87244 2020 年第 8 卷
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

為了解決後驗機率的近似問題，同時減少來自不完全假設的偏差，馬可夫鏈蒙特卡羅（MCMC） 三．假設生成模型為了描述所提出的基於神經元的假設生成模

方法可以幫助將後驗機率近似為（2） ： 型，我們利用虛擬機器人系統作為應用程式來更好地說明推導過程。透過神經網路實現假設
生成過程，我們可以建立機器人系統的認知模型，以根據歷史經驗做出假設。基於假設生成
模型，虛擬機器人可以學習如何書寫中國書法。我們沒有使用自上而下的策略來學習書寫中
國書法，而是使用自下而上的策略來建立認知架構來透過神經網路學習。
氮
1
PN (h|d) = f (hn = h) (2)
n
n=1

其中，如果陳述為真，則f (·) 為 1，否則為0。hn是來自馬可夫鏈的隨機樣本假設。如果N趨於

無窮大，我們就得到後驗機率的無偏近似。

圖2說明了所提出的應用於機器人系統的假設生成模型的架構，該模型由兩部分組成，即
然而，人腦中的計算單元是神經元。 假設模型和評估模型。假設模型根據DNN1中儲存的過去經驗做出假設來解決問題。評估模
也就是說，決定、記憶和感知都來自中樞神經系統。儘管許多研究支持 MCMC 也可以用神經 型的作用是對假設進行判斷。虛擬機器人觀察到的結果儲存在DNN2中，以便虛擬機器人將
科學解釋為皮質迴路，但人類的假設生成可以被視為一個複雜的神經網路。事實上，所有的 來可以回憶該結果和歷史經驗，透過判斷DNN1先前的假設來幫助DNN1做出新的假設。
假設都來自於人腦的神經計算。

因此，我們可以設計深度神經網路來模擬假設生成過程。參考 AE 和 GAN 的概念，我們提出

了一種神經網路架構來模擬假設生成過程。

AE是無監督學習的一種，由Zhu等人先提出。 [10]。此方法用於透過編碼器將輸入壓縮
為潛在向量。此潛在向量通常代表資料的重要部分。

編碼器還具有非線性維度功能

減少。之後，解碼器利用潛在向量來重建輸入資料。比較輸入和輸出，我們根據損失函數（自
動編碼器示意圖）
學習編碼器和解碼器的權重。

我 2
=1 (xi － xi) /n。圖1所示

圖 2.所提出的假設生成模型的架構。

例如，當我們需要虛擬機器人拾取瓶子時，假設模型會產生一個動作向量作為控制馬達的
角度。然後，我們關閉開關 s1，以便虛擬機器人可以執行從 DNN1 接收到的動作向量。然
後，評估模型透過關閉開關 s2 將結果和假設儲存在 DNN2 中。

圖 1.自動編碼器 (AE) 示意圖。

Ng [15] 介紹了 GAN，它是一種深度神經網路架構，用於透過對抗過程訓練生成模型。
GAN 由兩個網路組成，即生成器網路G和鑑別器網路D。生成器G從先驗雜訊分佈產生樣本，鑑
別器D被訓練以區分樣本來自真實資料分佈還是生成器分佈。然後透過最小化log(1－D(G(z)))
來訓練生成器與判別器D競爭，使得判別器無法區分樣本是真實資料還是產生器的資料。
如果觀測向量Ot不是“挑瓶子”，則假設模型需要根據歷史經驗做出新的假設。為了做出新
的假設，我們透過關閉開關 s3 連接 DNN1，從而做出下一個假設。 DNN2 儲存歷史經驗，
幫助計算向量mt和預期觀測向量O的誤差梯度，以僅更新 DNN1。這種更新規律類似於
GAN 的生成器更新，但這種架構代表了各種機器人系統的通用形式。透過幾次迭代，我們根
據最佳化標準 min( O － mt ) 儲存最佳假設。請注意，我們不需要知道動作向量之間的關
係
*
t

*
t

2020 年第 8 卷 87245
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

以及「拿起瓶子」
的任務，因為虛擬機器人會自己思考和學習這個概念。 和傾斜θ，分別是毛筆的。無花果。圖3(c)和圖3(d)顯示了在模擬環境中毛筆根據座標X、
Y 、 Z、θθ書寫字元的示意圖。
,
四．基於假設生成模型的虛擬機器人書法書寫系統控制A. 帶有假設生成網絡的書法
書寫機器人
B.書法網路模型

機器人書法書寫系統的假設生成模型的架構如圖4所示。首先，我們利用快速細
如果座標沒有預先安排好，中國書法對機器人來說是一個巨大的挑戰。即使有了 化演算法[35]從人類書寫樣本中擷取漢字筆畫資料。接下來，我們根據筆畫的軌
電腦視覺，計算機器人書寫漢字的6軸座標[x、 y、z、 roll、 pitch、 yaw]仍 跡將原始影像分割成多個感興趣區域（ROI）
影像。選擇 ROI 影像的數量作為骨
然很困難。我們透過圖像處理知道了二維座標[x， y]與中國書法圖像之間的關 架點的數量。書寫過程中對應[X， Y ]的每個ROI由筆畫的座標給出。
係，但其他座標[z， roll， pitch， yaw]仍然很難設計。因此，實現所提出的
假設生成模型具有重要意義，以便虛擬機器人能夠思考和學習如何弄清楚書寫中
國書法的方法。為了避免在真實環境中學習書寫中國書法的耗時過程，我們利用
我們開發的圖3所示的虛擬機器人系統[34]來模擬毛筆書寫的過程。

,
另一方面， ROI影像對應的每個座標Z、θθ可以透過訓練Writer Net而得到。

利用座標[X, Y ]和Z、θθ，可以透過虛擬機器人系統觀察書寫結果。, ,

然後，我們透過虛擬機器人編寫的模擬影像來訓練估計網絡，以記憶和識別虛擬
機器人系統的結果。接下來，我們將Writer Net和Estimator Net連接起來作為
假設生成網絡，並鎖定Estimator Net來訓練Writer Net ，以最小化原始圖像和
Estimator Net 儲存的圖像之間的損失。學習過程透過在用於優化Writer Net
的k1 次迭代和用於優化Estimator Net 的k2 次迭代之間交替進行而繼續。不斷
優化這種訓練模式，直到模擬影像變得非常接近原始影像，顯示機器人系統有能
力做出更好的動作。透過Estimator Net和Writer Net之間的交互，它們同時完
成假設生成過程。

因此，我們可以獲得更準確的座標來書寫中國書法。 Writer Net和Estimator

Net的損失函數分別為：

l－1 h－1 w－1

1
損失θE = ( E(W(R(C(I)x,y)))
當i=0
y=0 x=0

圖 3.虛擬機器人系統 [34] 顯示毛筆的姿勢。 (a) 旋轉角度θ。 (b) 傾斜角θ。 (c)毛筆寫字示意圖。 (d) －S(W(R(C(I)x,y))))2 (3)
畫筆的局部放大。

本文書寫漢字，採用5軸簡化形式X, Y , Z,θθ，不帶旋轉軸，而不是採用6軸[x,
y, z, roll, pitch, yaw]形式，是uti ‑lized 描述笛卡爾座標[34]、
, 毛筆的旋轉角度
和傾斜角度。這是因為書寫中國書法時毛筆很少旋轉。向量[X， Y ]表示笛卡爾
座標， [Z]表示表示漢字粗細的縱軸座標。向量θ控制著毛筆的旋轉和傾斜，這對
中國書法的美觀與否有很大的影響。

,θ

圖 4.機器人書法書寫系統的假設生成模型方案。
無花果。圖3(a)和3(b)顯示了旋轉θ的示意圖

87246 2020 年第 8 卷
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

l－1 h－1 w－1

1 表 1.所提議的寫入器網路的詳細架構。
損失θW = ( E(W(R(C(I)x,y)))
何
我=0 y=0 x=0

－R(C(I)x,y))2 (4)

R(C(I)x,y) = IC(I)k－10 C(I)k+10 , k = 1, 2, . 。 。, 20（5）

其中R定義為 ROI， l是軌跡長度

的筆畫。 C(·)被定義為根據寫入方向對骨架資料進行排序的函數。函數W(·)

是建議的Writer Net ，它輸出 3 維座標Z、θ

, θ 根據 ROI 影像。功能（·）
是輸出文字的虛擬機器人系統[34]
根據座標X、 Y 、 Z、θ 得出的結果 提出的估計器網路根據座標 , θ 。 E(·) 是
輸出圖像
到座標X, Y θ 。我們利用均方 、 Z、 ,
θ誤差（MSE）
來衡量寫入效能
結果。將估計器網路E(·)擬合到虛擬機器人系統S(·)，我們得到損失θE為兩者
之間的均方誤差
E(·) 和S(·)。注意，作家網需要寫書法
作為Writer Net輸入的寫入樣本為 20 × 20 灰階
結果盡可能接近人類書寫樣本。
縮放圖像。所有捲積層都有 3 × 3 濾波器
因此，我們將損失θW作為均方誤差 和ReLu激活。在卷積層之後，步長為 2 的最大池化層使用下採樣。
E(·) 和R(·)。因此，估計器網路和寫入器網路可以
透過最小化損失函數來更新。
當前一層是最大池化層時，數量
為了幫助讀者更好地理解實現，
特徵圖的兩倍以提取特徵
下麵包含偽代碼來說明所提出的假設生成模型的整體過程。
更高維的資料輸入。 dropout層已設定
到百分之五十。表1中的LSTM和RNN進行
因為我們的輸入寫作樣本是 ROI 影像
演算法1假設生成網路的訓練過程
中風影像。這些 ROI 影像彼此相關
輸入：人類書寫樣本的輸入， R 因為寫作過程是連續的。無花果。 5(a)和5(b)
輸出：一組座標點， d 分別顯示右下筆畫及其軌跡。
初始化： Writer Net 和 Estimator Net
圖 5(c) 顯示了 ROI 區塊以及軌跡
隨機權重 筆觸，表示每個影像都有很強的
1：重複
與相鄰影像的關係和因果關係。此外，
2： 步驟1： 各座標Z、θ變化平滑且柔和。, 映射到每個影像的 θ 應該
3： 將R輸入到Writer Net以產生一組座標 刷子的角度不能
d
如果各州關係密切，情況就會發生巨大變化。然後，LSTM 和
4： 第2步： 利用RNN來抑制Z、θ的變化 , θ。
5： 虛擬機器人根據d中的內容寫字
模擬環境
6: 步驟3：
7: 對於i = 0 到kl做
8: 更新估計器網路以近似
網路到虛擬的寫入結果
機器人
9： 結束於
10： 步驟4：
11： 對於i = 0到k2做
12： 更新Writer Net，以便估計器的輸出 圖 5. Writer Net 的輸入影像。 (a) 右傾擊球。 （二）
中風的軌跡。 (c) 中風的 ROI 影像。
Net近似於R
13：結束
顯示了所提出的估計器網路的架構
14：直到按下停止按鈕
如表2所示，它由十四層和權重組成。
輸入向量是 3 維座標Z, θ θ 。 ,
卷積層還具有 3 × 3 濾波器和 ReLu
C. Writer NET 和 Estimator NET 啟用設定.利用轉置卷積層
顯示了所提出的Writer Net的詳細架構 到高檔，步長為 2。也設定了 dropout 層
如表 1 所示，它由 11 層和權重組成。 到百分之五十。然後利用兩個全連接層

2020 年第 8 卷 87247
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

表 2.提議的估計器網路的詳細架構。

將特徵提取到400個節點的最終輸出中，透過重塑輸出來獲得20×20的影像。

五、模擬結果我們在 3.70 GHz 的 Intel

Xeon CPU E3‑1246 v6 和 32GB 記憶體的 NVIDIA GeForce GTX 1080 Ti 上進行了實驗。為了
避免花太多時間訓練機械手臂書寫中國書法，我們為虛擬機器人建構如圖6所示的機器人模擬環

境來模擬中國書法書寫的過程[34]，[36]。如圖6所示，左邊的圖片框「輸入圖片」
顯示了人寫的漢
字的筆畫。中間圖片框「紙」
展示了虛擬漢字書法書寫機器人的書寫結果。圖片框「角度」
顯示畫筆
圖 7.寫八筆畫的訓練過程圖。 (a) 人類書寫的理想圖像。 (b) 作家網的寫作結果。 (c)
的目前狀態。目前的5軸座標也顯示在圖6的右側。除了InputPicture之外，當模擬環境接收到 估計器所建立的影像。
Writer Net的輸出時，所有其他框都會同時更新狀態。網路攝影機擷取的中國書法筆畫影像的大
小為 200 × 200。然後我們將影像轉換為灰階影像作為輸入。

實驗在Python 3.6下進行，利用Tensorflow後端與Keras函式庫及NVIDIA CUDA 9.0

函式庫進行平行計算。均方誤差（MSE）
用於衡量假設生成網路的效能。我們利用均方根道
具（RMSProp）
[37]作為優化器。圖7（a）
顯示了漢字「勇」
（）的八個理想筆畫。

無花果。圖7(b)和7(c)分別顯示了Writer Net和Estimator Net對八筆筆畫的訓練過程。

圖7（b）
所示的影像是由預測座標的Writer Net繪製的。透過模擬系統， Writer Net模擬
出機械手臂可以繪製的類似影像。圖 7(c) 顯示了根據 Writer Net 提供的座標來自
Estimator Net的影像。一開始， Estimator Net會根據與 Writer Net 相差很大的座標產
生影像。漸漸地，估算器網的結果越來越類似作家網寫的漢字「十」。因此， Writer Net
產生的座標變得越來越接近理想目標，這個過程模擬了人類的學習過程。

首先，人類會根據學習任務生成行為，就像作家網路所做的一樣。其次，作家網試圖模仿
人類的寫作。接下來，將結果儲存在記憶體中。然後，作家網與

圖 6.機器人模擬環境。

87248 2020 年第 8 卷
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用
估計器網路來分析這種行為，類似於假設生成網路的作用。下一次，在做同樣的動作
時，人類會檢索上一次的經驗並做出更好的動作。
將一些筆畫組合起來，就可以形成一個完整的漢字。漢字「勇」
( )的書寫結果如圖 1 和 2
所示。 8(b)‑8(e)。根據這些筆畫，四個漢字，即永（，意思是永久）
的圖像。圖9(e) )‑9(h) 圖9(a)‑9(d)所示的「大」、「江」、「津」
是人類書寫樣本
顯示了虛擬機器人所寫的模擬結果。
圖 8.漢字「勇」
的書寫 ( )。 (a) 人類書寫樣本「勇」的圖像 ( )。 (b) 第一代書寫「勇」。 (c)
第50代書寫「勇」。 (d) 第 100 代書寫「勇」。 (e) 寫出「勇」 的最佳結果。
圖 9.四個漢字。 (a) 人類書寫樣本「勇」 的圖像 ( )。 (b) “tsun”
的人類書寫樣本圖像 ( )。 (c)
人類書寫樣本「da」 的圖像 ( )。 (d) 「江」的人類書寫樣本圖 ( )。 (e) yong ( ) 的模擬結
果。 (f)「tsun」
的模擬結果( )。 (g) da ( ) 的模擬結果。 (h)「江」
備註1：在如圖所示的訓練過程中。從圖7和圖8可以看出，在第100代，「勇」
的書
寫存在一些變化。訓練過程可能會矯枉過正，因為如果模型長時間無法回憶起過去
的經歷，估計網路可能會忘記一些過去的資訊。然後，作家網絡根據忘記過去行為的
估計網絡做出新的假設。也就是說，作家網有時會因為忘記記憶而犯下同樣的錯誤。
例如，圖10中訓練過程中第八次划水的損失曲線就顯示出不期望的振盪現象。在裡面
2020 年第 8 卷
圖 10.第八次沖程的損耗曲線。
未來，我們計畫研究記憶系統，讓假設生成網路對重要經驗有更深的印象，進而提高
中國書法的書寫成績。
六．結論本文提出了一種
新的假設生成模型，用於虛擬機器人系統透過根據人類書寫樣本進行思考和練習來
學習書寫中國書法。所提出的模型有三個主要部分，即編寫器網路、估計器網路和假
設生成網路。
這三個模型代表了人類的行動、記憶儲存和判斷。透過模擬人類的心理過程，假設
生成網具有自行思考和實現某些行動的能力。在我們的實驗中，我們設計了一個11
層的Writer Net和一個 14 層的Estimator Net 。假設生成網路的輸出是虛擬機器人
的一系列座標。因此，這種認知框架能夠完成無監督的圖像到動作的翻譯。本文證明
的模擬結果證實了所提出的假設生成模型學習如何書寫中國書法的有效性和可行性。
致謝作者要感謝國家高效能運
算中心為進行這項研究提供的電腦時間和設施。
的模擬結果( )。
參考
[1] I. Dasgupta、E. Schulz 和 SJ Gershman，“假設從何而來”， Cognit。心理學，卷。
96，第 1‑25 頁，2017 年 8 月。
[2] TL Griffiths 和 JB Tenenbaum，“日常認知中的最佳預測”， Psychol。科學，卷。 17、
沒有。 9，第 767–773 頁，2006 年 9 月。
[3] A. Krizhevsky、I. Sutskever 和 GE Hinton，“使用深度卷積神經網路進行 ImageNet 分
類”， Proc 中。 26 週年。會議。
神經訊息。過程。系統。 (NIPS)， 2012 年 12 月，第 1‑9 頁。
[4] K.He，X.Zhang，S.Ren，J.Sun，“圖像識別的深度殘差學習”， Proc. IEEE 會議計算。維
斯。模式識別。 (CVPR)， 2016 年 6 月，第 770–778 頁。
[5] C. Szegedy、W. Liu、Y. Jia、P. Sermanet、S. Reed、D. Anguelov、D. Erhan、V.
Vanhoucke 和 A. Rabinovich，“深入了解卷積”，載於過程。 IEEE 會議計算。維斯。
模式識別。 (CVPR)， 2015 年 6 月，第 1‑9 頁。
87249
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用

[6] K. Simonyan 和 A. Zisserman，“用於大規模圖像識別的非常深的捲積網絡”， Proc.國際。會 [30] Y. Sun、H. Qiu 和 Y. Xu，“機器人透過示範學習中國書法”，載於Proc. IEEE/RSJ 國際。會議。
議。學習。陳述， 2015 年 5 月，第 1‑14 頁。 英特爾。機器人系統， 2014 年 9 月，第 4408–4413 頁。

[7] M.‑J。許，Y.‑H。錢，W.‑Y。王，和C.‑C。 Hsu，“使用小型訓練資料庫進行物件分類的捲積模糊神經 [31] X. 張，Y. 李，Z. 張，K. Konno，和 S. Hu，“機器人書寫的手寫漢字的智能漢字書法美化”， Vis。
網路架構”， Int。 J.模糊系統，卷。 22、沒有。 1，第 1‑10 頁，2020 年 2 月。 計算機，卷。 35，沒有。 6–8，第 1193–1205 頁，2019 年 6 月。

[8] S. Ren、K. He、R. Girshick 和 J. Sun，“Faster R‑CNN：通過區域提議網絡實現實時對象檢
測”， IEEE Trans。模式肛門。馬赫。智力，卷。 39，沒有。 6，第 1137–1149 頁，2017 年 6
月。
[9] M.‑Y。 Liu、T. Breuel 和 J. Kautz，“無監督圖像到圖像翻譯網絡”， Proc 中。 26 週年。會
議。神經訊息。過程。系統。 (NIPS)， 2017 年 12 月，第 1‑9 頁。
[10] J.‑Y。 Zhu、T. Park、P. Isola 和 AA Efros，“使用循環一致對抗網絡進行不配對的圖像到圖像翻
譯”，Proc . IEEE 國際。
會議。計算。維斯。 （ICCV）， 2017 年 10 月，第 2223–2232 頁。
[11] DH Ballard，“神經網路中的模組化學習”， Proc。全國第六名
會議。阿蒂夫。英特爾。 (AAAI)， 1987 年 7 月，第 279–284 頁。
[12] J. Schmidhuber，“神經網路中的深度學習：概述”， Neural
網絡，卷。 61，第 85‑117 頁，2015 年 1 月。
[13] DP Kingma 和 M. Welling，“自動編碼變分貝葉斯”， Proc.
國際。會議。學習。陳述 (ICLR)， 2014 年 5 月，第 1‑14 頁。
[14] P. Vincent、H. Larochelle、I. Lajoie、Y. Bengio 與 P.‑A. Manzagol，“堆疊式去噪自動編碼器：在深度網絡中使用本
地學習有用的表示”， J. Mach。學習。研究，卷。 11，第 3371–3408 頁，2010 年 12 月。
[32] MC Frank 和 ND Goodman，“預測語言遊戲中的實用推理”，《科學》，卷。 336，沒有。
6084，p。 998，2012 年 5 月。
[33] FH Petzschner、S. Glasauer 和 KE Stephan，“震級估計的貝葉斯視角”， Trends Cognit。科
學，卷。 19、沒有。 5，第 285–293 頁，2015 年 5 月。
[34] Y.‑H。錢，M.‑J。許，L.‑A。於，W.‑Y。王，和C.‑C。 Hsu，“使用類 Delta 機器人操縱器和虛擬毛筆
模型的機器人書法系統”， iRobotics，第。 2、沒有。 4，第 1‑6 頁，2019 年 12 月。
[35] TY 張和 CY Suen，“一種細化數字模式的快速並行演算法”， Commun。 ACM，卷。 27、沒
有。 3，第 236–239 頁，1984 年 3 月。
[36] C.‑Y。鄒，M.‑J。許，J.‑Z。簡，Y.‑H。錢，W.‑Y。王，和C.‑C。 Hsu，“具有 Delta 結構的串並行機器
人的數學分析和實際應用”， Int。 J. 工程。資源。科學，卷。 2、沒有。 5，第 80‑91 頁，2016
年 5 月。
[37] T. Tieleman 和 G. Hinton，“講座 6.5‑RmsProp：將梯度除以其最近幅度的運行平均值”，
COURSERA，神經網絡。
馬赫。學習。，卷。 4、沒有。 2，第 26‑31 頁，2012 年 10 月。

[15] A. Ng，“稀疏自動編碼器”， CS294A Lect。筆記，卷。 72，第 1‑19 頁，

2011 年 1 月。

[16] IJ Goodfellow、J. Pouget‑Abadie、M. Mirza、B. Xu、D. Warde‑Farley、S. Ozair、A. Courville 王偉彥（IEEE Fellow），1984年獲得國立台北理工大學
和 Y. Bengio，“生成對抗網絡”，載於Proc。 26 週年。會議。神經訊息。過程。系統。 電機工程系文憑，1999年獲得台北理工大學碩士及博士學
(NIPS)， 2014 年 12 月，第 2672–2680 頁。 位。分別於 1990 年及 1994 年在台灣台北國立台灣科技
大學取得電機工程學位。
[17] A. Radford、L. Metz 和 S. Chintala，“利用深度卷積生成對抗網絡進行無監督表示學習”，
Proc 中。國際。
會議。學習。陳述 (ICLR)， 2016 年 5 月，第 1‑16 頁。
[18] J.Zhao、M.Mathieu 和 Y.LeCun，“基於能量的生成對抗網絡”， Proc.國際。會議。學習。陳述
1990年至2006年兼任台灣經濟部國家智慧財產局專利
(ICLR)， 2017 年 4 月，第 1‑17 頁。
審查員。自2003年起，他獲得台灣專利代理人資格。 1994
年，他被任命為台灣聖約翰與聖瑪麗理工學院電子工程系
[19] A. Radford、L. Metz 和 S. Chintala，“利用深度卷積生成對抗網絡進行無監督表示學習”，2015
副教授。 1998年至2000年在台灣東吳大學商業數學系工作。 2000年至2004年在台灣
年， arXiv：1511.06434。 [線上的]。可用：http://arxiv.org/abs/1511.06434 [20] P.
Korshunov 和 M. Sébastien，「DeepFakes：臉部辨識的新威脅？評估和檢測，” Proc。
輔仁大學電子工程系工作，2004年晉升教授。2006年任國立台北大學電腦中心教授兼
IEEE 會議計算。維斯。模式識別。 (CVPR)， 2018 年 12 月，第 1‑5 頁。 主任。科技，台灣。 2007年至2014年任國立台灣師範大學應用電子技術系教授。 2011
年至2013年任國立台灣師範大學資訊科技中心主任，現任國立台灣師範大學電機工程系
教授。他目前的研究興趣和出版物集中在模糊邏輯控制、穩健自適應控制、神經網路、電
[21] Y. Li 和 S. Lyu，“通過檢測面部扭曲偽影來曝光 Deepfake 視頻”， Proc. IEEE 會議計算。維 腦輔助設計、數位控制和基於 CCD 相機的感測器等領域。他在上述領域撰寫或合著了
斯。模式識別。 (CVPR)， 2018 年 12 月，第 46‑52 頁。 200 多篇經參考的會議和期刊論文。

[22] K. Lo、K. Kwok、S. Wong 和 Y. Yam，“使用機器人繪圖平台進行中國書法的筆跡採集和初步分

析”，Proc . IEEE/RSJ 國際。會議。英特爾。機器人系統， 2006 年 10 月，第 5183–5188 頁。

[23] S.‑K。 Kim，J. Jo，Y. Oh，S.‑R。哦，S. Srinivasa 和 M. Likhachev，“機器人手寫：基於反作用內

部接觸假設的多接觸操作”， Proc 中。 IEEE/RSJ 國際。會議。英特爾。機器人系統， 2014
年 9 月，第 877–884 頁。

[24] Z. Ma和J. Su，“機器人中國書法的美學評估”， IEEE Trans。認知。發展。系統，卷。 9、不。 1，

第 80‑90 頁，2017 年 3 月。
王博士是IET Fellow。他曾獲 IEEE TRANSACTIONS ON CYBERNETICS 最佳副主編獎。他也擔任 IEEE
[25] 曹芳，呂建，週東，楊麗，C.‑M。 Lin、C. Shang 和 C. Zhou，“機器人中國書法中的生成對抗網
絡”， Proc。 IEEE 國際。會議。機器人。自動。 （ICRA）， 2018 年 5 月，第 1104‑1110 頁。 TRANSACTIONS ON CYBERNETICS和International Journal of Fuzzy Systems 的副主編。

[26] 趙芳，黃玉，C.‑M。 Lin、L. Yang、H. Hu 和 C. Zhou，“中國書法機器人中自動漢字分解和人體手

勢的使用”， IEEE Trans。人馬赫。系統，卷。 49，沒有。 1，第 47‑58 頁，2019 年 2 月。

[27] 高旭，周成，超峰，楊麗，C.‑M。 Lin，T. Xu，C. Shang，和 Q. Shen，“使用卷積自動編碼器和差分

進化的數據驅動的機器人中國書法系統”，基於知識的系統，卷。 182，2019 年 10 月，藝術。
許敏傑1993 年出生於台灣台北市。2015 年獲得台北師範
不。 104802。 大學電機工程學士學位，目前正在攻讀博士學位。電機工
程系博士學位。他的研究興趣包括人工智慧、模糊邏輯系
[28] M.‑J。許，Y.‑H。 Chien，Y.‑T。吳，W.‑Y。王，和C.‑C。 Hsu，“使用類似 Delta 的機器人操縱器的 統、神經網路和強化學習。
機器人書法系統的機械設計和運動學分析”， Proc 中。國際。會議。模糊理論應用(iFUZZY)，台
灣新北市，2019 年 11 月，第 105–107 頁。

[29] M.‑J。許，Y.‑H。錢，W.‑Y。王，和C.‑C。許，“機器人書法系統的設計與實現”， Proc。國際。會

議。副詞。機器人。
英特爾。系統。 （ARIS），台灣台北，2017 年 9 月。

87250 2020 年第 8 卷
Machine Translated by Google
W.‑Y。 Wang等：基於深度學習的假設生成模型及其應用
餘立安分別於 2015 年和 2017 年獲得台灣師範大學電機工程學士
學位和碩士學位。現為國立台灣師範大學計算智慧實驗室研究生研
究助理，從事人工智慧設計工作。他的研究興趣包括神經網路和電
腦視覺。
錢義行1978年出生於台灣台北市，2007年獲台北輔仁大學電機工
程碩士學位，2017年獲台北輔仁大學電機工程博士學位。 2012
年畢業於國立台北科技大學電機工程系，獲博士學位。現為國立台
灣師範大學電機工程系博士後研究員。他目前的研究興趣和出版物
是模糊邏輯領域
控制、穩健自適應控制、機器學習和神經網路。
2020 年第 8 卷
CHEN‑CHIEN HSU （IEEE 高級會員）
出生於台灣新竹。他於
1987 年獲得台灣科技大學電子工程學士學位，1989 年獲得新竹國
立交通大學控制工程碩士學位，1989 年獲得新竹國立交通大學控
制工程博士學位。 1997年獲得澳洲昆士蘭州布里斯本格里菲斯大
學微電子工程學院博士學位。
在開始攻讀博士學位之前，他在台北 IBM 公司擔任了三年的系
統工程師，負責資訊系統規劃和應用程式開發。學習。 1997年加入台北聖約翰大學電子工程系擔任
助理教授，2004年晉升為副教授。2006年至2009年在淡江電機工程系工作大學，台北。他現任台北國
立台灣師範大學電機工程系教授。他是 200 多篇期刊和會議論文的作者或合著者。他目前的研究興趣
包括數位控制系統、進化計算、基於視覺的測量系統、感測器應用和移動機器人導航。他是 IET 院士。
87251