電機工程系碩士班

碩士學位論文

應用深度學習於問題分類與回應系統
之實驗研究
Experimental Study on Question Classification
and Answering System Based on Deep Learning

研究生：陳震輔

指導教授：張陽郎 博士
林敏勝 博士

中華民國一百一十一年六月
 摘要

論文名稱：應用深度學習於問題分類與回應系統之實驗研究

頁數：五十三頁

校所別：國立臺北科技大學 電機工程系碩士班

畢業時間：一百一十學年度第二學期

學位：碩士

研究生：陳震輔

指導教授：張陽郎博士、林敏勝博士

關鍵詞：深度學習、自然語言處理、GRU、LSTM、BERT

深度學習在各領域的運用相當廣泛，無論是文字分類、語音辨識、圖像處理等均

有其應用方式。本論文將以應用深度學習方法於 AWS 官方網頁及論壇常見問題之分

類與回應為研究課題。

本研究比較了五種用於問題分類的深度學習模型，包含了 GRU、Bi-GRU、LSTM、

Bi-LSTM 和使用自我注意力機制的 DNN。實驗結果顯示 Bi-GRU 與使用自我注意力

機制的 DNN 表現優於其它模型。

此外，本研究將以 BERT-based 模型進行問題回應的實驗，評量其在訓練時所使用

的兩種不同資料集與其混合所得資料集的效能。實驗結果顯示 BERT-based 模型使用

混合所得資料集的訓練效能優於較使用個別資料集的訓練效能。

i
 ABSTRACT

Title: Experimental Study on Question Classification and Answering System Based on Deep Learning

Pages: 53

School: National Taipei University of Technology

Department: Electrical Engineering

Time: June, 2022

Degree: Master

Researcher: Chen-Fu Chen

Advisor: Yang-Lang Chang, Ph.D. & Min-Sheng Lin, Ph.D.

Keywords: Deep Learning, Nature Language Processing, GRU, LSTM, BERT

Deep learning has been widely applied in many fields such as text classification, voice

recognition and image processing. This thesis will address the tasks of applying the deep

learning methods for classifying and answering the frequently asked questions on the

official website and the forum of AWS.

This study compares five deep learning models for the task of question classification,

including GRU, Bi-GRU, LSTM, Bi-LSTM, and DNN with self-attention mechanism. The

experimental results show that Bi-GRU model and DNN model with self-attention

mechanism outperform the other models.

Furthermore, this study evaluates BERT-based model trained on two datasets and their

mixed dataset for the task of question answering. The experimental results show that the

performance of BERT-based model trained on the mixture of the two datasets is better than

trained on either one used alone.

ii
 誌謝

研究生的生活忙碌也充實，很快就迎來學涯的論文撰擬階段，在學期間遇到許多

老師、同學，公司同仁也給予包容與支持，而本篇論文能完成首要感謝張陽郎老師與

林敏勝老師指導、程式與資料內容校正及提供所需研究環境，使此論文各方面更趨完

善，許多問題都仰賴老師經驗分享與指引，讓我在研究期間受益良多。

感謝張明桑及洪茂盛老師提供寶貴的時間擔任口試委員，給出的點評令人受益，

使得本論文實驗能在具有相關專業背景人士的協同下產生結果，由衷感謝。

此外要感謝公司主管昭禎主任與建維股長，在工作上提供協助及適當調整，工作

同伴更是臥虎藏龍，提供研究前期資料整理與應用方向的建議，也盡力分攤工作上突

發狀況，降低本人工作與學業上的衝突，讓我在進行研究期間能更加順利。

最後要感謝在我求學生涯中支持我的家人、朋友，還有奠基我所需知識的國、高

中及大學電機系老師，有大家的支持及諄諄教誨才能成就今日的我，希望未來能有進

一步成就。

iii
 目錄
摘 要 ............................................................................................................................................ i

ABSTRACT .............................................................................................................................. ii

誌 謝 .......................................................................................................................................... iii

目 錄 .......................................................................................................................................... iv

表目錄 ...................................................................................................................................... vii

圖目錄 ..................................................................................................................................... viii

第一章 緒論 ............................................................................................................................... 1

1.1 前言 ............................................................................................................................. 1

1.2 研究動機與目的 ......................................................................................................... 1

1.3 論文架構 ..................................................................................................................... 1

第二章 文獻探討....................................................................................................................... 3

2.1 自然語言處理 ............................................................................................................. 3

2.2 問題分類及回應生成 ................................................................................................. 4

2.3客戶服務應用相關研究 .............................................................................................. 4

第三章 研究方法 ...................................................................................................................... 6

3.1 研究架構 ..................................................................................................................... 6

3.2 研究工具 ..................................................................................................................... 7

3.2.1 使用硬體設備及軟體環境 ...................................................................................... 7

3.2.2 資料集處理使用套件 .............................................................................................. 7

3.2.3 模型建立套件 .......................................................................................................... 8

3.2.4 模型評估套件 .......................................................................................................... 8

3.3 資料集及預處理 ......................................................................................................... 8

3.4 使用模型及加強功能介紹 ....................................................................................... 10

iv
 3.4.1 LSTM...................................................................................................................... 11

3.4.2 GRU ........................................................................................................................ 12

3.4.3 Self-Attention ......................................................................................................... 13

3.4.4 BERT ...................................................................................................................... 14

3.4.5 Class Weight ........................................................................................................... 15

第四章 實驗結果與分析 ........................................................................................................ 17

4.1 分類模型實驗 ........................................................................................................... 17

4.1.1 分類訓練集評估 .................................................................................................... 17

4.1.2 LSTM、GRU、Self-Attention 分類模型 ............................................................ 19

4.1.3 分類模型超參數及加強功能 ................................................................................ 21

4.2 生成模型實驗 ........................................................................................................... 22

4.2.1使用 Web_QA 訓練 BERT-based UniLM 生成模型 ............................................ 22

4.2.2 使用 Forum_QA 訓練 BERT-based UniLM 生成模型 ....................................... 24

4.2.3 使用 Mix_A 訓練 BERT-based UniLM 生成模型 .............................................. 26

第五章 結論與未來工作 ........................................................................................................ 30

5.1 結論 ........................................................................................................................... 30

5.2 未來工作 ................................................................................................................... 31

參考文獻.................................................................................................................................. 32

附錄 .......................................................................................................................................... 34

附錄一 官方網頁問答集(Web_QA)各類數量 .............................................................. 34

附錄二 論壇討論內容(Forum_QA)各類數量 ................................................................ 37

附錄三 Bi-GRU 對6種資料輸入形式訓練各次評估準確率......................................... 40

附錄四 Web_QA 對5種模型訓練每次評估準確率 ....................................................... 40

附錄五 Bi-GRU 使用 Web_QA 及不同超參數、Class-Weight 每次評估準確率 ....... 41

附錄六 Self-Attention 使用 Web_QA 及不同超參數訓練每次評估準確率 ................ 41

v
附錄七 自訂問題預期關鍵字 ......................................................................................... 42

附錄八 使用 Web_QA 訓練 BERT-based UniLM 生成模型生成結果評估............... 43

附錄九 使用 Forum_QA 訓練 BERT-based UniLM 生成模型生成結果評估 ........... 46

附錄十 使用 Mix_A 訓練 BERT-based UniLM 生成模型生成結果評估 .................. 51

vi
 表目錄

表3. 1 電腦硬、軟體環境與運算模型 ...................................................................................... 7

表3. 2 Web_QA 內容範例 .......................................................................................................... 9

表3. 3 資料輸入形式、分類與數量 ........................................................................................ 10

表4. 1 Bidirectional GRU 對6種訓練集訓練結果................................................................... 18

表4. 2 Web_QA 訓練集對5種模型訓練結果 .......................................................................... 20

表4. 3 Bi-GRU 使用 Web_QA 及不同超參數、Class-Weight 訓練結果 .............................. 21

表4. 4 Self-Attention 使用 Web_QA 及不同超參數訓練結果 ............................................... 21

表4. 5 使用 Web_QA 訓練 BERT-based UniLM 生成模型之生成結果範例 ........................ 23

表4. 6 使用 Forum_QA 訓練 BERT-based UniLM 生成模型之生成結果範例..................... 24

表4. 7 使用 Mix_A 訓練 BERT-based UniLM 生成模型之生成結果範例............................ 27

表4. 8 生成模型評估結果綜整 ................................................................................................ 29

vii
 圖目錄

圖3. 1 LSTM 結構圖 ................................................................................................................ 11

圖3. 2 GRU 結構圖................................................................................................................... 12

圖3. 3 Self-Attention 架構圖 .................................................................................................... 13

圖3. 4 Transformer 結構圖(左側 Encoder 是 BERT 主要結構).............................................. 14

圖3. 5 UniLM 架構圖(左)不同模型目標的示意圖(右) .......................................................... 15

圖4. 1 Bi-GRU 分類模型架構圖 ............................................................................................. 18

圖4. 2 Self-Attention 架構圖 .................................................................................................... 20

圖4. 3 使用 Web_QA 訓練 BERT-based UniLM 生成模型 Loss 迭代圖 ............................... 22

圖4. 4 使用 Forum_QA 訓練 BERT-based UniLM 生成模型 Loss 迭代圖 ........................... 24

圖4. 5 使用 Mix_A 訓練 BERT-based UniLM 生成模型 Loss 迭代圖 .................................. 26

viii
 第一章 緒論

本章分三節，第一節為前言，對於深度學習在客戶服務方面運用概述，第二節為

研究動機與目的，講述研究發起原因，第三節為論文架構，說明本論文各章節概要。

1.1 前言
我們使用深度學習中的自然語言處理（Natural Language Processing, NLP）技術對

自行收集的雲端資料集進行分類，觀察其訓練後的分類結果是否符合預期，另外利用

大型深度學習模型對特定雲端功能進行雲端問題之回應生成，觀察哪種模型生成結果

較切合實際。

1.2 研究動機與目的
隨著電腦及網路的發展，大量的訊息需要傳輸、運算與儲存已經是一種趨勢，光

纖傳輸、大數據、雲端服務因此而生，雲端服務業者提供企業及個人使用功能種類越

來越多，用戶的問題也大幅增加，如使用人力分類、轉介、處理將會非常耗時耗力。

深度學習是機器學習的一個分支，對於在自然語言處理應用上相當成熟，隨著各

種訓練模型推出，機器越發了解語言中詞句的意義，甚至是上下文的關係，因此想藉

實驗了解相關技術來解決客戶問題分類及回應生成，藉以減少處理人力與時間之可行

性。

1.3 論文架構
第一章為緒論，包含前言、研究動機與目的。第二章為文獻探討，包含自然語言

處理、問題分類及回應生成以及在客服應用之文獻探討。第三章研究方法，包含研究

1
架構、工具、資料集及預處理及深度學習模型。第四章為實驗結果與分析，包含資料

集評估、分類及生成模型訓練結果以及實驗結果評估。第五章為結論與未來工作。

2
 第二章 文獻探討

本章分為三節，第一節為自然語言處理，說明自然語言概念與演進及現今與未來

發展狀況，第二節是問題分類及回應生成，概述目前問題分類與回應生成各種模型及

機能在自然語言的發展現況，第三節為客戶服務應用相關研究，針對上述研究在客戶

服務應用狀況做探討。

2.1 自然語言處理
讓電腦了解人類語言的技術就是自然語言處理(Natural Language Process，簡稱

NLP)，主要是在讓電腦程式這類具有硬性規則的語言能夠處理一般中、英文等會隨

著人、事、時、地、物不同而有不同表達方式的軟性語言。

早期自然語言處理需要建立詞庫，像是 WordNet 就是有名的傳統詞庫，但因為需

要龐大人力維護，且隨著時間演變詞庫組成也不相同，另一種是利用計數方式，從擁

有大量文本資料的語料庫中分析後，將每個字的計數結果製成共生矩陣，以獲得字詞

間的相似度，但缺點是當字詞數太多的時候矩陣會非常龐大[1]。

現今普遍處理方式稱為推論方法，其作法主要是將語料分為輸入句及輸出目標，

藉由向模型輸入句子後得到輸出結果與目標差異值，藉由差異值對模型內權重進行調

整，使得模型可以進行字詞填空，此方法最具代表的是 word2vec，但其並無法處理時

間相依問題，所以在機器學習中多是當作 Embedding 角色，輸出詞向量給 RNN

(Recurrent Neural Networks)、CNN (Convolutional Neural Networks)等類神經網路運用。

目前受益於運算能力的提升，推論方法在深度學習網路初期生成詞向量使用非常

廣泛，加上 BERT、GPT 等模型的出現，使得機器對於文字的認知越來越準確，不但

可以了解文言文的意義[2]，甚至還可以生成對聯[3]。

3
2.2 問題分類及回應生成
問題分類可以使用基於規則、機器學習或混合上述兩種方法進行分類工作[4]，基

於規則的方法又可以分為基於辭典(lexicon-based)、基於模式(pattern-based)或是混合

方法，此類方法需要對該問題領域有深度了解，且需時間研究如何建立通用規則或模

式處理所有問題。

機器學習是基於語料庫的方法，其又可區分為需要資料提供分類標籤的監督式學

習(supervised learning)、由機器自行分類的非監督式學習(un-supervised learning)、混

和上述方式的半監督式學習(semi-supervised learning)等三種不同的學習方式，這些學

習方法可使用遞歸演算法、決策樹演算法、貝葉斯演算法、深度學習等多種方式進行

分類計算作業，此方法需要夠多分類資訊及計算資源使機器歸納出分類方式[5]。

Alan Turing 於1950年提出了圖靈測試以測試機器是否具有智慧，測試方法就是透

過問答方式進行，而建立問答系統最廣為人知的評估方式就是圖靈測試，早期問答系

統多為限定領域問答系統，主要是回答特定領域問題，包括基於本體(Ontology-based)

的問答系統、資料庫查詢系統、問答式專家系統等[6]，現今隨著網路興起、儲存媒

體容量增加、計算能力提升，造就維基百科等龐大的知識庫與深度學習運算基礎，開

放領域的問答系統研究也越來越多，像是開放領域問答系統 DrQA [7]、聊天機器人

Albert、Google Meena 等。

2.3客戶服務應用相關研究
現今行業形形色色，提供的服務也是五花八門，而服務人員的培訓及專業度也是

需要時間及經驗的累積，如能善用深度學習提供可用建議給服務人員參考，處理問題

也能事半功倍，在問題分類方面，結婚禮服問答分類這篇研究[8]利用客戶與服務人

員語音紀錄轉換成文字，將問答內容分別輸入 SM (Stemming Mechanism)及 TFIDF

(Term Frequency and Inversed Document Frequency)組成的模型並與加上神經網路的模

4
型進行比對，最後以有神經網路(NN)的分類正確率達到97%最好。

除了問題分類，也有研究同時利用分類模型及生成模型完成建言生成系統，如利

用機器學習在烹飪問答研究[9]，作者收集各種烹飪問答集，並將其中心分類為15類，

使用 BERT 對其進行分類，並將問題與分類結果再給第二個 BERT 做建言生成，最後

將分類結果與建言提供用戶參考。

也有透過問題判斷後提供候選答案之方法建立回答系統，如使用深度學習進行電

力障礙檢測協助研究[10]，其使用工程師與用戶對話資料及最後答案進行整理後，利

用 RNN 及 CNN 計算對話內容與解決問題之回應內容建立關聯，最後可以獲得問答關

聯集，而當用戶提問時，系統會從問題中解析相似的問題，並提供候選答案給用戶。

由上述可得知機器學習在問題分類及回應的部分，做法可以由用戶提出的問題後

透過系統進行分類，並交由第二個模型選出合適的建議或是透過模型生成建議內容，

當問題範圍較集中於某個領域時，則僅需生成模型直接生成建議內容即可。

5
 第三章 研究方法

此章主要分為三節，第一節研究架構針對資料分類狀況、研究方向及方法進行說

明，第二節研究工具就使用硬體、軟體套件等做介紹，第三節資料集及預處理則介紹

本研究使用的資料集來源與基本資訊，最後是使用模型及加強功能介紹。

3.1 研究架構
1. 資料收集：本研究以亞馬遜網路服務(Amazon Web Services，AWS）為研究標的，

收集官方網頁問答集及論壇討論內容做為資料集。

2. 資料分類：研究時官方網頁問答集將雲端功能分為22類計131種，經過檢查後發現

部分功能有重覆分類，故研究參考實際雲端功能類型與公司業務分配狀況，將分

類改為15類131種，論壇討論內容亦依前述方法重新進行分類。

3. 資料預處理：官方網頁問答集以人工審視修正，論壇討論內容因使用英文，故用

程式翻譯並刪除特殊字元。

4. 資料輸入形式建立：使用上述兩種資料集，定義6種不同的資料輸入形式。

5. 分類模型訓練與評估：選定一種模型對各種資料輸入形式進行分類訓練，後續利

用較佳的資料輸入形式對不同模型進行訓練，並統整後分析其結果，接下來用最

佳效果模型及最佳資料輸入形式對超參數進行調整，另外也嘗試於訓練時使用常

見的加強功能，並對結果進行整理，完成分類結果評估作業。生成模型訓練與評

估：生成部分我們使用 BERT-based 模型對官方網頁問答集、論壇討論內容及兩者

混合的訓練集進行訓練，最後對結果進行整理，並完成生成結果評估作業。

6
3.2 研究工具
3.2.1 使用硬體設備及軟體環境
分類模型 LSTM、GRU、Self-Attention 模型較小，顯示卡記憶體需求不大，但

BERT-based 生成模型就需要10G 以上的顯示記憶體，實驗室電腦可提供運算需求，電

腦硬、軟體環境與運算模型如表3.1。

表3.1 電腦硬、軟體環境與運算模型

主要硬體 主要軟體/套件 運算模型

Ubuntu 18.04.4
Intel i7-6700 Python 3.6.9
電腦1 NVIDIA 2080Ti 11G Tensorflow 1.13 BERT-based 生成模型
Memory 40G Keras 2.2.4
Bert4keras
Ubuntu 18.04
Intel i7-7700
Python 3.6.9 GRU、LSTM、Self-
電腦2 NVIDIA 1060 6G
Tensorflow 1.12 Attention 分類模型
Memory 64G
Keras 2.2.4

3.2.2 資料集處理使用套件
資料收集部分使用 Chrome 瀏覽器進行網頁程式碼查看，如各功能網頁沒有固定

格式，就直接用手動複製，如果像是 AWS 論壇討論內容有制定格式部分就使用

Python 套件 Request 及 Selenium 抓取網頁程式碼，並用指令模擬手動操作進行換頁或

處理網頁檢查機制，最後利用 Python 套件 Beautiful Soup 分析網頁程式內容並抓取所

需資訊。

將所需資訊抓下來使用 Python 套件 Pandas 儲存成表格並進行整理，因 AWS 論壇

內容為英文，故使用 Google-trans 翻譯英文內容，最後得到官方網頁問答集及論壇討

7
論內容兩個檔案，在進行分類模型訓練前會再利用 Python 套件 Jieba 進行分詞。

3.2.3 模型建立套件
TensorFlow 是開放原始碼的機器學習平台，提供從分詞、模型建立、訓練及評估

等一切功能，很多套件都是基於 TensorFlow 再進行延伸的工具開發，像是此研究的分

類模型使用的 GRU、LSTM 及 Self-Attention 模型是利用 Keras 建構及訓練，而生成模

型所需的 BERT-based 模型是利用 Bert4keras 進行建構及訓練。

3.2.4 模型評估套件
訓練完成的模型會使用 Matplotlib 對其 Loss 及評估準確率進行繪圖，以便了解其

訓練歷程，另外對於分類模型會用 Seaborn 進行混淆矩陣的評估，可藉由其結果察看

某分類錯誤分類較多，但因為數量太多故不在論文中探討，但利於我們觀察模型對測

試資料分類狀況。

3.3 資料集及預處理
本研究資料集主要來源為官方網頁問答集(https://aws.amazon.com/tw/faqs/)及論壇

討論內容(https://forums.aws.amazon.com/index.jspa)，收集及整理流程如下，兩個資料

集各功能問答數量如附錄1、2。

官方網頁問答集(以下簡稱 Web_QA)使用網頁瀏覽器以手動方式收集，資料內容

主要為中文，少部分雲端功能未提供中文內容時，使用英文網頁問答集翻譯後補充，

因主要為人力審查，故分類準確且內容有經過整理，無特殊符號且問答內容相關性高，

但數量較少，內容區分為業務類別(Category)、功能名稱(Function)、問題(Question)、

答案(Answer)，內容範例如表3.2。

8
 表3.2 Web_QA 內容範例

業務類別 功能名稱 問題 答案
資訊型機器人 – 建立可回答問
Amazon Lex 的最常用案例
AI_and_ML CHT_Amazon_Lex 題的自動化客戶支援代理器或機
為何?
器人
Amazon Lex 是否會在一段 是。Amazon Lex 使用深度學
AI_and_ML CHT_Amazon_Lex
時間後變得更聰明? 習，會隨著時間不斷改進。
若要存取 AWS 雲端合規和安全
AWS_Service_ CHT_AWS_Directory_
如何存取合規和安全報告? 的相關文件完整清單，請參閱
Management Service
AWS Artifact。

Security_and_ CHT_AWS_Identity_ 所有 AWS 客戶都可使用 IAM

誰可以使用 IAM 角色?
Risk_Control and_Access_Management 角色。

標記 Amazon AppStream 使用標籤搭配 Amazon

CHT_Amazon_
Cloud_Office 2.0 資源是否會產生任何費 AppStream 2.0 時沒有額外的費
AppStream_2.0
用? 用。

官方論壇討論內容(以下簡稱 Forum_QA)使用自動套件抓取，資料內容全為英文，

故抓取並使用 Googletrans 進行翻譯後以程式將特殊字元刪除、替換，再利用套件翻

譯為中文，內容並未逐條審視，數量較多、句子較長但問答內容相關性低，內容同樣

區分為業務類別(Category)、功能名稱(Function)、問題(Question)、回應(Answer)。

以上述兩種資料集為基礎，在進行分類訓練時，Web_QA 將問題句與對應答案句

合併為一句做為輸入，為了用不同資料輸入形式做對比，另設定只以 Web_QA 之問題

句作為輸入之方式(以下簡稱 Web_Q)；Forum_QA 部分以問題、答案各自作為訓練句

輸入，同樣也設定只以 Forum_QA 之問題句輸入方式作為對比(以下簡稱 Forum_Q)。

另也嘗試將 Web_QA 與 Forum_QA 混和對模型訓練，第一種方式是直接使用

Web_QA 與 Forum_QA 方式作為輸入(以下簡稱 Mix_A)，另一種是以 Web_QA 方式為

主並用 Forums_QA 方式盡量將各類輸入句的數量補充一致(以下簡稱 Mix_B)，以查看

各分類資料數量相似時對分類結果之影響，經過以上方法處理並刪除重覆內容後可得

到6種資料輸入形式(如表3.3)，每個輸入均對應預期輸出之業務類別標籤。

9
 表3.3 資料輸入形式、分類與數量
輸入形式
Web_Q Web_QA Forum_Q Forum_QA Mix_A Mix_B
分類
計算 1103 1494 66814 133172 134666 1494
資料庫與大數據 1017 1468 17560 34675 36143 1494
儲存 1007 1358 12768 25487 26845 1494
服務管理 857 1308 12278 24547 25282 1494
雲端辦公應用 814 1032 10982 21906 22796 1494
安全 655 1023 4181 8352 9375 1494
用戶服務 572 890 3870 7723 9031 1494
網路 568 735 3531 7035 7617 1494
AI 及 ML 464 582 2688 5371 5696 1494
程式設計 250 347 2337 4664 5682 1494
物聯網 244 311 1988 3966 4313 1494
雲端化 195 300 952 1904 2168 1494
媒體服務 188 264 565 1125 1425 1494
遊戲 126 159 322 644 723 723
支付服務 53 79 70 140 299 299
總和 8113 11350 140906 280711 292061 20375

進行生成訓練時，分別使用 Web_QA、Forum_QA 及 Mix_A，將問題句作為輸入、

答案句作為預期輸出，對模型進行訓練。

3.4 使用模型及加強功能介紹
本研究主要區分為分類模型及生成模型，分類模型訓練時會使用前一節所述6種

資料輸入形式，為利快速訓練，將以小型的 LSTM、GRU、Self-Attention 為主，並對

分類較佳模型加上 Class-Weight 加強功能進行觀察，生成模型將以 BERT-based 模型

為主要研究對象。

10
3.4.1 LSTM

ft it gt

ot

圖3.1 LSTM 結構圖

LSTM (Long Short-Term Memory)是較常見取代 RNN 的一種方法，LSTM 加入稱

作 閘 門(Gate)的 結 構(如 圖3.1)， 因 進 行 反 向 傳 播 時 計 算 並 不 會 經 過 tanh 或 是 X

(MatMul)，由此可以避免類似 RNN 出現梯度消失或梯度爆炸狀況[1]，另外增加記憶

單元，使得 LTM 得以將重要的記憶資訊匯集給下一次 LSTM 進行運算。

LSTM 有輸入、輸出、遺忘閘三種閘門，當 LSTM 接收到輸入(xt)時也會收到上個

時間的隱藏狀態(ht-1)及記憶資訊(Ct-1)，每個閘運作時都需要這三個資訊，首先遺忘閘

利用 xt 與 ht-1計算權重(Wx(f)、Wh(f)及 b(f))後與 Ct-1計算乘積即可算出遺忘錯誤或不重要

的記憶資訊 Ct，其運算方程如3.1式。

( ) ( )
𝑓 = 𝜎(𝑥 𝑊 +ℎ 𝑊 + 𝑏( ) ) (3.1)

接下來輸入閘會將 xt 與 ht-1計算 it 與 gt 的兩種權重(Wx(i)、Wh(i)、b(i)及 Wx(g)、Wh(g)、

b(g))後，將此次 xt 有價值的資訊交給記憶資訊 Ct 並傳送至下個 LSTM，其運算方程如

3.2、3.3、3.4式。

() ()
𝑖 = 𝜎(𝑥 𝑊 +ℎ 𝑊 + 𝑏( ) ) (3.2)

( ) ( )
𝑔 = 𝑡𝑎𝑛ℎ(𝑥 𝑊 +ℎ 𝑊 + 𝑏( ) ) (3.3)

𝐶 =𝑓 ⊙𝐶 +𝑔 ⊙𝑖 (3.4)

11
 最後輸出閘將 xt 與 ht-1計算權重(Wx(o)、Wh(o)及 b(o))後與 Ct 計算得到新的隱藏狀態

(ht)，其運算方程如3.5、3.6式。

( ) ( )
𝑜 = 𝜎(𝑥 𝑊 +ℎ 𝑊 + 𝑏( )) (3.5)

ℎ = 𝑜 ⊙ tanh(𝐶 ) (3.6)

由上述流程可以知道 Ct 運算只有相加與哈達瑪積，因此其反向傳播較不會有梯度

消失及爆炸問題。

3.4.2 GRU

圖3.2 GRU 結構圖

GRU 仿效 LSTM 的閘門運用，但其沒有記憶單元，閘門也只有重置(r)與更新(z)

閘門(如圖3.2)，因此其運算時間較 LSTM 短[1]，輸入只需要前次的隱藏狀態(ht-1)及輸

入(xt)，首先重置閘門會先用 ht-1、xt 計算權重 Wx(r)、Wh(r)及 b(r)再與 ht-1進行運算，得

到那些隱藏狀態要被忽略，並得到新的隱藏狀態 ht。

( ) ( )
𝑟 = 𝜎(𝑥 𝑊 +ℎ 𝑊 + 𝑏( )) (3.7)

接下來更新閘門也會利用 ht-1、xt 計算權重(Wx(z)、Wh(z)及 b(z))後做(1-z)的運算，這

裡的運算主要是算出必須要忘記的資料，功能類似 LSTM 的遺忘閘，另外會再利用更

新閘與重置閘結果計算出新的隱藏狀態，最後將隱藏狀態更新。

12
 ( ) ( )
𝑧 = 𝜎(𝑥 𝑊 +ℎ 𝑊 + 𝑏( )) (3.8)

ℎ = tanh(𝑥 𝑊 + (𝑟 ⊙ ℎ )𝑊 + 𝑏) (3.9)

ℎ = (1 − 𝑧 )⊙ ℎ +𝑧 ⊙ℎ ) (3.10)

由上述流程可以知道 GRU 保有 LSTM 的優點，也減少了運算量，適合做初期資

料集的評估，故使用 Bidirectional GRU(以下簡稱 Bi-GRU)模型進行訓練集評估。

3.4.3 Self-Attention
原本的 Attention 機制是為了解決 RNN Seq2Seq 機制中對於輸入序列缺乏區分度

進行改善[11]，而 Self-Attention 是使用類似 CNN 方式取代其功能[12]。

Self-Attention 中輸入資訊每個位置都有 Q、K、V 三個權重矩陣(如圖3.3)，當字

詞輸入時會與 Q、K、V 個別計算，Q 的計算結果會與其他位置的 K 計算結果做 Scaled

Dot-Product， 如 此 可 以 得 到 此 字 詞 與 其 他 字 詞 的 相 似 性 ， 之 後 對 其 做 Softmax

Normalization，再將結果與 V 的計算結果相乘即得預測字詞。

圖3.3 Self-Attention 架構圖

此種方式可以透過平行化處理一次獲得所有的預測字詞，不需像 RNN 一樣要透

過一層層的隱藏層資訊計算，另外利用 Multi-Head Attention 可以同時計算不同的 Q、

13
K、V 組合，而不同的 Q、K、V 初始值可以多面向的理解字詞間的關係，效果也會更

好，此研究僅使用 Self-Attention 進行實驗。

3.4.4 BERT
BERT 是 Bidirectional Encoder Representations from Transformers 的 縮 寫 ， 是

Google 利用 BooksCorpus 及維基百科大量文字訓練出的通用預訓練模型，而使用者只

須要對其再做後續的 Fine-tune 就可以成為專為某種領域使用的生成、分類或是文字處

理的模型，但如果使用完整的 BERT 模型所需要的記憶體及運算量非常大，因此如果

用 GPU 運算時，顯示記憶體太小就無法順利運行。

圖3.4 Transformer 結構圖(左側 Encoder 是 BERT 主要結構)

依照 BERT 論文的描述[13]，其主要構成是多層 Transformer 的 Encoder(圖3.4左側

部分)，主要區分為12層 Transformer Encoder 的 BERTBASE 及24層的 BERTLARGE 兩種版

本，在各種語言評估項目中的結果都有很高的成績。

14
 目前 BERT 有多種版本，除了英文以外還有中文、日文、多國語言的版本，也有

些專門研究會重新訓練自己的 BERT 預訓練模型以獲得更好的效果，另外也衍生多種

變形，例如 MASS、UniLM、RoBERTa、XLNet、ALBERT、TinyBERT、Electra 等。

在本研究的生成模型使用多國語言版本 BERT，以 UniLM 方式進行訓練，其主要

是作為生成模型使用，與 BERT 不同的是其利用 Mask 將 Seq2Seq 訓練方式引進

BERT(如 圖3.5) [14]， 訓 練 時 需 輸 入 編 碼 後 的 訓 練 資 料(Token Tensor)、 句 子 標 示

(Segment Tensor)、遮罩標示(Mask Tensor)及最後的標籤或結果句。

圖3.5 UniLM 架構圖(左)不同模型目標的示意圖(右)

3.4.5 Class Weight

一般收集到的資料集常常會遇到各分類資料量不同的狀況，因此當樣本特徵相似

時，就常常會被歸類到資料量較多的分類，為了解決資料不平均的現象，有需多方法

可以嘗試[15]，Class-Weight 是屬於 Cost-sensitive 類型的方法，其主要是利用定義各

分類進行反向傳播時 Loss 權重，經查看程式內容，其計算結果會使樣本數少的分類

15
權重變大，藉此增加模型將資料歸納到資料量較少分類的機會，其計算方式如3.11式。

𝐶𝑙𝑎𝑠𝑠 𝑤𝑒𝑖𝑔ℎ𝑡 = ×
(3.11)

16
 第四章 實驗結果與分析

依照3.1節研究架構內容，分別進行分類模型及生成模型實驗及評估。

4.1 分類模型實驗
我們先選定一種模型對6種資料輸入形式進行評估，之後再利用該資料輸入形式

對各分類模型、超參數及加強功能進行實驗，以獲得分類最佳模型、超參數與加強功

能之組合。

4.1.1 分類訓練集評估
依照模型特性以 GRU 訓練最快，另外字句可能有前後相關性，因此我們使用 Bi-

GRU 對6種資料輸入形式進行訓練，Bi-GRU 分類模型架構圖如圖4.1，模型設定及參

數設定如下：

1. 設定訓練集與測試集比例為8：2。

2. 設定字詞數量是 Jieba 分詞完後，全部字詞數量的一半，上限為50000個字詞。

3. 設定一個句子最多字詞數定義為最長句子長度的一半。

4. 模型輸入給 Embeding 層，維度設定為150，之後 Bi-GRU 單元數量也設定為150，

加上 Dense 層設定長度150，最後 Dese 層設定15，用 Softmax 做激勵函數。

5. 每個 Epoch 檢查一次評估準確率，如果連續超過5次沒有上升，就結束訓練。

6. 每種資料輸入形式均訓練10次並取其評估準確率平均值。

最後得到平均評估準確率結果如表4.1，另每次訓練評估準確率結果如附錄三。

17
 圖4.1 Bi-GRU 分類模型架構圖

表4.1 Bidirectional GRU 對6種訓練集訓練結果

Web_Q Web_QA Forum_Q Forum_QA Mix_A Mix_B

平均評估
0.8056 0.8996 0.8739 0.8552 0.8572 0.828
準確率

依照訓練結果得知，Web_QA 與 Web_Q 結果差異大，主要是因為 Web_Q 只使用

問題句，不僅數量少且句子較短，可以提供模型訓練的資訊是所有資料輸入形式中最

少的，而 Web_QA 訓練句不但有問題也有答案句，可提供訓練資訊相對較多。

Forum_QA 與 Forum_Q 的訓練結果以 Forum_Q 較佳，經過審視輸入內容後可能

原因為 Forum_QA 的答案部分屬於討論內容，其中參雜非該分類相關的內容，另外在

18
清除特殊字元後仍然遺留部分不必要資訊，例如網址、人名等，導致訓練結果較差。

Mix_A 結果優於 Mix_B 的原因，除了是兩者資料量差距甚大之外，另外查看輸入

內容後可能是因為 Mix_B 是利用論壇翻譯後資料對 Web_QA 進行補充，但翻譯時有

些內容會失真，例如 EC2 Instant 會被翻譯為 EC2實例、REST API 翻譯成休息 API 等，

造成字意出現歧異，而 Mix_A 主要內容都是 Forum_QA 內容，受到 Web_QA 影響較

小，故結果較好。

綜合以上結果，Web_QA 分類最好原因主要是可提供較充分的訓練資訊、內容經

過審查故分類較 Forum_QA 正確、沒有翻譯後字義分歧問題、不必要資訊較少等四點，

為確保後續的訓練準確性，將使用 Web_QA 作為後續研究使用。

4.1.2 LSTM、GRU、Self-Attention 分類模型

目前已經得知 Bi-GRU 對 Web_QA 資料輸入形式之效果，因此我們利用同樣的設

定對 LSTM(Long short-term memory)、Bidirectional LSTM、GRU、使用 Self-Attention

機 制 的 DNN 模 型 （ 以 下 簡 稱 Self-Attention 模 型 ） 進 行 訓 練 ， 其 中 LSTM、

Bidirectional LSTM、GRU 架構與圖4.1類似僅將 Bi-GRU 部分做更換，不再一一列出，

另 Self-Attention 的架構圖部分如圖4.2。

同樣每種模型訓練10次並取其評估準確率平均值，結果如表4.2，另每次訓練評估

準確率結果如附錄四。

19
 圖4.2 Self-Attention 架構圖

表4.2 Web_QA 訓練集對5種模型訓練結果

LSTM Bi-LSTM GRU Bi-GRU Self-Attention

平均評估
0.8659 0.8643 0.8985 0.8996 0.9076
準確率

由實驗結果得知，在 RNN 模型部分 Bi-GRU 評估準確率仍然是最高，比 LSTM 高

出約3%準確率，而 GRU 準確率只略微低一些，但 Self-Attention 模型訓練結果比 Bi-

GRU 模型更好，為了對比兩種模型，依照實驗結果後續將分別使用 Bi-GRU、Self-

Attention 模型與 Web_QA 進行研究。

20
4.1.3 分類模型超參數及加強功能
此實驗 Bi-GRU 使用 Web_QA 進行訓練，將 Embedding 輸出維度(output dimension)

大 小 、GRU 單 元(Units)數 量 分 別 提 升 至300及600， 故 架 構 與 圖4.1相 似 ， 僅 更 改

Embedding 及 GRU 參數，另使用 Class-Weight 進行實驗，以觀察其造成結果之差異，

其平均評估準確率結果如表4.3，另每次訓練評估準確率結果如附錄五。

表4.3 Bi-GRU 使用 Web_QA 及不同超參數、Class-Weight 訓練結果

Embedding Embedding Bi-GRU Bi-GRU
Class-Weight
Size 300 Size 600 Units 300 Units 600
平均評估
0.9149 0.9171 0.9119 0.9082 0.9116
準確率

與前一實驗 Bi-GRU 訓練結果比對，分別增加 Embedding 輸出維度至600、Bi-

GRU 單元數量至300及使用 Class-Weight 有提升評估準確率，因此合併使用此三種方

法進行訓練，結果平均評估準確率為0.9151(訓練期間每次訓練評估準確率結果如附錄

五)，並未優於增加 Embedding 輸出維度至600的訓練結果。

另外對 Self-Attention 做不同超參數及加強功能實驗，與前一實驗 Self-Attention 訓

練 結 果 比 對 ， 增 加 Embedding 輸 出 維 度 至300並 未 顯 著 提 升 評 估 準 確 率 ，Self-

Attention 長度由原先的20增加至40或使用 Class-Weight 僅些微提升評估準確率，結果

如表4.4，另訓練期間每次訓練評估準確率結果如附錄六。

表4.4 Self-Attention 使用 Web_QA 及不同超參數訓練結果

Embedding Size 300 Self-Attention Width 40 Class-Weight

平均評估
0.907 0.91 0.91
準確率

21
4.2 生成模型實驗
在 SQuAD 2.0排行上(https://rajpurkar.github.io/SQuAD-explorer/)有許多效果不錯

的模型都是使用 BERT 進行改進，另外在之前分類實驗也可看出單層 Self-Attention 也

有很好的效果，故以 BERT-based UniLM 作為生成模型進行實驗，對 Web_QA、

Forum_QA 及 Mix_A 之進行訓練。

4.2.1使用 Web_QA 訓練 BERT-based UniLM 生成模型

BERT-based UniLM 使用 Web_QA 訓練時設定 Step per epoch 為1000，Batch size

設定為2，共計執行2899次，有最小 Loss 值0.03163，Loss 迭代圖如圖4.3，自訂問題

生成結果節錄如表4.5。

圖4.3 使用 Web_QA 訓練 BERT-based UniLM 生成模型 Loss 迭代圖

22
 表4.5 使用 Web_QA 訓練 BERT-based UniLM 生成模型之生成結果範例

題號 問題 生成結果
您可以使用 amazon ec2 api 工具匯入您的記憶體密
集型項目。將叢集記憶體限制為您執行的執行個體
如需大量記憶體要使用
1 數量，以便我們無法解決您的執行個體偏好設定。
哪種 Amazon EC2 規格?
選擇" uri" 。在這些記憶體中，您會決定該記憶體
要傳送的 amazon ec2 執行個體數量。
您可以在 amazon ec2 的計價狀況下涵蓋某個月初
始化: 00: 00 直接內的 amazon ec2 執行個體轉移程
在哪裡可以看到 Amazon
2 序。如果您需要更多的使用案例，請填寫 amazon
EC2 的計價狀況?
ec2 執行個體申請表並與您的使用案例一起提交，
我們將在下個月第一天內答覆您的請求。
您可以選擇在 amazon ec2 上執行指定三種範本，
包括容器和叢集運作狀態、可靠狀態和可重複的執
有甚麼平台可以同時監
3 行個體。您可以使用 aws 管理主控台、rest api、
控多個 Amazon EC2?
aws cli 或 aws 開發套件來建立這些 amazon ec2 執
行個體。
您可以使用 amazon ec2，將內部部署的資料倉儲叢
集從現有的 amazon ec2 執行個體移轉到雲端。您
如果兩個 Amazon EC2 要 也可以使用 aws datasync，在 amazon ec2 中部署和
4 做負載平衡可以使用哪 執行 sql 查詢。aws datasync 會嘗試佈建 amazon ec2
種功能? 執行個體。如果您想要使用其他硬體遷移到
amazon ec2，請填寫 amazon ec2 執行個體，以提供
聯網和儲存效能。
amazon s3 儲存貯體、資料夾、檔案和儲存存取決
在 Amazon S3 儲存檔案 於資料集的大小。您可以在檔案上設定耐用性，也
5 的可靠性、耐用性及安 可以使用 cloudwatch events 建立耐用性事件的命令
全性如何? 列界面。另外，您也可以使用 aws 開發套件、cli
或 aws cloudformation 範本啟用可攜式的檔案。

經查看生成結果已經形成句子且大部分都能夠理解，但部分如第1題回應內容

「選擇" uri"」中的 URI 是代表 EC2位置的描述字串，但選擇後要做甚麼卻沒有說明，

另外如第2題「某個月初始化: 00: 00」的描述也無進一步的關聯句子，故會讓人不了解

其用意。

另外，回應內容均與問題有字詞方面的相關性，所以當問題出現重要字詞，例如

「記憶體」、「Amazon EC2」、「計價」等字詞時，其回答也會包含這些字詞，並對

該字詞相關內容作描述，只是不一定會回答到問題重點，例如第4題重點是 AWS 負載

23
平衡功能名稱，但回答內容卻是資料遷移，而第3題就有回答監控 EC2相關資訊，例如

用範本建立可監控的 EC2或使用 AWS 管理主控台建立及監控 EC2。

4.2.2 使用 Forum_QA 訓練 BERT-based UniLM 生成模型

BERT-based UniLM 使用 Forum_QA 進行訓練時，設定 Step per epoch 為1000，

Batch size 設定為2，共計執行3,010次，有最小 Loss 值1.45509，Loss 迭代圖如圖4.4，

自訂問題生成結果節錄如表4.6。

圖4.4 使用 Forum_QA 訓練 BERT-based UniLM 生成模型 Loss 迭代圖

表4.6 使用 Forum_QA 訓練 BERT-based UniLM 生成模型之生成結果範例

題號 問題 生成結果
amazon ec2 規格架構包括 amazon ec2 和 2zon ec2 單元提
供了泛型的格式。有關的喜細，請參閱 ec2 規格模型。
如需大量記憶體要
ec2 規格包括 amazon ec2 單元。c2 規格包括 amazon ec2
1 使用哪種 Amazon
單元。關馬拉線。ec2 規格包括 amazon ec2 單元。ec2
EC2 規格?
規格包括 amazon ec2 單元。ec2 單元亞馬遜 ec2 單元
ec2 ec2 單元 ec2 ec2 單元
在哪裡可以看到 amazon ec2 為此個別 24 小時收 s 消耗了價格。有關更
2 Amazon EC2 的計 多信息，請參閱此常見問題解答。//aws. amazon.
價狀況? com/ec2/pricing/我可以看到亞馬遜 c22 的價格為 0. 以

24
題號 問題 生成結果
上。amazon ec2 為格式為 0.00 美元/月 2 的價格為 0.00
美元。，amazon ec2 為計費狀供提供了定價信息。有關
以下介紹的更多信息，請參閱此常見問題解答 ec2 定價
信息。//aws. amazon. com/ec2/pricing/我可以看到亞馬遜
ec2 為定價信息為 0.00 美元。
amazon ec2 並不指望同時實例。但是，您可以使用
cloudwatch 來監控圖形時間的的個人實例。是的，我可
以使用 cloudwatch 來監控每個實例的時間。但是，我不
用擔心。zon ec2 是一個，常規附務法律例如，每天免
費，用於監控圖形。ec2 是現場服務，控制台件和其他
有甚麼平台可以同
服務。間接離線可能是計致的，但它的同時的服務非常
3 時監控多個
適合。但是，我可以以兩種方式監控有關個人實例的信
Amazon EC2?
息。我可以使用 cloudwatch 來監控有關實例的時間。們
可以在用戶指南中找到一個示例。http: //docs. amazon-
webservices. com/awsec2/latest/developerguide/index. html
eesdg chapter instancy. html. 我可以在在時間內戶控制台
中的標
elb 只是個個人實例。您可以使用任何單個 ip 地址，負
載均衡器將是用於該意定想要的。如果您有望個實例，
則可以使用負載平衡器佈局。但是，您使用的是 elb 的
例子是什麼，您可以使用負載平衡器佈局。我可以使用
如果兩個 Amazon 負載平衡器佈局嗎，們可以使用負載平衡器佈局嗎，您
4 EC2 要做負載平衡 可以使用負載平衡器佈局。我可以使用負載平衡器佈局
可以使用哪種功能? 嗎我可以使用負載平衡器佈局嗎我可以使用負載平衡器
佈局嗎 load balancer 用於實際的意定想要的。我可以使
用負載平衡器佈局嗎我可以使用負載平衡器佈局嗎我可
以使用負載平衡器佈局嗎我可以使用負載平衡器佈局嗎
我可以使用負載平衡器佈局嗎我可以使
amazon s3 可以存儲在及 zon s3 存儲桶中，並且存儲在
amazon s3 中的對象內容象存儲在 amazon s3 中。您可以
在用戶指南中找到更多詳細信息。http: //docs. amazon-
webservices. com/amazons3/latest/dev/index. html us-
ingcketdata. html. amazon s3 提供了一個類似於方案下載
在 Amazon S3 儲存
數據下載的下載的據量，但靠近您 zon s3 的儲存。據我
5 檔案的可靠性、耐
所知，amazon s3 提供了一個可靠的存儲解決方案，您
用性及安全性如何?
可以在其 zon 的 3 服務中存儲您的對象。您可以在此處
找到更多詳細信息 http//docs. amazonwebservices.
com/amazons3/latest/dev/index. html dataduradelivery.
html. tej kiran，cket explorer 您可以使用 cloudberry ex-
plorer freewareto 級別的全部功能。您可以

經查看生成結果已經形成句子但內容不太好理解，除了因為其不明字詞較多，如

25
「2zon」、「計致」、「關馬拉線」等，或是官方網頁不太會出現但論壇翻譯後常出

現的描述，如「儲桶」、「定價信息」、「泛型」等，另也有很多網址資訊，主要是

因為 Forum_QA 只有將特殊字元過濾，因此像網址、人名或翻譯有問題的字句等資訊

就會被一起訓練，此外，由重複 字句部分可以看出模型還有訓練的空間，3010個

Epoches 的訓練對此模型仍不夠。

而在回應內容與問題的相關性方面，生成內容仍會抓取問題中重要字詞作回應，

因此回覆內容仍有可參考的部分，如在第2題生成 EC2計價的查詢網址、第3題生成可

作 EC2監控的 Cloudwatch 相關內容。

4.2.3 使用 Mix_A 訓練 BERT-based UniLM 生成模型

BERT-based UniLM 使用 Mix_A 進行訓練時，訓練時設定 Step per epoch 為1000，

Batch size 設定為2，共計執行2,950次，有最小 Loss 值1.51187，Loss 迭代圖如圖4.5，

自訂問題生成結果節錄如表4.7。

圖4.5 使用 Mix_A 訓練 BERT-based UniLM 生成模型 Loss 迭代圖

26
 表4.7 使用 Mix_A 訓練 BERT-based UniLM 生成模型之生成結果範例
題號 問題 生成結果
大量記憶體可將您的記憶體視為一種用於記憶體密
集型的規格。例如，您可以將記憶體視為一種或兩
如需大量記憶體要使用
1 種不同的記憶體密集型，或是將記憶體視為一種格
哪種 Amazon EC2 規格?
式化，可將記憶體視為一種用於記憶體密集型的規
格。
在哪裡可以看到 Amazon 您可以查看 amazon ec2 的定價結構，並在 amazon
2
EC2 的計價狀況? ec2 詳細資訊頁面的資料表中查看定價。
有甚麼平台可以同時監 aws cloudtrail 可記錄 aws api 呼叫的指標和警示，
3
控多個 Amazon EC2? 並將結果傳送至您的 amazon cloudwatch logs。
如果兩個 amazon ec2 執行個體之間的通訊，負載
平衡可提供簡單、可擴展的應用程式，而無需管理
如果兩個 Amazon EC2 要
任何基礎設施。此外，amazon ec2 的設計目的是為
4 做負載平衡可以使用哪
了保護應用程式的安全性和穩定性，並專注於應用
種功能?
程式的可用性，而不是在應用程式執行時在執行時
進行管理。
在 amazon s3 儲存檔案的可靠性、安全性及耐用性
時，您可以使用 amazon s3 安全性將物件從物件存
放在 amazon s3。如果您使用的是 amazon s3 安全
性、s3 標準 ia 或 s3 單區域 ia 儲存類別，則您的資
料會存放在 amazon s3 中。如果您使用的是 amazon
在 Amazon S3 儲存檔案 s3 安全性、s3 標準 ia 或 s3 glacier 儲存類別，則您
5 的可靠性、耐用性及安 的資料會存放在 amazon s3 中。如果您使用的是
全性如何? amazon s3 儲存貯體，則您的資料會存放在 amazon
s3 glacier deep archive(s3 單區域 ia) 中。如果您使
用的是 amazon s3 儲存貯體，則您的資料會存放在
amazon s3 glacier deep archive(s3 glacier deep ar-
chive) 中。如果您使用的是 amazon s3 儲存貯體，
則您的資料

經查看生成結果已經形成句子且大部分都能夠理解且簡短通順，但部分如第5題

回應內容就有重複字句。

回應內容除了與問題有字詞方面的相關性外，也可以回答多個答案，在第2題中說

明定價不僅可以在「Amazon EC2的定價結構」查看，也可以在「Amazon EC2詳細資訊

頁面」查閱，另外也建立各種功能的相關性，例如在第3題中，其不僅將問題連接到

Cloudwatch 功能，也同時說明可以使用 Cloudtrail 做 Log 的收集給 Cloudwatch 整合。

27
4.3 綜合評估
依 照 實 驗 規 劃 先 進 行 分 類 模 型 資 料 輸 入 形 式 評 估 ， 在 WEB_Q、WEB_QA、

Forum_Q、Forum_QA、Mix_A、Mix_B 等6種資料輸入形式中以使用問題與答案一併

做為訓練句的 WEB_QA 效果最佳，對 Bi-GRU 進行分類訓練平均評估準確率可達

0.8996，其次為 Forums_Q 的0.8739，最差的是 Web_Q 的0.8056，經分析原因主要為

Web_QA(1)可提供較充分的訓練資訊、(2)內容經過審查故分類較 Forum_QA 正確、(3)

沒有翻譯後字義分歧問題、(4)不必要資訊較少等四點。

之後在分類模型實驗中使用 LSTM、Bidirectional LSTM、GRU、Bi-GRU 及 Self-

Attention 使用 WEB_QA 進行分類訓練，結果以 Self-Attention 平均準確率0.9077為最

高，Bi-GRU 平均準確率0.8996次之，而對此二種模型進行超參數及增加 Class-Weight

加強功能實驗，發現 Bi-GRU 使用 Embedding 輸出維度數量600時平均準確率0.9171為

最高，Self-Attention 則在 Width 40或使用 Class-Weight 有略微提高平均準確率至0.91。

在生成模型實驗中使用 Web_QA、Forum_QA 及 Mix_A 等3種資料輸入形式對

BERT-based UniLM 進行生成訓練，為評估各生成模型生成結果，擷取官網功能描述

後自訂21題題目輸入模型進行回應生成，並訂定回答相關度與內容流暢度評分標準，

回答相關度部分先對各題目訂定預期關鍵字(如附錄七)，經審視回應內容如與問題無

關或未提供問題相關資訊則得1分，與問題相關但未提到關鍵字得2分，提到1個(含)以

上關鍵內容或回答完整得3分；內容流暢度部份以判斷有無不明意義詞句或重覆詞句

的狀況為主，如不流暢或重覆字句得1分，不明字詞1至3個得2分，無不明字詞得3分，

經過評估以 Mix_A 訓練之模型得到總分4.7143分為最高(如表4.8)，且其回答相關度、

內容流暢度也為三者中最佳，其次為使用 Web_QA 訓練之模型得到總分4.3809分，但

其回答內容相關度最差，最後為使用 Forum_QA 訓練之模型所得總分2.9524分。

就本次使用的資料集與生成評估結果來看，因為我們的問題是將官方網頁資訊轉

成問題，所以對使用 Web_QA 訓練的模型來說很好理解，但對於只使用 Forum_QA 訓

練的模型來說可能就會找不到部分字詞關聯性，而使用 Mix_A 訓練，模型除了要理

28
解 Web_QA 的官方使用字詞也要理解 Forum_QA 討論內容翻譯後的字詞，然後再建立

兩種字詞間的關係，但只要兩者關聯性建立後，模型就會有更多資訊來建立字詞間的

關係，而 BERT 最擅長進行字詞的轉譯，此可能是使用 Mix_A 訓練會有更好的效果之

原因。

表4.8 生成模型評估結果綜整

回答相關度/3分 內容流暢度/ 3分 總分/6分

Web_QA 1.7619 2.619 4.3809
Forum_QA 1.9048 1.0476 2.9524
Mix_A 2.0476 2.6667 4.7143

29
 第五章 結論與未來工作

就上述實驗結果進行結論並將未來工作之可精進內容於本章說明。

5.1 結論
本篇利用 Web_QA 與 Forum_QA 內容，以不同的組合方式組成6種資料輸入形式，

利用 Bi-GRU 進行分類模型訓練後以 Web_QA 訓練結果最佳，經評估準確率可達

0.8996，其次為 Forums_Q 的0.8739，最差的是 Web_Q 的0.8056，由此判斷雖然利用

人工審查過之資料集對分類模型有幫助，但訓練時提供給模型訊息的多寡對分類結果

影響更大，因此分類訓練資料越多越好，但也要確保字詞一致性、訓練標籤正確性及

不必要資訊要盡量清除。

之後使用 LSTM、GRU 及 Self-Attention 做訓練，發現 Bi-GRU 及 Self-Attention

分類結果差不多，故分別對 Bi-GRU 及 Self-Attention 進行增加 Embedding 輸出維度、

Bi-GRU 單元數量、Self-Attention 數量及 Class-Weight 機制，結果顯示相關超參數及

加強功能對 Bi-GRU 較有幫助，將平均評估準確率從0.8996提升至0.9171，但並未使

Self-Attention 平均評估準確率有顯著提升，另外查看兩個模型運算節點量，Bi-GRU

設定 Embedding 輸出維度600時計有7,090,815個節點，Self-Attention 設定長度40時僅

有2,429,330個節點，因此就運算量來說 Self-Attention 訓練起來會更有效率，也有較

好的成果。

最後使用 BERT-based UniLM 模型分別對 Web_QA、Forum_QA 及 Mix_A 之訓練

集進行生成模型訓練，結果以 Mix_A 訓練之模型得到總分4.7143分為最高，看來分類

最佳的資料集在生成方面並不一定也是最佳，訓練資料數量及字詞的一致性還是重要

的關鍵。

30
5.2 未來工作
此次研究中以官方網頁提供的問答集為主，雖然也有收集論壇內的對話內容試圖

彌補資料集數量的不足，但發現其光是一開始的分類結果就不太理想，其主要原因有

幾點：(1)論壇內容為英文，翻譯為中文後部分詞意或專有名詞無法正確表達，(2)論

壇分類並不嚴謹，有些問題並非該分類應出現的，(3)文字內冗詞或不相關字句太多，

如人名、網址、程式碼等，(4)內容來源不同導致字詞意思出現歧異，如果能找到更

多的問答內容或是利用少量資料訓練問答集生成與自動分類模型來增加資料集數量

[16]或針對 AWS 建立翻譯模型以統一使用字詞，應對分類及生成效果有幫助。

本篇僅就雲端服務資料集的分類與生成做初步的研究，對於後續需完成整個系統

建置除了需要更多訓練資料外，也必須規劃好分類模型與生成模型負責的類別範圍及

數量，分類模型所需規模小且建立快速，但 BERT 生成模型規模大，如不分類後再進

行處理，所需模型建立時間將會非常長，如本次實驗中使用混合訓練集對 BERT-

based UniLM 訓練約300萬個 Steps 才有較佳成果，如要完整建立系統其計算量將會非

常可觀。

除了 BERT-based UniLM 可當作生成模型外也有許多其他 BERT 變形可使用，另

外近年 GPT-3的發佈及相關應用也越來越多，也許使用不同的生成模型能讓生成效果

有更大的改善。

31
 參考文獻

1. 吳嘉芳譯，Deep Learning 用 Python 進行自然語言處理的基礎理論實作，臺北：

碁峯資訊股份有限公司，2019，第50-52、205-215、347-349頁。

2. 尤品鑫，深度學習模型應用於文言文翻譯為白話文之實驗研究，碩士論文，國立

臺北科技大學，台北市，2021。

3. 祝紹軒，深度學習模型於中文對聯生成之比較研究，碩士論文，國立臺北科技大

學，台北市，2020。

4. Biltawi, Mariam, Arafat Awajan, and Sara Tedmori. "Evaluation of question

classification." 2019 2nd International Conference on new Trends in Computing

Sciences (ICTCS). IEEE, 2019.

5. A Tour of Machine Learning Algorithms. Retrieved Feb 21, 2022, from

https://machinelearningmastery.com/a-tour-of-machine-learning-algorithms/

6. Soares, Marco Antonio Calijorne, and Fernando Silva Parreiras. "A literature review on

question answering techniques, paradigms and systems." Journal of King Saud

University-Computer and Information Sciences 32.6 (2020): 635-646.

7. Chen, Danqi, et al. "Reading wikipedia to answer open-domain questions." arXiv

preprint arXiv:1704.00051 (2017).

8. Liu, Yiwei, et al. "Wedding Dress Question-Answering System." 2020 IEEE

International Conference on Consumer Electronics-Taiwan (ICCE-Taiwan). IEEE,

2020.

9. Khilji, Abdullah Faiz Ur Rahman, et al. "CookingQA: answering questions and

recommending recipes based on ingredients." Arabian Journal for Science and

Engineering 46.4 (2021): 3701-3712.

32
10. Zhang, Qiang, Quanye Jia, and Yuhuai Wang. "Question answering based assisted

decision for electric power fault diagnosis." 2020 IEEE 5th International Conference on

Cloud Computing and Big Data Analytics (ICCCBDA). IEEE, 2020.

11. Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation

by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).

12. Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information

processing systems 30 (2017).

13. Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language

understanding." arXiv preprint arXiv:1810.04805 (2018).

14. Dong, Li, et al. "Unified language model pre-training for natural language

understanding and generation." Advances in Neural Information Processing Systems 32

(2019).

15. Classification with class imbalance problem: a review. Retrieved Feb 21, 2022, from

https://machinelearningmastery.com/cost-sensitive-learning-for-imbalanced-

classification/

16. Sebastian, Carol, et al. "Virtual assistance using question generation Answering." 2021

International Conference on Communication information and Computing Technology

(ICCICT). IEEE, 2021.

33
 附錄

附錄一 官方網頁問答集 (Web_QA)各類數量

序號 業務分類 功能分類 數量
1 AI and ML Alexa for Business 123
2 AI and ML Amazon Lex 57
3 AI and ML Amazon Machine Learning(Sage maker) 80
4 AI and ML Amazon Polly 34
5 AI and ML Amazon Rekognition 131
6 AI and ML AWS Comprehend 39
7 AI and ML AWS DeepLens 30
8 AI and ML AWS Transcribe 67
9 AI and ML AWS Translate 25
10 AWS Service Management Amazon Cloud Directory 43
11 AWS Service Management Amazon CloudTrail 71
12 AWS Service Management Amazon CloudWatch 133
13 AWS Service Management Amazon Config 72
14 AWS Service Management Amazon EC2 Systems Manager 128
15 AWS Service Management Amazon EC2 Windows 396
16 AWS Service Management AWS Auto Scaling 27
17 AWS Service Management AWS Billing 66
18 AWS Service Management AWS CloudFormation 53
19 AWS Service Management AWS Directory Service 56
20 AWS Service Management AWS Management Console 11
21 AWS Service Management AWS Organizations 95
22 AWS Service Management AWS Support 239
23 AWS Service Management AWS Trusted Advisor 56
24 Cloud Office Amazon AppStream 160
25 Cloud Office Amazon AppStream 2.0 160
26 Cloud Office Amazon Chime 96
27 Cloud Office Amazon WorkDocs 248
28 Cloud Office Amazon WorkMail 135
29 Cloud Office Amazon WorkSpaces 395
30 Cloudlization AWS Application Discovery Service 34
31 Cloudlization AWS Database Migration Service 25
32 Cloudlization AWS Managed Services 28
33 Cloudlization AWS Migration Hub 43
34 Cloudlization AWS Server Migration Service 43
35 Cloudlization AWS Snowball 99
36 Cloudlization AWS Snowball Edge 99
37 Cloudlization AWS Snowmobile 30
38 Computing Amazon EC2 661
39 Computing Amazon EC2 Auto Scaling 54
40 Computing Amazon EC2 Container Registry 28
41 Computing Amazon EC2 Container Service 41
42 Computing Amazon Lightsail 203
43 Computing AWS Batch 26
44 Computing AWS Elastic Beanstalk 75
45 Computing AWS Fargate 18
46 Computing AWS Lambda 158
47 Computing AWS OpsWorks 54
48 Computing AWS Serverless Application Repository 20

34
序號 業務分類 功能分類 數量
49 Computing Elastic Load Balancing 146
50 Computing VMware Cloud on AWS 16
51 Customer Service Amazon API Gateway 89
52 Customer Service Amazon Connect 59
53 Customer Service Amazon Mobile Analytics 69
54 Customer Service Amazon Pinpoint 54
55 Customer Service Amazon Service Catalog 39
56 Customer Service Amazon SES 52
57 Customer Service Amazon SNS 231
58 Customer Service Amazon SQS 163
59 Customer Service AWS AppSync 31
60 Customer Service AWS Device Farm 74
61 Customer Service AWS Mobile Hub 33
62 Database and Big Data Amazon Athena 182
63 Database and Big Data Amazon Aurora 99
64 Database and Big Data Amazon CloudSearch 96
65 Database and Big Data Amazon DynamoDB 19
66 Database and Big Data Amazon Elastic MapReduce 278
67 Database and Big Data Amazon Elasticsearch Service 143
68 Database and Big Data Amazon Kinesis 170
69 Database and Big Data Amazon Neptune 52
70 Database and Big Data Amazon QuickSight 50
71 Database and Big Data Amazon RDS 262
72 Database and Big Data Amazon Redshift 94
73 Database and Big Data AWS Data Pipeline 39
74 Database and Big Data AWS Glue 71
75 IOT Amazon FreeRTOS 76
76 IOT AWS Greengrass 59
77 IOT AWS IoT 1-Click 16
78 IOT AWS IoT Analytics 23
79 IOT AWS IoT Button 42
80 IOT AWS IoT Core 74
81 IOT AWS IoT Device Management 22
82 Media Service Amazon Elastic Transcoder 87
83 Media Service Amazon Kinesis Video Streams 72
84 Media Service AWS Elemental MediaConvert 18
85 Media Service AWS Elemental MediaLive 26
86 Media Service AWS Elemental MediaPackage 20
87 Media Service AWS Elemental MediaStore 15
88 Media Service AWS Elemental MediaTailor 27
89 Modeling and Gaming Amazon GameLift 83
90 Modeling and Gaming Amazon Lumberyard 51
91 Modeling and Gaming Amazon Sumerian 25
92 Network Amazon CloudFront 131
93 Network Amazon Route 53 180
94 Network Amazon VPC 177
95 Network AWS Direct Connect 254
96 Payment Amazon DevPay 3
97 Payment Amazon FPS 89
98 Programing Amazon MQ 28
99 Programing Amazon SWF 85
100 Programing AWS Cloud9 31
101 Programing AWS CodeBuild 20
102 Programing AWS CodeCommit 33
103 Programing AWS CodeDeploy 47
104 Programing AWS CodePipeline 26

35
序號 業務分類 功能分類 數量
105 Programing AWS CodeStar 18
106 Programing AWS Step Functions 38
107 Programing AWS X-Ray 22
108 Security and Risk Control Amazon Cognito 63
109 Security and Risk Control Amazon Inspector 48
110 Security and Risk Control Amazon Macie 9
111 Security and Risk Control AWS Artifact 190
112 Security and Risk Control AWS Certificate Manager 122
113 Security and Risk Control AWS CloudHSM 69
114 Security and Risk Control AWS GuardDuty 47
115 Security and Risk Control AWS Identity and Access Management 241
116 Security and Risk Control AWS Key Management Service 97
117 Security and Risk Control AWS Secrets Manager 25
118 Security and Risk Control AWS Shield 34
119 Security and Risk Control AWS Single Sign-On 47
120 Security and Risk Control AWS WAF 41
121 Storage Amazon EBS 72
122 Storage Amazon EFS 99
123 Storage Amazon ElastiCache 273
124 Storage Amazon FSx for Windows File Server 75
125 Storage Amazon S3 301
126 Storage Amazon S3 Glacier 102
127 Storage AWS Backup 20
128 Storage AWS DataSync 80
129 Storage AWS Storage Gateway 219
130 Storage AWS Transfer for SFTP 62
131 Storage EN Amazon FSx for Lustre CHT 69
一、 業務分類計有 AI 及 ML(AI and ML)、服務管理(AWS Service Management)、雲端辦公應用(Cloud
Office)、雲端化(Cloudlization)、計算(Computing)、用戶服務(Customer Service)、資料庫與大數據
(Database and Big Data)、物聯網(IOT)、媒體服務(Media Service)、遊戲(Modeling and Gaming)、網
路(Network)、支付服務(Payment)、程式設計(Programing)、安全(Security and Risk Control)、儲存
(Storage)等 15 類、
二、 共計有 131 種功能，總計 11,899 筆問答。

36
附錄二 論壇討論內容(Forum_QA)各類數量
序號 業務分類 功能分類 數量
1 AI and ML Alexa for Business 92
2 AI and ML Alexa Top Sites 273
3 AI and ML Alexa Web Information Service 769
4 AI and ML Alexa Web Search 166
5 AI and ML Amazon Lex 499
6 AI and ML Amazon Machine Learning 186
7 AI and ML Amazon Polly 156
8 AI and ML Amazon Rekognition 346
9 AI and ML Amazon SageMaker 577
10 AI and ML Amazon Transcribe 79
11 AI and ML Amazon Translate 45
12 AI and ML AWS Deep Learning AMIs 44
13 AI and ML AWS DeepLens 308
14 AI and ML AWS Migration Hub 5
15 AWS Service Management Amazon CloudWatch 998
16 AWS Service Management AWS Auto Scaling 34
17 AWS Service Management AWS CloudFormation 2210
18 AWS Service Management AWS CloudTrail 105
19 AWS Service Management AWS Config 73
20 AWS Service Management AWS Directory Service 387
21 AWS Service Management AWS Migration Hub 5
22 AWS Service Management AWS Organizations 119
23 Cloud Office Amazon AppStream 2.0 204
24 Cloud Office Amazon WorkDocs 336
25 Cloud Office Amazon WorkMail 747
26 Cloud Office Amazon WorkSpaces 1091
27 Cloudlization AWS Database Migration Service 441
28 Cloudlization AWS Server Migration Service 12
29 Cloudlization AWS Snow Family 137
30 Computing Amazon Elastic Compute Cloud (EC2) 58480
31 Computing Amazon Lightsail 1197
32 Computing AWS Batch 239
33 Computing AWS Elastic Beanstalk 4024
34 Computing AWS Lambda 2036
35 Computing AWS OpsWorks 1465
36 Computing AWS Serverless Application Repository 9
37 Customer Service Amazon API Gateway 1953
38 Customer Service Amazon Connect 590
39 Customer Service Amazon Mobile Analytics 144
40 Customer Service Amazon Pinpoint 199
41 Customer Service Amazon Simple Email Service 5675
42 Customer Service Amazon Simple Notification Service 1038
43 Customer Service Amazon Simple Queue Service 876
44 Customer Service AWS Amplify Console 184
45 Customer Service AWS AppSync 450
46 Customer Service AWS Migration Hub 5
47 Customer Service AWS Service Catalog 17
48 Database and Big Data Amazon Athena 428
49 Database and Big Data Amazon Aurora 231
50 Database and Big Data Amazon CloudSearch 725
51 Database and Big Data Amazon DynamoDB 2183
52 Database and Big Data Amazon Elastic MapReduce 1886
53 Database and Big Data Amazon Elasticsearch Service 458
54 Database and Big Data Amazon Kinesis 496
55 Database and Big Data Amazon Neptune 137

37
序號 業務分類 功能分類 數量
56 Database and Big Data Amazon QuickSight 37
57 Database and Big Data Amazon RDS Database Preview 15
58 Database and Big Data Amazon RDS on VMware 2
59 Database and Big Data Amazon Redshift 2235
60 Database and Big Data Amazon Relational Database Service 7101
61 Database and Big Data Amazon SimpleDB 909
62 Database and Big Data AWS Data Pipeline 597
63 Database and Big Data AWS Glue 311
64 Database and Big Data AWS Glue DataBrew 16
65 IOT AWS Device Farm 890
66 IOT AWS Greengrass 459
67 IOT AWS IoT 1308
68 IOT AWS IoT 1-Click 17
69 IOT AWS IoT Analytics 18
70 IOT AWS IoT Device Defender 2
71 IOT AWS IoT Device Management 19
72 IOT AWS IoT Events 18
73 IOT AWS IoT SiteWise 19
74 IOT AWS IoT Things Graph 2
75 IOT AWS Migration Hub 5
76 Media Service Amazon Elastic Transcoder 363
77 Media Service Amazon Kinesis Video Streams 38
78 Media Service AWS Elemental MediaConvert 220
79 Media Service AWS Elemental MediaLive 210
80 Media Service AWS Elemental MediaPackage 81
81 Media Service AWS Elemental MediaStore 24
82 Media Service AWS Elemental MediaTailor 23
83 Modeling and Gaming Amazon GameLift 15
84 Modeling and Gaming Amazon Sumerian 55
85 Network Amazon CloudFront 3124
86 Network Amazon Route 53 3435
87 Network Amazon Route 53 Domain Registration 578
88 Network Amazon Virtual Private Cloud 5169
89 Network AWS Direct Connect 240
90 Network AWS Firewall Manager 1
91 Network AWS Network Firewall 3
92 Payment Amazon DevPay 244
93 Payment AWS Marketplace 28
94 Payment Marketplace Seller API (AIMS) 55
95 Programing Amazon MQ 92
96 Programing AWS Cloud9 356
97 Programing AWS CodeBuild 166
98 Programing AWS CodeCommit 220
99 Programing AWS CodeDeploy 391
100 Programing AWS CodePipeline 340
101 Programing AWS CodeStar 98
102 Programing AWS Step Functions 165
103 Programing AWS X-Ray 174
104 Security and Risk Control Amazon Cognito 1662
105 Security and Risk Control Amazon GuardDuty 32
106 Security and Risk Control Amazon Inspector 74
107 Security and Risk Control Amazon Macie 7
108 Security and Risk Control AWS Certificate Manager 416
109 Security and Risk Control AWS Identity and Access Management 1733
110 Security and Risk Control AWS Key Management Service 190
111 Security and Risk Control AWS Shield 6

38
序號 業務分類 功能分類 數量
112 Security and Risk Control AWS Single Sign-on (SSO) 74
113 Security and Risk Control AWS WAF 96
114 Storage Amazon Elastic Compute Cloud 1192
115 Storage Amazon Elastic File System 201
116 Storage Amazon ElastiCache 409
117 Storage Amazon FSx for Lustre 4
118 Storage Amazon FSx for Windows File Server 59
119 Storage Amazon Glacier 584
120 Storage Amazon Simple Storage Service 97
121 Storage Amazon Simple Storage Service (S3) 9554
122 Storage AWS Backup 64
123 Storage AWS DataSync 54
124 Storage AWS Storage Gateway 649
一、 業務分類計有 AI 及 ML(AI and ML)、服務管理(AWS Service Management)、雲端辦公應用(Cloud
Office)、雲端化(Cloudlization)、計算(Computing)、用戶服務(Customer Service)、資料庫與大數據
(Database and Big Data)、物聯網(IOT)、媒體服務(Media Service)、遊戲(Modeling and Gaming)、網
路(Network)、支付服務(Payment)、程式設計(Programing)、安全(Security and Risk Control)、儲存
(Storage)等 15 類。
二、 共計有 124 種功能，總計 142,614 筆問答。

39
附錄三 Bi-GRU 對 6 種資料輸入形式訓練各次評估準確率
次數 Web_Q Web_QA Forums_Q Forums_QA Mix_A Mix_B
1 0.809612 0.900441 0.874885 0.856456 0.857069 0.834356
2 0.809612 0.895595 0.874352 0.856171 0.857155 0.829939
3 0.799137 0.887665 0.871159 0.854532 0.858884 0.823313
4 0.797905 0.900881 0.871372 0.853927 0.859227 0.831656
5 0.806531 0.901322 0.873643 0.856011 0.859278 0.816687
6 0.796673 0.904405 0.871620 0.854479 0.857789 0.832393
7 0.808380 0.889427 0.875914 0.856153 0.858747 0.827975
8 0.817622 0.909251 0.875665 0.853838 0.853303 0.830920
9 0.804683 0.899559 0.875452 0.855156 0.856214 0.826994
10 0.805915 0.907930 0.874956 0.855476 0.854861 0.826503
平均 0.805607 0.899648 0.873902 0.855220 0.857253 0.828074
備註：Bi-GRU 模型基本設定為 Embedding 150、RNN width 150、無 Class-Weight。

附錄四 Web_QA 對 5 種模型訓練每次評估準確率

Self-
次數 LSTM Bi-LSTM GRU Bi-GRU
Attention
1 0.869163 0.866079 0.892511 0.900441 0.906167
2 0.867841 0.866520 0.900000 0.895595 0.909692
3 0.869163 0.866520 0.900441 0.887665 0.907048
4 0.871366 0.864758 0.896035 0.900881 0.906608
5 0.870925 0.840969 0.889868 0.901322 0.907048
6 0.877974 0.871806 0.906167 0.904405 0.906167
7 0.858590 0.856388 0.901322 0.889427 0.908370
8 0.862996 0.866079 0.893392 0.909251 0.909251
9 0.856388 0.868722 0.906167 0.899559 0.907930
10 0.855507 0.875771 0.899559 0.907930 0.908370
平均 0.865991 0.864361 0.898546 0.899648 0.907665
備註：
1. RNN 模型基本設定為 Embedding 150、RNN width 150、無 Class-Weight。
2. Self-Attention 模型基本設定為 Embedding 150、Self-Attention width 20、無
Class-Weight。

40
附錄五 Bi-GRU 使用 Web_QA 及不同超參數、Class-Weight 每次評估準確率
Embedding Embedding 較佳超參數
次數 Bi-GRU 300 Bi-GRU 600 Class-Weight
300 600 及功能
1 0.908370 0.921586 0.912335 0.913656 0.909251 0.916300
2 0.911894 0.919383 0.912775 0.906608 0.912775 0.913216
3 0.918062 0.921586 0.907048 0.905286 0.916300 0.913656
4 0.916300 0.915419 0.907930 0.905286 0.915859 0.914978
5 0.914537 0.912335 0.916740 0.897357 0.909692 0.920705
6 0.918943 0.921586 0.914978 0.911013 0.902203 0.911894
7 0.918943 0.919383 0.911013 0.904846 0.914978 0.922907
8 0.916300 0.917181 0.917181 0.914537 0.905727 0.907930
9 0.912775 0.915859 0.906608 0.911894 0.912775 0.914097
10 0.913216 0.907489 0.912775 0.911894 0.917181 0.91630
平均 0.914934 0.917181 0.911938 0.908238 0.911674 0.915198
備註：
1. 基本設定為 Embedding 150、Bi-GRU width 150、無 Class-Weight。
2. 較佳超參數及功能設定 Embedding 600、Bi-GRU width 300 並使用 Class-Weight。

附錄六 Self-Attention 使用 Web_QA 及不同超參數訓練每次評估準確率

Self-Attention Self-Attention Self-Attention
次數
Embedding 300 Width 40 Class-Weight
1 0.907930 0.907048 0.910573
2 0.906608 0.911454 0.908811
3 0.909692 0.909251 0.908370
4 0.906608 0.906608 0.908811
5 0.907930 0.911894 0.911013
6 0.907489 0.914097 0.911013
7 0.905286 0.911454 0.913216
8 0.909692 0.907930 0.908811
9 0.905727 0.906167 0.908370
10 0.903084 0.913216 0.909692
平均 0.907004 0.909912 0.909868
備註：基本設定為 Embedding 150、Self-Attention width 20、無 Class-Weight。

41
附錄七 自訂問題預期關鍵字
題號 自訂問題 預期關鍵字
如需大量記憶體要使用哪種 EC2 記憶體增強型執行個體、具備 3 TiB、6 TiB、9 TiB、12 TiB、18
1
Amazon EC2 規格? TiB 或 24 TiB 記憶體。
在哪裡可以看到 Amazon EC2
2 EC2 詳細資訊頁面上的定價部分、定價是小時費率、Cloudwatch 監控。
的計價狀況?
有甚麼平台可以同時監控多
3 EC2 管理頁面、Cloudwatch 監控。
個 Amazon EC2?
如果兩個 Amazon EC2 要做負
4 Amazon EC2 主控台負載平衡器、Elastic Load Balancing、VPC。
載平衡可以使用哪種功能?
完全控制其他人對您資料的存取權、支援使用者身分驗證、 99.99% 的
在 Amazon S3 儲存檔案的可 可用性、Amazon S3 服務水準協議、提供 99.999999999% (11 個 9) 的物
5
靠性、耐用性及安全性如何? 件資料耐用性、可在整個 S3 可用區域發生故障的情況下保存資料、使
用檢查總和定期驗證資料的完整性。
在 Amazon S3 檔案可以用甚
6 伺服器端加密(SSE-S3、SSE-C、SSE-KMS) 選項、自己的加密程式庫
麼方式加密?
如何查詢我在 Amazon S3 使
7 按實際用量付費、AWS 用量報告、Amazon S3 主控台
用量?
Amazon Elastic Block Store (EBS) 磁碟區、Amazon Elastic Compute
Cloud (EC2) 執行個體 (包括 Windows 應用程式)、Amazon Relational
Database Service (RDS) 資料庫 (包括 Amazon Aurora 叢集)、Amazon
DynamoDB 資料表、Amazon Elastic File System (EFS) 檔案系統、
AWS 的備份功能可以備份那
8 Amazon FSx for Windows File Server 檔案系統、Amazon FSx for Lustre
些東西?
檔案系統、Amazon Neptune 資料庫、Amazon DocumentDB (與 Mon-
goDB 相容) 資料庫、AWS Storage Gateway 磁碟區，以及 Amazon Sim-
ple Storage Service (S3) (預覽版)。您還可以使用 AWS Backup 建立與管
理 VMware CloudTM on AWS 及內部部署 VMware 虛擬機器的備份
AWS 有哪些關聯式資料庫類 Amazon Aurora、MySQL、MariaDB、Oracle、SQL Server 以及 Post-
9
型可以使用? greSQL 資料庫引擎
Amazon RDS 資料存取可以達
10 3,000 IOPS、 3 IOPS/GB
到多少 IOPS?
如果有 TB 至 PB 級資料要如
11 Amazon Redshift、Amazon S3 Glacier、Amazon Snowball
何儲存?
如何讓 Amazon EC2 利用 Am-
12 網際網路閘道、Route53
azon VPC 連到網際網路?
Amazon EBS 有哪幾種磁碟區 適用於交易工作負載的 SSD 支援儲存、輸送量工作負載的 HDD 支援儲
13
類型? 存、磁碟區類型 (gp2、 PIOPS、 st1 和 sc1)、SSD (gp3 和 gp2) 磁碟區
如何在 AWS 上對應用程式及
14 Cloudwatch、管理主控台
系統進行監控?
可讓在 EC2 上執行的應用程式向 AWS 服務發出請求、無須您將 AWS
IAM 角色與一個 EC2 執行個
15 存取金鑰複製到每個執行個體、 臨時安全登入資料、提供精細的 AWS
體可以有甚麼關聯?
服務許可、簡化 EC2 執行個體的 AWS 存取金鑰管理和部署
可以阻擋 SQL injection 的攻擊、保護您的網站不受 SQL injection 和跨
AWS WAF 可以阻擋 SQL in-
16 網站指令碼 (XSS) 等常見攻擊技術的攻擊、 IP 地址、HTTP 標頭、
jection 的攻擊嗎?
HTTP 內文、URI 字串、SQL injection 和跨網站指令碼
如何自動且安全地擴展 AWS
17 Amazon EC2 Auto Scaling 和 AWS Auto Scaling
資源?
AWS 有提供內容審核相關的
18 Amazon Rekognition
功能嗎?
Amazon Route 53 設定的 DNS 60 秒內將您對 DNS 記錄的更新傳播到其授權 DNS 伺服器的全球網路
19
多快可以生效? 中
12 個月免費方案服務可讓客戶免費使用產品一段指定的時間、AWS 免
AWS 免費方案可以讓客戶免
20 費方案會套用到您的每月用量、用量超過每月免費方案的限制，只需支
費使用產品多久?
付標準的按用量付費 AWS 服務費率
Amazon Route 53 會根據哪些
21 因素讓使用者連線到最佳端 根據延遲、地理和端點運作狀態
點?

42
附錄八 使用 Web_QA 訓練 BERT-based UniLM 生成模型生成結果評估
回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
您可以使用 amazon ec2 api 工具匯
回答相關性：生成結果與問
如需大量記 入您的記憶體密集型項目。將叢集
題相關，未提到關鍵字，但
憶體要使用 記憶體限制為您執行的執行個體數
有提到 EC2 可使用程式建構
1 哪種 量，以便我們無法解決您的執行個 2 2
記憶體密集架構。
Amazon 體偏好設定。選擇" uri" 。在這些
內容流暢度：有 1 個不明字
EC2 規格? 記憶體中，您會決定該記憶體要傳
詞。
送的 amazon ec2 執行個體數量。
您可以在 amazon ec2 的計價狀況下
在哪裡可以 涵蓋某個月初始化: 00: 00 直接內的
回答相關度：生成結果與問
看到 amazon ec2 執行個體轉移程序。如
題無關，並未提到關鍵字。
2 Amazon 果您需要更多的使用案例，請填寫 1 2
內容流暢度：有 1 個不明字
EC2 的計價 amazon ec2 執行個體申請表並與您
詞。
狀況? 的使用案例一起提交，我們將在下
個月第一天內答覆您的請求。
您可以選擇在 amazon ec2 上執行指
有甚麼平台 定三種範本，包括容器和叢集運作 回答相關度：生成結果與問
可以同時監
狀態、可靠狀態和可重複的執行個 題相關，並未提到關鍵字，
3 控多個 2 3
體。您可以使用 aws 管理主控台、 內容偏向建立 EC2。
Amazon
rest api、aws cli 或 aws 開發套件來 內容流暢度：句子通順。
EC2?
建立這些 amazon ec2 執行個體。
您可以使用 amazon ec2，將內部部
署的資料倉儲叢集從現有的
如果兩個 amazon ec2 執行個體移轉到雲端。
Amazon 您也可以使用 aws datasync，在 回答相關度：生成結果與問
EC2 要做負 amazon ec2 中部署和執行 sql 查 題相關，並未提到關鍵字，
4 2 3
載平衡可以 詢。aws datasync 會嘗試佈建 ama- 內容偏向佈建 EC2。
使用哪種功 zon ec2 執行個體。如果您想要使用 內容流暢度：句子通順。
能? 其他硬體遷移到 amazon ec2，請填
寫 amazon ec2 執行個體，以提供聯
網和儲存效能。
amazon s3 儲存貯體、資料夾、檔
在 Amazon 案和儲存存取決於資料集的大小。
回答相關度：生成結果與問
S3 儲存檔 您可以在檔案上設定耐用性，也可
題相關，未提到關鍵字，內
案的可靠 以使用 cloudwatch events 建立耐用
5 容偏向 S3、CloudWatch、 2 3
性、耐用性 性事件的命令列界面。另外，您也
Cloud Formation 功能。
及安全性如 可以使用 aws 開發套件、cli 或 aws
內容流暢度：句子通順。
何? cloudformation 範本啟用可攜式的
檔案。
您可以使用 amazon s3 受管金鑰
在 Amazon (sse-s3) 或 amazon kms(sse-kms) 加 回答相關度：生成結果與問
S3 檔案可 密存放在 amazon s3 中的靜態物 題相關，提到 sse-s3、sse-kms
6 3 3
以用甚麼方 件。如需詳細資訊，請參閱 關鍵字。
式加密? amazon s3 開發人員指南中的使用 內容流暢度：句子通順。
加密主題。
您可以使用 aws 管理主控台或
回答相關度：生成結果與問
amazon s3 api，以程式設計方式查
如何查詢我 題相關，未提到關鍵字，內
詢目前和相關的儲存貯體。請參閱
7 在 Amazon 容意思偏向利用管理 S3 功 2 3
amazon s3 開發人員指南了解如何
S3 使用量? 能。
查詢 amazon s3 使用量的詳細資
內容流暢度：句子通順。
訊。
AWS 的備 回答相關度：生成結果是重
份功能可以 aws 的自動備份功能可以備份那些 覆問題無參考價值，未提到
8 1 3
備份那些東 東西: 關鍵字。
西? 內容流暢度：句子通順。

43
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
AWS 有哪 回答相關度：生成結果與問
您可以提供有關記錄資訊的位置，
些關聯式資 題無關，未提到關鍵字，回
9 以及使用公有 ip 地址儲存(如靜態 1 3
料庫類型可 答偏向網路功能。
ip) 的位置。
以使用? 內容流暢度：句子通順。
amazon rds 資料存取的 iops 數量可
Amazon 回答相關度：生成結果與問
以達到一個 iops 項目，因此在資料
RDS 資料 題相關，未提到關鍵字，內
存放區和上限之間交付即時指定的
10 存取可以達 容意思偏向儲存資料類型。 2 2
資料存取是因為單位，所以您可以
到多少 內容流暢度：有 1 個不明字
在的 aws 管理主控台中看到標準儲
IOPS? 詞。
存貯體和資料夾。
tb 級資料是以 utc 檔案為基礎的總
如果有 TB 回答相關度：生成結果與問
態。當您使用 tb 檔案系統時，效能
至 PB 級資 題相關，未提到關鍵字，內
11 最佳化為 pb 級資料。以標準儲存 2 3
料要如何儲 容意思偏向不明。
費用是透過 pb 級進行大量的資料
存? 內容流暢度：句子通順。
傳輸開始。
如何讓 amazon vpc 使用 vpc 託管網際網路 回答相關度：生成結果與問
Amazon
閘道，並使用 vpc 託管的 amazon 題相關，提到網際網路閘道
EC2 利用
12 vpc 端點。這些端點會將網際網路 關鍵字，內容意思是閘道如 3 3
Amazon
VPC 連到 上的資料轉換到 amazon vpc，然後 何將資料傳到 AWS 資源。
將其路由到其他 aws 資源。 內容流暢度：句子通順。
網際網路?
回答相關度：生成結果與問
Amazon
有兩種磁碟區類型: 正式化 tb、tb、 題相關，未提到關鍵字，內
EBS 有哪幾
13 12 tb、18 tb 或 24 tb 的 ebs 磁碟 容意思只在 EBS 容量。 2 2
種磁碟區類
區。 內容流暢度：有 1 個部分不通
型?
順。
如何在 回答相關度：生成結果與問
您可以使用 amazon cloudwatch 監
AWS 上對 題相關，提到 cloudwatch 關
控指標和警示，並使用 aws cloud-
14 應用程式及 鍵字，內容意思偏向使用 3 3
trail 日誌和 amazon vpc flow logs 中
系統進行監 cloudwatch 的紀錄傳遞。
的日誌串流。
控? 內容流暢度：句子通順。
IAM 角色 您可以在 ec2 執行個體上啟動標準 回答相關度：生成結果與問
與一個 EC2 的 ec2 執行個體，還能在 amazon 題相關，未提到關鍵字，內
15 執行個體可 ec2 中使用角色。每個執行個體都 容意思偏向 EC2 都需要 IAM 2 3
以有甚麼關 隨附一個角色，並有您定義的 iam 角色。
聯? 角色。 內容流暢度：句子通順。
可以。如果您阻擋 sql injection 的
回答相關度：生成結果與問
AWS WAF 攻擊，則您可以阻擋 sql injection
題相關，提到可阻擋關鍵
可以阻擋 的攻擊會在 aws waf 中傳送攻擊。
字，內容意思就是可以用
16 SQL injec- 負責處理攻擊是瀏覽器標籤下的規 2 2
tion 的攻擊 WAF。
則，因此，如果您將 aws wafbuild
內容流暢度：有 1 個部分不通
嗎? 執行個體提供給 waf，則可以阻擋
順。
使用 aws waf。
回答相關度：生成結果與問
您可以使用 aws aws codepipeline 和
如何自動且 題無關，未提到關鍵字，內
aws codedeploy 自動化文件中的全
17 安全地擴展 容意思偏向利用程式工具來 1 3
新和移除節點。您也可以使用 aws
AWS 資源? 擴展資源。
codepipeline 主控台或 aws cli。
內容流暢度：句子通順。
AWS 有提 回答相關度：生成結果與問
可以。我們的文件中了解有關標籤
供內容審核 題無關，未提到關鍵字，內
18 的完整清單，請參閱 amazon ec2 1 3
相關的功能 容意思沒有特別主題。
user guide。
嗎? 內容流暢度：句子通順。
回答相關度：生成結果與問
Amazon
我們預計在未來增加資料庫的寫入 題無關，未提到關鍵字，內
19 Route 53 設 1 3
者。 容意思只有資料庫內容。
定的 DNS
內容流暢度：句子通順。

44
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
多快可以生
效?
aws 免費方案適用於客戶每月免費
使用產品的產品當帳戶，免費方案
限制他們可以免費密碼。但是，任
何新的 aws 帳戶都可以免費使用產
品的權限。新的 aws 帳戶限制從所
AWS 免費 有 aws 免費用量方案到將所有帳戶 回答相關度：生成結果與問
方案可以讓 當作天的用量限制。中國(z) ，那 題無關，未提到關鍵字，內
20 客戶免費使 麼該 aws 帳戶的使用者可以在該 容意思偏向特殊區域帳戶。 1 1
用產品多 aws 帳戶中使用產品的權限空間。 內容流暢度：有 4 個部分不通
久? 中國(z) 區域的 aws 免費方案適用 順。
於該 aws 帳戶的 aws 帳戶限制。中
國(b) 將按標準 aws 帳戶計算的所
有 aws govcloud(us) 區域，並限制
每月免費使用量的 aws 帳戶可獲得
性。
Amazon
回答相關度：生成結果與問
Route 53 會
使用者可以自動呼叫 listvaults api， 題無關，未提到關鍵字，內
根據哪些因
21 以正確的方式傳回因素。請參閱此 容意思是 gracier 的 listvaults 1 2
素讓使用者
處取得進一步了解。 程式內容。
連線到最佳
內容流暢度：句子通順。
端點?
總分 37 55
平均分數 1.7619 2.61905
評分方式：
1. 回答相關度：與問題無關或未提供問題相關資訊，得 1 分；與問題相關但未提到關鍵字，得 2 分；提到 1
個(含)以上關鍵內容或回答完整，得 3 分。
2. 內容流暢度：不流暢或重覆字句，得 1 分；不明字詞 1-3 個，得 2 分；無不明字詞，得 3 分。

45
附錄九 使用 Forum_QA 訓練 BERT-based UniLM 生成模型生成結果評估
回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
回答相關
性：生成結
amazon ec2 規格架構包括 amazon ec2 和 2zon ec2 單
如需大量記 果與問題相
元提供了泛型的格式。有關的喜細，請參閱 ec2 規
憶體要使用 關，未提到
格模型。ec2 規格包括 amazon ec2 單元。c2 規格包
1 哪種 關鍵字。 2 1
括 amazon ec2 單元。關馬拉線。ec2 規格包括 ama-
Amazon 內容流暢
zon ec2 單元。ec2 規格包括 amazon ec2 單元。ec2
EC2 規格? 度：字句重
單元亞馬遜 ec2 單元 ec2 ec2 單元 ec2 ec2 單元
覆且有不明
字詞。
回答相關
amazon ec2 為此個別 24 小時收 s 消耗了價格。有關
度：生成結
更多信息，請參閱此常見問題解答。//aws. amazon.
在哪裡可以 果與問題相
com/ec2/pricing/我可以看到亞馬遜 c22 的價格為 0.
看到 關，未提到
以上。amazon ec2 為格式為 0.00 美元/月 2 的價格為
2 Amazon 關鍵字。 2 1
0.00 美元。，amazon ec2 為計費狀供提供了定價信
EC2 的計價 內容流暢
息。有關以下介紹的更多信息，請參閱此常見問題
狀況? 度：字句重
解答 ec2 定價信息。//aws. amazon. com/ec2/pricing/
覆且有不明
我可以看到亞馬遜 ec2 為定價信息為 0.00 美元。
字詞。
amazon ec2 並不指望同時實例。但是，您可以使用
cloudwatch 來監控圖形時間的的個人實例。是的，
回答相關
我可以使用 cloudwatch 來監控每個實例的時間。但
度：生成結
是，我不用擔心。zon ec2 是一個，常規附務法律例
果與問題相
有甚麼平台 如，每天免費，用於監控圖形。ec2 是現場服務，
關，提到關
可以同時監 控制台件和其他服務。間接離線可能是計致的，但
鍵字 Cloud
3 控多個 它的同時的服務非常適合。但是，我可以以兩種方 3 1
Watch 及功
Amazon 式監控有關個人實例的信息。我可以使用
能。
EC2? cloudwatch 來監控有關實例的時間。們可以在用戶
內容流暢
指南中找到一個示例。http: //docs. amazonweb-
度：有 4 個
services. com/awsec2/latest/developerguide/index. html
不明字詞。
eesdg chapter instancy. html. 我可以在在時間內戶控
制台中的標
elb 只是個個人實例。您可以使用任何單個 ip 地
回答相關
址，負載均衡器將是用於該意定想要的。如果您有
度：生成結
望個實例，則可以使用負載平衡器佈局。但是，您
果與問題相
如果兩個 使用的是 elb 的例子是什麼，您可以使用負載平衡
關，並未提
Amazon 器佈局。我可以使用負載平衡器佈局嗎，們可以使
到關鍵字，
EC2 要做負 用負載平衡器佈局嗎，您可以使用負載平衡器佈
4 內容偏向負 2 1
載平衡可以 局。我可以使用負載平衡器佈局嗎我可以使用負載
載平衡器。
使用哪種功 平衡器佈局嗎我可以使用負載平衡器佈局嗎 load
內容流暢
能? balancer 用於實際的意定想要的。我可以使用負載
度：字句重
平衡器佈局嗎我可以使用負載平衡器佈局嗎我可以
覆且有不明
使用負載平衡器佈局嗎我可以使用負載平衡器佈局
字詞。
嗎我可以使用負載平衡器佈局嗎我可以使
amazon s3 可以存儲在及 zon s3 存儲桶中，並且存 回答相關
儲在 amazon s3 中的對象內容象存儲在 amazon s3 度：生成結
中。您可以在用戶指南中找到更多詳細信息。http: 果與問題相
在 Amazon
//docs. amazonwebservices. com/amazons3/lat- 關，未提到
S3 儲存檔
est/dev/index. html usingcketdata. html. amazon s3 提 關鍵字，內
案的可靠
5 供了一個類似於方案下載數據下載的下載的據量， 容偏向 S3 相 2 1
性、耐用性
但靠近您 zon s3 的儲存。據我所知，amazon s3 提 關描述。
及安全性如
供了一個可靠的存儲解決方案，您可以在其 zon 的 內容流暢
何?
3 服務中存儲您的對象。您可以在此處找到更多詳 度：句子重
細信息 http//docs. amazonwebservices. com/ama- 覆且有不明
zons3/latest/dev/index. html dataduradelivery. html. tej 字詞。

46
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
kiran，cket explorer 您可以使用 cloudberry explorer
freewareto 級別的全部功能。您可以
amazon s3 不文許加密所有文件。但是，您可以使
用密鑰加密它們，然後將它們加密。查看此博客帖 回答相關
子。http: //blog. cloudberrylab. com/2009/03/how to 度：生成結
encryption amazon s3 publickey. htmlthanksand. 您可 果與問題相
在 Amazon 以使用，3fm，您可以使用。加密所有文件。但 關，內容偏
S3 檔案可 是，您可以使用。文件. regards，ivan moiseev，s3 向 S3 相關描
6 2 1
以用甚麼方 瀏覽器的開發人員，謝謝 ivan。我我試圖加密我的 述。
式加密? 文件，但它們都定期加密。我我不確定我理解你的 內容流暢
問題。你可以幫助我了解你的用例嗎謝謝，你可以 度：句子重
幫助我了解你的用例嗎謝謝，你可以幫助我解決你 覆且有不明
的用例嗎謝謝，你可以幫助我解決你的用例嗎謝 字詞。
謝，你可以幫助我解決你的用例嗎謝謝，你可以
您可以在用戶指南中找到的用戶指南中列出的查詢
的都柏林和據說話白名單/馬特 amazon s3 結果 zon 回答相關
s3 結果 amazon s3 中 zon r 詢問化妝品系統 s3 數據 度：生成結
系統和計算 s3 土地，構建成本分析，以便在計算 果與問題相
s3 中於儲存數據時，能夠分析數據 3 中的數據。查 關，內容偏
如何查詢我
求中的數據 docs 中的的個人億進程的數量存儲在儲 向 S3 相關描
7 在 Amazon 2 1
存中據說，並據我所知，亞馬遜 s3 中的數據中的數 述。
S3 使用量?
據中的數據。的數據中的數據中的數據中的數據中 內容流暢
的數據中的數據中的數據中的數據中的數據中的數 度：句子重
據中的數據中的數據中的數據中的數據中的數據中 覆且有不明
的數據中的數據中的數據中的數據中的數據。的數 字詞。
據中的數據中的數據中的數據
目前，建議使用 cloudberry s3 backup server edition
回答相關
備份您的 s3 和 glacier. thanksandy，謝謝以 y. i 在際
度：生成結
備份照片中傳輸了備份，我是否需要的其他備份備
果與問題相
份我的們的了解到備份功能，要求份份外部備份。
關，未提到
AWS 的備 我們確實有付費的持續備份，但我們要備份我們的
關鍵字，主
份功能可以 數據。務必在我們的計劃中備份我們的數據。我們
8 要是介紹備 2 1
備份那些東 將以份份外部備份的方式備份我們的數據。我們將
份。
西? 以備份方式據份我們的數據。我們將備份我們的數
內容流暢
據。我們確實留下了我們的計劃。我們確實存儲我
度：句子重
們的數據。我們確保例如，份份是則不會備份。我
覆且有不明
們確保備份是否個人。我們確保備份是否在我們的
字詞。
計劃中備份。我們確保備份是否是我們的計劃中
嘗試這個 http//docs. aws. amazon. com/dedshift/lat-
est/dg/r stl load commits. html 我樣做了，但 s3cmd- 回答相關
ject 賴於依賴關係。我可以使用 rest api 服務。我: : 度：生成結
getatt，utesattributes，http//s. aws. amazon. 果與問題相
AWS 有哪 com/s3/ftp//get3object. xml getattject3objectject- 關，內容偏
些關聯式資 name，我. . . 我的是題麼，麼們們以某種方式使用 向 rest api 的
9 2 1
料庫類型可 rest api。我是否需要使用 rest api 的自定義庫，或者 相關描述。
以使用? 我必須使用 rest api 的自定義庫我們使用 rest api 的 內容流暢
自定義庫，或者我必須使用自定義庫。我必須使用 度：句子重
自定義庫。我必須使用自定義庫。我必須使用自定 覆且有不明
義庫。我必須使用自定義庫。我必須使用自定義 字詞。
庫。我必須使用自定義庫。我必須使用
您可以 ds 使用控制台或 api 來存儲的 iops 信息。有 回答相關
Amazon
關類似於此儲存的內容的信息，請參閱我們的用戶 度：生成結
RDS 資料
指南。謝謝您使用 rds！問候，szym szym，謝謝您 果與問題相
10 存取可以達 2 1
的回复。我們把它放在了一的右邊去了題為了得到 關，未提到
到多少
了決議，我們可以更改它嗎我謝謝你的回复！ 關鍵字，內
IOPS?
paolo，我們否認您的以下內容是於於年底之前創建 容最後在描

47
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
的 piops，而不是 piops。您 ops 以 ops 為 piops，建 述 PIOPS。
議您使用 piops 而不是 piops。您可以在此處 ops 讀 內容流暢
取/ops 入門 https: //docs. aws. amazon. com/ama- 度：有 4 個
zonrds/latest/userguide/user piops. html user piops. cre- 不明字詞。
atecli paolo，我謝謝你的回复。我們訴諸於用戶創
建的 piops，但不幸的是，我們無法為供應商提供
eta。我們
您可以定期 s3 存儲桶作為備份。動態，儲存協據。
但是，您儲存協議在數據庫的介份的分發到分發， 回答相關
而不是分發。有關更多信息，請參閱存儲類別。的 度：生成結
我接受答案是沒有的。您們以與您的件人件相同的 果與問題相
如果有 TB 方式存儲數據。可以以與您的件人或中型的數據相 關，未提到
至 PB 級資 同的方式存儲數據。您可以在用戶指南中找到更多 關鍵字，內
11 2 1
料要如何儲 信息。息於息保存 doc 儲存 amazon s3 對象. . . . . . 容重點不
存? 可以以與您的數據相同的方式存儲數據。可以在 明。
amazon s3 對像上找到存儲文件的/息 nt 您可以在用 內容流暢
戶指南中找到更多信息。如果您有任何疑問，請告 度：有 6 個
訴我。謝謝儲存可以的數據不是持久的，但此數據 不明字詞。
件聯要並份驗
如果您 zon vpc 在用於 2. n 果的 amazon vpc 內運
回答相關
行，zon。pc 網絡中須須效限制 10.3. 0.0/16 cidr 範
度：生成結
圍。，可以在的 zon vpc 中使用 amazon vpc 連接到
如何讓 果與問題相
amazon vpc，但者 zon vpc 不的持久性接口。您需要
Amazon 關，未提到
使用 vpc 凝視或硬件 vpn 連接方法。自由詢問
EC2 利用 關鍵字，內
12 amazon vpc 凝視 vpc。視頻有關如何 n 隧道的更多 2 1
Amazon 容重點不
VPC 連到 詳細信息。: 謝謝謝我意識到這 pc，但我馬特線程
明。
答案。我的問題是我正在，用於的 vpcp，我需要在
網際網路? 內容流暢
用於 vpc 的的用戶數據中心中使用 amazon vpcp 必
度：有 6 個
須在用戶數據中心中使用 amazon vpcp。我需要在
不明字詞。
用戶數據中心中使用 amazon vpcp，我需要在用
amazon ebs 有哪些磁盤存儲您是否使用了多少磁盤
回答相關
amazon ebs 提供了一個塊設備，它提供了更個級別
度：生成結
的存儲，包括存儲在 s3 中的數據。的射頻中包含的
果與問題相
磁盤存儲是紹介的，們不會確保義卷盤的況況。
關，未提到
Amazon amazon ebs 提供了一個塊設備，它提供了更多的塊
關鍵字，內
EBS 有哪幾 盤存儲，包括存儲在 s3 中的數據。，我們的服務器
13 容意思只在 2 1
種磁碟區類 位於請求的時間範圍內。我們，我們的服務器位於
EBS 優點。
型? 請求的時間範圍內。我們的服務器位於請求的時間
內容流暢
範圍內。我們的服務器位於請求的時間範圍內。我
度：句子重
們的服務器位於請求的時間範圍內。我們的服務器
覆且有不明
位於請求的時間範圍內。，我們的服務器位於請求
字詞。
的時間範圍內。我們的服務器
szon，您可以使用監控系統區域和裝載餘額，例如
包含如下面的鏈接所示的示例。. . //search. csv 回答相關
search. csv search. csv search. csv search. csv search. 度：生成結
如何在
csv search. csv search. csv search. csv search. csv 果與問題無
AWS 上對 search. csv search. csvh search. csv search. csv search. 關，內容重
14 應用程式及 csv search. csv search. csv search. csv search. h csv 1 1
點不明。
系統進行監 search. csv search. csv search. csv search. csvpatpath
內容流暢
控? search. csv search. csv search. csv search. csv search.
csv search. csv search. csv search. csv search. csv 度：句子重
search. csvxpathh csvx search. csv search. csv search. 覆。
csv search. csvx search. csvx search. csvx search. csv
IAM 角色 iam 角色與 ec2 執行個體不同。色可以在聯合人 回答相關
與一個 EC2 中。用戶也，您可以在聯合人中使用 iam 角色。: 度：生成結
15 執行個體可 好的，謝謝！我們一直在使用 iam 角色，題是什麼 果與問題相 2 1
以有甚麼關 實際上是我們的法律問題。我們色公司始終使用 關，未提到
聯? iam 角色，我們，我們的法務限制是我們的政策中 關鍵字，內

48
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
的一個，我們的政策不是我們的政策中的一個。我 容意思偏向
們的望策略是我們的政策中的一個，我們的政策中 政策關係。
2 實例面臨著似乎是同樣的問題。我們的政策中 內容流暢
否，義務是我們的政策中的一個，我們的政策中的 度：句子重
有效的但角色不是我們的政策中的一個。我們的在 覆且有不明
線政策中的供應商，，我以為我們以前的回复，但 字詞。
我們的政策中的有效的 iam 角色中的有效
回答相關
度：生成結
使用 aws waf 時，您 sql 阻止 aws waf 可以阻止它。 果與問題相
AWS WAF 您可以 f 指定要 l 止的 sql 協議版本，或者，您可以 關，提到可
可以阻擋 使用 aws waf 阻止 aws waf 可以阻止它。使用 aws 阻止關鍵
16 SQL injec- waf 時，您可以使用 aws waf 可以阻止 aws waf 可以 字，其他描 2 1
tion 的攻擊 阻止 aws waf 可以阻止 aws waf 可以阻止的 sl 協議 述不明。
嗎? 版本。，s. i 在到 s waf 中 i 用 aws waf 的止機站中: 內容流暢
//www. 。s. ip. com/ipv4/ipv4/ipv4/ipv4/ 度：句子重
覆且有不明
字詞。
回答相關
度：生成結
lmpm，您可以使用展開 2.0. 0.0 的實例類型的動態
果與問題無
ip 地址範圍。請參閱 amazon ec2 實例類型。您求能
如何自動且 關，內容重
夠的用戶地址範圍 s 的不同部分。請參閱 amazon
17 安全地擴展 點不明。 1 1
ec2 實例類型的不同部分。請. 考慮 s 用 amazon ec2
AWS 資源? 內容流暢
實例類型。您求助。處理請求。找到了
度：句子重
/etc/fstab/etc/fstab/etc/fstab/etc/fstab/etc
覆且有不明
字詞。
6 行，我很，歉意。但是，我們以前常通過我們的
運營了務 c 供應商容量的方式提供內容審核。我們
回答相關
閱讀了 2 容量約束，並正在努力中斷提供內容審核
度：生成結
的容量。請們與我們分享容量的詳細信息，我們將
果與問題無
AWS 有提 能夠幫助您解決您的/戶問題。謝謝！可以在 https:
關，內容重
供內容審核 //aws. amazon. com/compliance/eu 核心/。c，oops，
18 點不明。 1 1
相關的功能 我們 c 將持續提供內容審核。請參閱 https: //aws.
內容流暢
嗎? amazon. com/compliance/shared responsibility
度：句子重
model/if 您有任何疑問，請隨時我們知道。謝謝，
覆且有不明
帕瓦我們例如在我們的服務器上託管的內容審核。
字詞。
我們的服務器上託管的內容審核是在我們的服務器
上託管的內容審核。我們的服務器上託管的內容審
您可以在路由 53 管理控制台的介紹中找到此列
表。選擇託管區域時，您將看到右側列出的四個名
回答相關
稱服務器。這些是您在能夠單獨來置於路由 53 域
度：生成結
的字段時所需的。我錄製了這個過程，但我果你願
Amazon 果與問題無
意為這個過程付出代價，我可以我可以幫助你。謝
Route 53 設 關，內容主
謝，l 我們這樣做了，但是，我們希望持續的目的
19 定的 DNS 要是網友提 2 1
是在置於多個公司區域的代價。我們希望線程能夠
多快可以生 供幫助。
在不個地域域中多個區域區域。多區域的的 nsns 務
效? 內容流暢
必的我們的低延遲。我們們意識到這解決了這個問
度：有 4 個
題。我們將在接下來的幾週內釋放更多在未來的計
不明字詞。
劃中。我們在 route53 中有用，我們可以在用戶公
司中獲得中間。謝謝！，們現在可以
AWS 免費 您可以在費用中包含客戶免費使用層的詳細信息。 回答相關
方案可以讓 您可以在此處查看我們的免費使用層頁面 s. s 這是 度：生成結
20 客戶免費使 面向客戶以及如何使用它們。http: //aws. amazon. 果與問題無 2 2
用產品多 com/free/faqs/how can i use mytancebg userq，謝謝。 關，未提到
久? 可以可費用費用使用計算器惠普通例成本例如，量 關鍵字，有

49
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
的 gb，c1. medium，c1. medium，c1. medium，c1. 說在費用選
medium 等謝謝，我們一直在尋找這個，能夠則免 項可以查。
費使用免費層提供的服務。我們以前從未見過這個 內容流暢
個人資料。我們閱讀了您的 https: //forums. aws. am- 度：有 3 個
azon. com/thread. jspa threadid i0068，我們以前的帖 不明字詞。
子中提到的問題器響應。您可以在此處查看我們的
免費層使用費用 https: //
我們目前沒有使用 53 號路線的使用細節。您可以
期待看到使用節樣程序的使用統計數據。，謝謝，
回答相關
我以為我會給它一個嘗試. . . . . . 我 zon route 53 53
度：生成結
號公路 53 號公路將布入我的 53 號區域的稱為
Amazon 果與問題無
route53。義們。我我可以在哪裡做到這一點，我是
Route 53 會 關，未提到
否需要在用戶公司中的用戶名和密碼，自定義域
根據哪些因 關鍵字，主
21 名，們可以使用 53 號公路中的任何一個。我們可 2 1
素讓使用者 要偏向帳密
以在用戶名冊後為用戶提供服務，但們無法使用 53
連線到最佳 問題。
號公路 53 號路線。我們目前沒有用用戶名或密
端點? 內容流暢
碼。我們將，我們將此傳遞給我們的開發團隊。謝
度：有 6 個
謝，seanamazon 路線 53 恩利克，我們以前的回復
不明字詞。
是的用戶名和密碼。我們的以下註務，我們可以使
用 53
總分 40 22
平均分數 1.9047 1.0476
評分方式：
1. 回答相關度：與問題無關或未提供問題相關資訊，得 1 分；與問題相關但未提到關鍵字，得 2 分；提到 1
個(含)以上關鍵內容或回答完整，得 3 分。
2. 內容流暢度：不流暢或重覆字句，得 1 分；不明字詞 1-3 個，得 2 分；無不明字詞，得 3 分。

50
附錄十 使用 Mix_A 訓練 BERT-based UniLM 生成模型生成結果評估
回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
回答相關性：生成
大量記憶體可將您的記憶體視為一種用於 結果與問題相關，
如需大量記憶 記憶體密集型的規格。例如，您可以將記 未提到關鍵字，但
體要使用哪種 憶體視為一種或兩種不同的記憶體密集 有提到 EC2 可使用
1 2 3
Amazon EC2 規 型，或是將記憶體視為一種格式化，可將 程式建構記憶體密
格? 記憶體視為一種用於記憶體密集型的規 集架構。
格。 內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
在哪裡可以看 您可以查看 amazon ec2 的定價結構，並在
有提到關鍵字 EC2
2 到 Amazon EC2 amazon ec2 詳細資訊頁面的資料表中查看 3 3
詳細資料頁面。
的計價狀況? 定價。
內容流暢度：句子
通順。
回答相關度：生成
有甚麼平台可 結果與問題相關，
aws cloudtrail 可記錄 aws api 呼叫的指標和
以同時監控多 提到關鍵字 Cloud
3 警示，並將結果傳送至您的 amazon cloud- 3 3
個 Amazon Watch 及功能。
watch logs。
EC2? 內容流暢度：句子
通順。
如果兩個 amazon ec2 執行個體之間的通 回答相關度：生成
如果兩個 訊，負載平衡可提供簡單、可擴展的應用 結果與問題相關，
Amazon EC2 要 程式，而無需管理任何基礎設施。此外， 並未提到關鍵字，
4 做負載平衡可 amazon ec2 的設計目的是為了保護應用程 內容偏向附載平衡 2 3
以使用哪種功 式的安全性和穩定性，並專注於應用程式 說明。
能? 的可用性，而不是在應用程式執行時在執 內容流暢度：句子
行時進行管理。 通順。
在 amazon s3 儲存檔案的可靠性、安全性
及耐用性時，您可以使用 amazon s3 安全
性將物件從物件存放在 amazon s3。如果
回答相關度：生成
您使用的是 amazon s3 安全性、s3 標準 ia
結果與問題相關，
在 Amazon S3 或 s3 單區域 ia 儲存類別，則您的資料會
未提到關鍵字，內
儲存檔案的可 存放在 amazon s3 中。如果您使用的是
5 容偏向 S3 相關描 2 1
靠性、耐用性 amazon s3 安全性、s3 標準 ia 或 s3 glacier
述。
及安全性如何? 儲存類別，則您的資料會存放在 amazon
內容流暢度：句子
s3 中。如果您使用的是 amazon s3 儲存貯
重覆。
體，則您的資料會存放在 amazon s3 glacier
deep archive(s3 單區域 ia) 中。如果您使用
的是 amazon s3 儲存貯體，則您的資料
回答相關度：生成
在 amazon s3 中進行加密，您可以使用 結果與問題相關，
在 Amazon S3 amazon s3 api 或主控台，將資料從 s3 加密 主要是告知在哪設
6 檔案可以用甚 到您的檔案。您可以使用 aws data pipe- 定及使用甚麼可以 2 3
麼方式加密? line，您的 aws glue 資料型錄會產生 ama- 加密傳輸。
zon s3 儲存貯體的加密和傳輸加密。 內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
如何查詢我在
您可以使用 aws 管理主控台或 get 請求查 提到主控台關鍵
7 Amazon S3 使 3 3
詢 s3 使用量。 字。
用量?
內容流暢度：句子
通順。
AWS 的備份功 回答相關度：生成
aws backup 允許您將備份保留期設為 60
8 能可以備份那 結果與問題相關， 2 3
天，為您的備份應用程式提供額外的備份
些東西? 未提到關鍵字，主

51
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
儲存。您可以將其用於自動備份，並將其 要是介紹備份。
用於自動化、備份和恢復。 內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
AWS 有哪些關
aws 有關關聯式資料庫類型的資訊，請參 但未提供相關訊
9 聯式資料庫類 1 3
閱我們的文件。 息。
型可以使用?
內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
Amazon RDS 使用 amazon aurora 時，您可以達到 99.9%
未提到關鍵字，內
資料存取可以 的 iops，而且可以達到 99.9% 的 iops。此
10 容有嘗試回答但不 2 3
達到多少 外，您還可以在任何支援的 ebs 儲存服務
正確。
IOPS? 支援 hdfs 和 amazon aurora 複本。
內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
如果有 TB 至 有 tb 至 pb 級資料要儲存的所有資料都將
未提到關鍵字，有
11 PB 級資料要如 在 pb 級資料存放區層級進行儲存。pb 級 2 3
嘗試回答問題。
何儲存? 資料存放區層可存放在 pb 級資料。
內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
您可以使用 amazon vpc 的主要方法，讓
如何讓 Amazon 未提到關鍵字，內
amazon ec2 利用 amazon vpc 連接到網際網
EC2 利用 Ama- 容意思是用 VPC
12 路。這可讓您的 vpc 和 aws 資源(例如 2 3
zon VPC 連到 可連接 AWS 資
amazon ec2 執行個體) 使用 vpc 對等連接。
網際網路? 源。
您可以在這裡找到更多資訊。
內容流暢度：句子
通順。
amazon ebs 提供四種磁碟區類型: 一種類型
可用性、一致且可預測的儲存和一致性。
一致性和一致性可根據 amazon ebs 請求和
一致性快取提供最佳的磁碟區。一致性和 回答相關度：生成
一致性快取會隨著 amazon ebs 許可自動取 結果與問題相關，
Amazon EBS 有 代，而且可根據 amazon ebs 優化的應用程 未提到關鍵字，內
13 哪幾種磁碟區 式，能夠提供更好的效能和更多儲存容 容意思只在 EBS 2 1
類型? 量。amazon ebs 提供一致且可預測的儲存 優點。
體，可提供最佳的效能和更多儲存容量。 內容流暢度：重覆
amazon ebs 提供一致且可預測的儲存體大 字句。
小，可提供最佳的磁碟區和一致性快照。
amazon ebs 提供一致且可預測的儲存體大
小，可提供最佳的效能和
您可以使用 amazon cloudwatch 提供的其中
一種指標，例如 cpu 利用率、記憶體或高
回答相關度：生成
資料平衡，或使用 cloudwatch 透過 api 在
結果與問題相關，
如何在 AWS 上 aws 上監控系統進行監控。系統進行監控
提到 cloudwatch 及
14 對應用程式及 可讓您透過 aws 管理主控台、aws 命令列 3 3
主控台關鍵字。
系統進行監控? 界面(cli) 或 api 存取 amazon cloudwatch 指
內容流暢度：句子
標。系統進行監控可讓您透過 aws 管理主
通順。
控台或 aws cli 存取 amazon cloudwatch 指
標。
IAM 角色與一 回答相關度：生成
個 EC2 執行個 結果與問題相關，
15 臨時安全登入資料自動輪換。 2 3
體可以有甚麼 未提到關鍵字，內
關聯? 容意思偏向 IAM

52
 回答相 內容流
題號 問題 生成結果 評分說明
關度 暢度
自動更換金鑰功
能。
內容流暢度：句子
通順。
回答相關度：生成
結果與問題相關，
AWS WAF 可 提到可阻擋關鍵
以阻擋 SQL in- 字，休息可能是
16 是。aws waf 可以阻擋 sql 休息的攻擊。 2 2
jection 的攻擊 REST API 翻譯造
嗎? 成。
內容流暢度：有 1
個部分不通順。
回答相關度：生成
您可以使用 aws identity and access manage-
結果與問題相關，
ment(iam) 政策控制對 aws 資源的存取。
未提到關鍵字，主
aws cloudtrail 可記錄和追蹤與 aws 資源執
如何自動且安 要是描述 IAM 存
行的所有動作。您可以使用 aws cloudtrail
17 全地擴展 AWS 取控制與 2 3
規則自動篩選和分析 aws 資源。您可以在
資源? CloudTrail 追蹤功
aws 管理主控台中查看這些動作，並在
能。
aws iam 主控台中查看所有 aws 服務的使
內容流暢度：句子
用狀況。
通順。
回答相關度：生成
結果與問題無關，
提供內容審核相關的功能是以內容審核為
AWS 有提供內 未提到關鍵字，內
基礎，並可通過在專用的專用硬體上安裝
18 容審核相關的 容意思與 AWS 1 3
aws devpay 硬體預構建模式來安裝 aws
功能嗎? DEVPAY 相關。
devpay 軟體。
內容流暢度：句子
通順。
設定 dns 時，amazon route 53 會在每個 dns 回答相關度：生成
伺服器的多個記錄上執行 dns 查詢，以確 結果與問題相關，
保每個 dns 伺服器的最終檢查會短暫停止 未提到關鍵字，內
Amazon Route
接收 dns 查詢的最終檢查。這可讓您輕鬆 容主要是講解
19 53 設定的 DNS 2 3
快速地快速地擴展記錄，而不會影響資源 AWS DNS 紀錄優
多快可以生效?
紀錄集。您可以透過設定記錄集來快速地 點。
擴展記錄集，或者只是為了確保您的 dns 內容流暢度：句子
設定保持最新狀態。 通順。
回答相關度：生成
AWS 免費方案 aws 免費方案可讓客戶免費使用產品超出 結果與問題相關，
可以讓客戶免 您的免費方案數量的符合條件的符合條件 未提到關鍵字，未
20 1 1
費使用產品多 的符合條件的條件。您可以在這裡找到 提供相關資訊。
久? aws 免費方案的定價詳情。 內容流暢度：內容
重覆。
回答相關度：生成
Amazon Route 結果與問題相關，
route 53 使用機制來確定最佳的使用者端
53 會根據哪些 未提到關鍵字，內
點是否正確設定。使用機制時，amazon
21 因素讓使用者 容偏使用者正確設 2 3
route 53 將使用最佳的使用者端點來確定
連線到最佳端 定。
最佳的使用者端點是否正確設定。
點? 內容流暢度：句子
通順。
總分 43 56
平均分數 2.0476 2.6667
評分方式：
1. 回答相關度：與問題無關或未提供問題相關資訊，得 1 分；與問題相關但未提到關鍵字，得 2 分；提到 1
個(含)以上關鍵內容或回答完整，得 3 分。
2. 內容流暢度：不流暢或重覆字句，得 1 分；不明字詞 1-3 個，得 2 分；無不明字詞，得 3 分。

53