基於人格預測與深度學習之對話機器人

2020/2/7
東華資工系:蔡明翰
 目錄
1、 摘要
2、 研究動機與研究問題
2.1 研究動機

2.2 研究問題

3、 文獻回顧與探討
4、 研究方法及步驟
5、 預期結果
6、 參考文獻
7、 需要指導教授指導內容
 摘要
隨著互聯網的快速發展，各類社交媒體平臺如 FB、LINE 等也與日俱增，
而各種社交媒體的興起，使得企業開始利用聊天平台的方便性去做與顧客的交
流及服務；包括:line_bot，messenger bot，google_dialog 等。
推測人格，模擬對話。這個概念的發想是打算以心理學為基礎將聊天系統
做優化與改善，透過人格預測去更人性化的的推測回覆。而本次研究想透過自
然語言（NLP）的技術，與人格推測等方式，以中文使用者為目標客群，做出
一個聊天機器人（Chat-Bot），使其能夠理解使用者的反應，在與使用者在聊
天的過程中，針對使用者的關鍵字及人格推測去建立具有更人性化的聊天系統。
關鍵詞：情感分析 自然語言 Chat-Bot

研究動機與研究問題
聊天機器人是全球研究人工智慧的趨勢。聊天機器人近年來的發展非常迅猛。
從 2010 年起，大量的產品和平台開始逐漸進入人們的視野。尤其是最近幾年，
隨著大數據的積累、計算能力的提升以及人工智能技術，深度學習技術的發展，
聊天機器人的技術愈發成熟，更將聊天機器人推向新的高峰。
Apple 早在 iPhone4S 推出的智慧型代理人 Siri 透過語音辨識便可與使用者進
行互動。而 Microsoft 亞洲研究院在 2014 年推出的微軟小冰，是微軟在全球
人工智慧領域的重點產品。使用者可以透過 WeChat 將小冰加入至聊天群組，
輸入文字便可與其展開對話。但是，單純的客服服務是不夠的，這樣的機器人
將止於機械式的回饋，不僅給人制式的違和感，也無法建立與用戶的信任。
Google 在 2016 年推出的智 慧型管家 Google Home 用上了自家強大的搜引擎作
為資料庫，在與使用者互相問答時 能擁有更加準確的答題命中率，以及提供更
多元豐富的服務選擇。人與人的交流往往不止於此，在 Chatbot Personalities
Matters. [10]這篇論文中，我們發現，以更人性化的方式去優化 chat bot，是有
助於使用者體驗的；而為了使講話的方式更加的自然，不再如同以往冷冷的機
器回答方式，我方決定從心出發，透過人格推測的方式，從心理學，人格推測
等角度對其做進一步的研究開發！

本研究將以文本分析、人格推測、⾃然語⾔⽣成模型等技術作為核⼼議題，以
下會對這兩個⽅向作探討。

1. 文本分析:
為了要做出能有效回覆的模型，我們需要⼤量「⼝語化」語句，來建立
回覆語句 的語料庫。
以及透過現有的詞彙，建立語料庫。
2. 人格推測
透過心理學人格模型，區分出不一樣的使用者受眾，透過推測出人格的
方式，優化聊天機器人。
3. ⾃然語⾔⽣成模型：
收集完語料庫，並推測人格後，下⼀個問題便是⾃然語⾔⽣成的類神經
網路模型了。設計出⼀個可以依據對⽅的話(相當於輸⼊)，答出⼀個通
順⼜合理的回應（相當於輸出）。這部分，我們打算⽤深度學習的⽅式
去實現，才能跟有著固定應答模式的裝置有所區別。
文本分析、人格推測等技術更能在一定規模上將文字內容轉化成客戶、病人、
公眾甚至是市場的「聲音」。
根據以上三個議題，此次專題的基本研究⽬標有：
1) 語料收集:
I. 從網路上取得像是劇本、字幕等對話資料作為訓練資料。
II. 從書上取得相關的對話作為我們的對話語料。
III. 從現有情緒詞彙中建立適當的回饋語句
2) 構築能夠⽣成⾃然語⾔的模型
3) 基於人格特質模型推測人格
4) 輸出表達 :完成了人格分析，語句⽣成等，再使⽤社群軟體作為⼈機介⾯回
復訊息。

文獻回顧與探討
1.中文情感詞典語料庫
情緒分析由文章、句子、詞彙等三個不同層面切入[1-3]，甚至由一種語言延
展成多種語言[2]。在分類情緒時，常將輸入文本分為「正面」與「負面」兩
個面向去探討，或分為特定情緒，如：開心、難過、溫馨、有趣、訝異等情
緒分類也因實際應用上之需求，亦用情緒強度來量化。宛若優良的商品與普
通之商品，雖都歸類於正面評價之範疇，但卻不盡相同。
1) 台大意見詞 詞典
台大意見詞詞典（NTUSD，National Taiwan University Sentiment
Dictionary）是 2006 年開源的中文意見詞詞典，於學術用方面可免費使用。
詞典囊括簡體及繁體中文，共有 11,088 個語意詞，其中分成 2,812 個正面
詞及 8,276 個負面詞。但是，詞字典中只標註了正面或是負面，並沒有強
度的區分或是其他額外資訊。
2) 大連理工大學中文情感詞彙本體庫（無輔助情感分類）
中文情感詞彙本體庫是大連理工大學信息檢索研究室在林鴻飛教授的指導
下經過全體教研室成員的努力整理和標註的一個中文本體資源。該資源從
不同角度描述一個中文詞彙或者短語，包括詞語詞性種類、情感類別、情
感強度及極性等信息。
中文情感詞彙本體的情感分類體係是在國外比較有影響的 Ekman 的 6 大類
情感分類體系的基礎上構建的。在 Ekman 的基礎上，詞彙本體加入情感類
別“好”對褒義情感進行了更細緻的劃分。最終詞彙本體中的情感共分為
7 大類 21 小類。
構造該資源的宗旨是在情感計算領域，為中文 文本情感分析和傾向性分析
提供一個便捷可靠的輔助手段。中文情感詞彙本體可以用於解決多類別情
感分類的問題，同時也可以用於解決一般的傾向性分析的問題。
其數據格式介紹如下：

附註{1}
3) UTCNN
UTCNN U [5]是致用於處理社群媒體上語意分析的深度學習模型。此模型
的目標在於能夠有效整合社群網路上多種不同的資訊，並利用深度學習來
判斷一篇文章的語意。以當前台灣主要使用之臉書做為例子，其中不只可
 使用文章的內容做為判斷，還包括了作者、按讚用戶、文章主題、對本文
回覆的內容，發表回覆者等資訊。這些資訊都可以 提供更多的線索來判斷
一篇文章的語意，舉例:有很多篇文章被同一位使用者按愛心，可能代 表
這些文章具有類似的意思；或是在回覆中，回覆者的是支持某方意見，同
時，他反對本文的內容，也可以藉此推斷本文的語意。
2.人格預測
大五人格
人格結構中的五個因素後來被稱為“大五”（big five），強調該人格模
型中每一維度的廣泛性。這五個維度因素是神經質、外向性、經驗開放性、
宜人性和認真性[13] 。諸多研究都用大五人格來預測互聯網使用行為
[ 14]，歸功於大五人格已被證明了很有效，並且，不論是在一致性或綜合
性上，在各方面都展示了良好的表現 [ 15 ]。甚至，在不同人群，文化背
景下，大五人格都被證明是非常可靠的[ 16] [ 17 ]。

研究方法及步驟

Fig.1 系統概念圖
Figure 1 是系統概念圖，大致分成 LINE 介面，Heroku 串聯(暫定)，及 LSTM 語言模型
1.⽂本前處理
語料搜集
I.網路資料
以現有的語料作為訓練⽂本。其優點為數量上百萬筆的資料，於此同時，
缺點也是數量太⼤，躁點也相對多了不少。目前現有資源的語料來源主要為劇
本、台詞或是電影字幕，因此我方將語料的範圍縮⼩在某個族群，包括，但不
僅止於，同事間的對話內容、服務⽣與顧客間的對話，以此優化回覆內容。
II. 搜集對話紀錄
在計畫前期，會先以 LINE 最為平台，heroku 作為串流(暫定)，預估邀情
20~60 位受試者，對受試者進行人格推測，依大五人格分成:外向性、責任心、
開放性、神經質和宜人性，並進行分流(同一人格與同一人格對話)，讓受試者在 LINE
的平台上透過我方的 chatbot(對話平台)互相對話，而我方則以此 chatbot 收集
對話資料，建立不同人格對話，完善詞料庫。
 Fig.2 對話概念圖
Figure 2 是對話概念圖，使用者與機器人溝通，而機器人再將訊息傳給另一位
使用者，伺服器在收集對話的同時，也記錄著使用者的固定配對對象
2.串接平台
選用 LINE 作為溝通介⾯。溝通介⾯是希望使⽤者輸⼊⼀段⽂字，然後
LINE bot 就會回答使⽤者的問題，當使⽤者傳⼊⾮⽂字的訊息時，如貼圖、⾳
檔等等，則會暫時忽略使⽤者所輸⼊的訊息，並傳送”目前還不能理解”的圖
檔。
3.chat bot
聊天機器人在實作中大抵可分為三種模型，針對在應用上對 chat bot 的需求，
與之相對的模型，在處理使用者對話與回答方式皆不相同，使用合適的模型
將減少開發上的時間，並提升聊天機器人在處理問題上的效率。而本次的研
究決定採用⼀個經典的基礎架構: 雙向的 Sequence to Sequence。
該類型的聊天機器人能夠從使用者輸入中逐字逐句的生成回覆，將⼀段句⼦
輸⼊編碼器產⽣⼀段向量，並將這段向量輸⼊進解碼器使其根據相似向量⾃
動⽣成語句，考量到能生成全新的回覆，因此相對於其他模型有較高的靈活
性，故選擇此模型。但該模型也有所缺點，例如: 回覆中語法容易產生錯誤或
回覆是沒有意義的。不同於使用兩個 RNN(Recurrent Neural Networks)所構成
的模型，本次研究打算改以用（一）LSTM cell 及（二）Transformer 作為其
神經網路主要結構。二者都是 Encoder-Decoder 的架構， Encoder 負責將使用
者輸入產生的輸入序列轉為向量形式，當全部 input 都丟進去了之後，他會根
據我們的 input 的字數去調整內部 cell 的 數量，並進⾏訓練，同時，每⼀筆
input 都會產⽣⼀個 Feature Vector，之後將這些向量依相近程度整合成多個向
量（Relation Vectors），最後整合產⽣⼀個向量，該向量稱之為 context
vector。而另一個則為 Decoder，根據 Encoder 所產生的 context vector 來逐
一生成回覆的輸出序列。

Fig3 LSTM cell 附註{2}

LSTM cell ( Fig3 )由左到右依序為，
1) input gate :輸入
2) ignore gate :⽤於篩選掉先前的預測結果
 3) forget & Memory gate :⽤來幫助整個模型記住前幾輪發⽣過的事情
Select gate:最後選擇這個輸出是否要往下傳的地⽅。

Transformer 與 LSTM cell 最大的不同在於

其並非使用循環之網路架構，而且還設計
了 Multi-Head Attention 的機制來專注重要
的關鍵文字對話。應該在律除非關鍵的對
話內容上可以發揮不錯的功效。

Transformer 附註{3}

預期結果
本研究預期設計一個聊天機器人系統，透過與聊天者的對話，從中進行以下二
見工作：
1. 從交談之內容中初步判斷出聊天者之五種人格傾向包括(1)神經質、(2)外向
性、(3)經驗開放性、(4)宜人性和(5)認真性 。
2. 以人格傾向為依據，優化聊天內容，更好銜接話題！

參考文獻
附註:
{1} https://blog.csdn.net/qq280929090/article/details/70838025
{2} https://ai.googleblog.com/2015/11/computer-respond-to-this-email.html
{3} https://zhuanlan.zhihu.com/p/44121378
[1] Ku, L.-W. & Chen, H.-H. (2007). Mining opinions from the web: beyond relevance retrieval.
Journal of American Society for Information Science and Technology, 58(12), 1838-850.
[2] Seki, Y., Evans, D.K., Ku, L.-W., Chen, H.-H., Kando, N., & Lin, C.-Y. (2007). Overview of
Opinion Analysis Pilot Task at NTCIR-6. In Proceedings of the 6th NTCIR Workshop Meeting on
Evaluation of Information Access Technologies, 265-278.
[3] Ku, L.-W., Huang, T.-H., & Chen, H.-H. (2010). Construction of Chinese Opinion Treebank. In
 Proceedings of the Seventh International Conference on Language Resources and Evaluation,
1315-319.
[4] WEI-FAN CHEN, 陳., LUN-WEI KU, 古.. 中文情感語意分析套件 CSentiPackage 簡介. 圖書
館 學 與 資 訊 科 學 , 北 美 , 44, sep. 2018. 可 用 (Available at):
<https://jlis.glis.ntnu.edu.tw/ojs/index.php/jlis/article/view/732>.
[5] Chen, W. F. & Ku, L. W. (2016). UTCNN: A Deep Learning Model of Stance Classification on
Social Media Text. In COLING, 1635-1645
[6]. Marcus B, Machilek F, Schutz A. Personality in cyberspace: Personal web sites as media
for personality expressions and impressions. Journal of Personality and Social
Psychology. 2006;90:1014–1031.
[7] Vazire S, Gosling SD.E-perceptions: Personality Impressions based on personal websites. Journal
of Personality and Social Psychology,2004,87(1):123-132
[8] Khan IA, Brinkman N-P, Fine N, et al. Measuring personality from keyboard and mouse use
//Proceedings Of the 15th European Conference on Cognitive Ergonomics: The Ergonomics of
Cool Interaction. New York, USA, 2008: 38-46
[9] Kosinski, Stillwell, Graepel. Private copies and properties can predict human
behavior from digital records. Continue Soft National College of Science, 2013,
110 (15): 5802-5805
[10] Smestad T.L., Volden F. (2019) Chatbot Personalities Matters. In: Bodrunova S.
et al. (eds) Internet Science. INSCI 2018. Lecture Notes in Computer Science,
vol 11551. Springer, Cham.
[11] Wilson RE, Gosling SD, Graham LT. A Review of Facebook Research in the
Social Sciences. Perspectives on Psychological Science.
[12] Tracii Ryan, Sophia Xenos, Who uses Facebook? An investigation into the
relationship between the Big Five, shyness, narcissism, loneliness, and
Facebook usage,Computers in Human Behavior,Volume 27, Issue 5,2011,Pages
1658-1664,
[13]https://wiki.mbalib.com/zhtw/%E4%BA%BA%E6%A0%BC%E7%BB
%93%E6%9E%84%E4%BA%94%E5%9B
%A0%E7%B4%A0%E6%A8%A1%E5%9E%8B
[14] McCrea, R. and Costa, P. (1999) The Five Factor Theory of Personality. In: Pervin, LA and
John, OP, Eds., Handbook of Personality: Theory and Research, Guilford, New York, 139-
153 .
[15] Digman, JM (1990) Personality Structure: Emergence of the Five-Factor Model.
Annual Review of Psychology, 41, 417-440.
https://doi.org/10.1146/annurev.ps.41.020190.002221
[16] Barrick, M. and Mount, M. (1991) The Big Five Personality Dimensions and
Job Performance: A Meta-Analysis. Personnel Psychology, 44, 1-26.
https://doi.org/10.1111/j.1744 -6570.1991.tb00688.x
[17] Conley, J. (1983) Longitudinal Stability of Personality Traits: A Multitrait-
Multimethod-Multioccasion Analysis. Journal of Personality and Social
Psychology, 49, 1266-1282. https://doi.org/10.1037/0022-3514.49. 5.1266

需要指導教授指導內容
1. NLP 自然語言處理
2. 深度學習 LSTM 等
3. 斷句處理 CKIP 或 Jieba 等