[發明專利]一種基于表情識別的人機情感交互系統及方法

有效

• 申請號: 201310413648.7
• 申請日: 2013-09-12
• 公開（公告）號: CN103488293B
• 公開（公告）日: 2016-11-30
• 發明（設計）人: 尚博旸;樊潔;姚永強;葉倩文;丁希侖
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 祗志潔

技術領域

本發明涉及人工智能、計算機、人機交互等領域及初步的心理分析，具體涉及一種基于表情識別的人機情感心理交互系統及方法。

背景技術

隨著計算機圖像識別技術，人工智能技術等新興技術的迅速發展，計算機在人類生產生活中扮演著不可或缺的角色，但是計算機、游戲機、智能機器人等機器與人卻缺少基于人類表情的情感交流?，F有技術雖然在計算機自動識別人臉表情方面做出了一定的改善與進展，卻缺少量化精準的機器或虛擬人物與自然人的情感交互構想與設計。

如今人們的工作、日常生活越來越依賴于計算機、手機、平板電腦等設備，面對這些設備的時間甚至超過了與自然人交流的時間。如果這些設別不夠人性化，使用者將很容易感到孤獨、疲乏、厭倦，以致幸福指數降低、工作效率降低，嚴重者還可能引發精神或心理問題。因此，通過技術手段使這些設備能夠像“自然人”一樣“理解”使用者表情，并人性化地給出回應，是可行且有必要的。

另外，現代社會人們的心理健康問題日益凸顯。不論是由于生活節奏的加快和工作壓力的增加，使得人們不堪重負，還是由于重大意外事故等所帶來的心靈創傷，都極有可能導致心理亞健康狀態或心理疾病的出現。患者心靈上的敏感脆弱和精神狀態的不穩定都對醫護工作人員或是患者家屬對患者的照顧提出了更高更專業的要求。而在現實生活中不論是在醫院還是家中，人們總是無法或很難時時刻刻的陪護在他們左右，難以實現實時監護。依靠特定的人機交互系統，可以初步對病人的病情進行實時統計，并由醫生進行分析，進而進行初步的心理治療。目前由于機器人與人的情感交互的技術仍然不夠成熟和精準，針對為心理亞健康或心理疾病患者所設計的人機交互系統(如機器人)的研究仍然非常少。

針對手機、筆記本電腦、平板電腦等設備，使機器“理解”使用者表情，通過攝像頭采集使用者表情圖像信息，對使用者進行動態表情分析，獲得使用者當前的心理狀態，從而對使用者以動畫、語音、文字等形式作出回應，讓機器更具人性化，給使用者提供良好的人機操作環境，提高機器對人的服務水平。對心理亞健康或心理疾病患者而言，可以通過使用本專利所提出的具有人機情感交互系統的設備，達到改善其心理狀態的效果。

發明內容

本發明目的是提供一種基于表情識別的人機情感交互系統及方法，利用計算機圖像處理技術及表情識別方法，使計算機、筆記本電腦、平板電腦等設備自動識別出人臉表情，根據心理情感分析得出使用者當前心理狀態，對心理狀態進行統計，并根據所涉及的人機交互方式，用語音、動畫或其他功能給出回應。

本發明提供的基于表情識別的人機情感交互系統，包括圖像采集模塊、圖像處理模塊、表情識別模塊、人機交互模塊以及統計與存儲模塊。圖像采集模塊用于采集人臉圖像并傳送給圖像處理模塊。圖像處理模塊用于對人臉圖像進行處理，包括灰度化、水平調節及尺寸調節。表情識別模塊，用于根據處理后的人臉圖像，利用表情識別方法自動識別出人臉表情，并判斷出表情種類。人機交互模塊用于根據表情識別模塊識別的表情種類與所設計的人機交互方式，提供對應的回應給使用者。統計與存儲模塊用于根據人臉表情分析得到對應的心理狀態，存儲使用者不同時間段的表情種類與心理狀態，并提供給用戶查詢。

基于所述的人機情感交互系統，本發明提供的基于表情識別的人機情感交互方法，包括如下步驟：

步驟一：通過圖像采集模塊采集人臉圖像；

步驟二：圖像處理模塊對所采集的人臉圖像進行處理，包括：灰度化、尺寸調節及圖像配準；

步驟三：利用表情識別方法，從步驟二處理后的圖像中，識別出人臉表情，并判斷出表情種類，將代表表情種類的返回值輸送給人機交互模塊；

步驟四：人機交互模塊根據接受到的返回值，利用所設計的人機交互方式(語音、動畫、特定功能或綜合效果)，提供回應給使用者。

步驟五：根據本次人臉表情分析得出人物此時的心理狀態并進行記錄，同時提供統計查詢功能給使用者。

本發明的基于表情識別的人機情感交互系統及方法，其有益效果是：

(1)將本發明的人機情感交互系統及方法用于計算機、手機、平板電腦等設備，采集并分析使用者表情種類，并給出特定的人性化的回應，提高機器的智能性；