[發明專利]用戶情緒識別方法、裝置以及計算機可讀存儲介質

在審

• 申請號: 201910679946.8
• 申請日: 2019-07-25
• 公開（公告）號: CN110399837A
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 阿德旺;金大鵬;殷燕
• 申請（專利權）人: 深圳智慧林網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F16/53;G10L25/63
• 代理公司: 深圳市港灣知識產權代理有限公司 44258
• 代理人: 微嘉

本發明公開了一種用戶情緒識別方法，該情緒識別方法包括以下步驟：獲取用戶的人臉圖像和語音信息；根據所述人臉圖像關鍵點的位置信息確定所述用戶的第一情緒狀態；根據所述語音信息確定所述用戶的第二情緒狀態；根據所述第一情緒狀態和所述第二情緒狀態確定所述用戶最終的情緒狀態。本發明還公開了一種用戶情緒識別裝置和計算機可讀存儲介質。本發明提高通過結合人臉圖像關鍵點的位置信息和語音信息識別用戶的情緒化狀態，從而提高情緒識別的準確率。

技術領域

本發明涉及機器人及物聯網技術領域，尤其涉及一種用戶情緒識別方法、裝置以及計算機可讀存儲介質。

背景技術

在很多場景中情緒識別是很有必要的，目前的機器人能夠對不同年齡層的人進行簡單的陪伴，例如老年陪護的機器人家庭醫生以及青少年配合機器人，需要目機器人能夠讀懂陪伴對象的情緒變化，目前的情緒識別主要采用人臉圖像來進行情緒識別，人類的情緒識別是非常復雜的，采用單一的人臉圖像識別可能會產生誤判，從而導致識別的準確率較低。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種用戶情緒識別方法、裝置以及計算機可讀存儲介質，旨在解決提高情緒識別的準確率的技術問題。

為實現上述目的，本發明提供一種用戶情緒識別方法，所述用戶情緒識別方法包括以下步驟：

獲取用戶的人臉圖像和語音信息；

根據所述人臉圖像預設關鍵點的位置信息確定所述用戶的第一情緒狀態；

根據所述語音信息確定所述用戶的第二情緒狀態；

根據所述第一情緒狀態和所述第二情緒狀態確定所述用戶最終的情緒狀態。

可選地，所述根據所述第一情緒狀態和所述第二情緒狀態確定所述用戶最終的情緒狀態的步驟包括：

判斷所述第一情緒狀態與所述第二情緒狀態是否相同；

當所述第一情緒狀態與所述第二情緒狀態相同時，則將所述第一情緒狀態或所述第二情緒狀態作為所述用戶最終的情緒狀態。

可選地，所述根據所述第一情緒狀態和所述第二情緒狀態確定所述用戶最終的情緒狀態的步驟包括：

當所述第一情緒狀態與所述第二情緒狀態不相同時，判斷所述第一情緒狀態和所述第二情緒狀態是否包含有消極情緒狀態；

若是，則將包含有消極情緒狀態的情緒狀態作為所述用戶最終的情緒狀態；

若否，則根據所述第一情緒狀態的第一權值以及所述第二情緒狀態的第二權值計算得到所述用戶最終的情緒狀態。

可選地，根據所述人臉圖像預設關鍵點的位置信息確定所述用戶的第一情緒狀態的步驟包括：

根據所述人臉圖像建立人臉三維坐標模型；

根據所述人臉三維坐標模型確定所述多個預設關鍵點對應的坐標值，并根據所述坐標值計算每兩個所述關鍵點之間的距離信息；

將所述距離信息與對應預設的距離信息進行比較，根據比較結果確定所述用戶的第一情緒狀態。

可選地，根據所述人臉圖像預設關鍵點的位置信息確定所述用戶的第一情緒狀態的步驟包括：

根據預先劃分的人臉圖像區域獲取每個區域對應的預設關鍵點的位置信息；

根據獲取的位置信息計算每個區域對應的局部情緒狀態；

根據各個局部情緒狀態確定所述用戶的第一情緒狀態。

可選地，所述根據所述語音信息確定所述用戶的第二情緒狀態的步驟包括：