[發明專利]一種人機交互方法、系統及存儲介質

在審

• 申請號: 202110679528.6
• 申請日: 2021-06-18
• 公開（公告）號: CN113434647A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 簡仁賢;李冠興
• 申請（專利權）人: 竹間智能科技（上海）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/338;G06K9/00
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 王海文

1.一種人機交互方法，其特征在于，包括：

獲取用戶的人臉圖像和語音輸入；

對所述人臉圖像和語音輸入分別進行處理，以獲取用戶面部情緒、用戶語音情緒、用戶文字情緒和語意意圖；

根據所述用戶面部情緒、用戶語音情緒、用戶文字情緒確認用戶情緒；

根據所述用戶情緒和語意意圖生成回復文本。

2.根據權利要求1所述的一種人機交互方法，其特征在于：所述對所述人臉圖像和語音輸入分別進行處理，以獲取用戶面部情緒、用戶語音情緒、用戶文字情緒和語意意圖，具體包括：

調用預設的面部情緒識別模型對所述人臉圖像進行處理，獲取所述用戶面部情緒；

調用預設的語音特征提取模型提取所述語音輸入的語音特征；

調用預設的語音情緒識別模型對所述語音特征進行處理，獲取所述用戶語音情緒；

調用預設的語音識別模型將所述語音輸入轉換為文本文字；

調用預設的文字情緒識別模型對所述文本文字進行處理，獲取所述用戶文字情緒；

調用預設的自然語言理解模型對所述文本文字進行處理，獲取所述語意意圖。

3.根據權利要求2所述的一種人機交互方法，其特征在于：所述調用預設的面部情緒識別模型對所述人臉圖像進行處理，獲取所述用戶面部情緒，具體包括：

所述面部情緒識別模型對所述人臉圖像進行處理，對預設的各種面部情緒進行打分，其中，預設的面部情緒包括“中性”、“幸福”、“悲傷”、“驚訝”、“恐懼”、“厭惡”、“憤怒”、“輕蔑”、“困惑”；

將分值最高的面部情緒作為所述用戶面部情緒。

4.根據權利要求3所述的一種人機交互方法，其特征在于：所述調用預設的語音情緒識別模型對所述語音特征進行處理，獲取所述用戶語音情緒，具體包括：

所述語音情緒識別模型對所述語音特征進行處理，對預設的各種語音情緒進行打分，其中，預設的語音情緒包括：“中性”、“憤怒”；

將分值最高的語音情緒作為所述用戶語音情緒。

5.根據權利要求4所述的一種人機交互方法，其特征在于：所述調用預設的文字情緒識別模型對所述文本文字進行處理，獲取所述用戶文字情緒，具體包括：

所述文字情緒識別模型對所述文本文字進行處理，對預設的各種文字情緒進行打分，其中，預設的文字情緒包括：“中性”、“憤怒”、“幸福”、“悲傷”、“困惑”、“疲憊”、“焦慮”、“冷漠”；

將分值最高的文字情緒作為所述用戶文字情緒。

6.根據權利要求5所述的一種人機交互方法，其特征在于：每種面部情緒的分值取值范圍為[0,1]；

每種語音情緒的分值取值范圍為[0,1]；

每種文字情緒的分值取值范圍為[0,1]。

7.根據權利要求6所述的一種人機交互方法，其特征在于：根據所述用戶面部情緒、用戶語音情緒、用戶文字情緒確認用戶情緒，具體包括：

若用戶面部情緒、用戶語音情緒和用戶文字情緒均為第一情緒，則將所述第一情緒作為所述用戶情緒；或者，

若用戶面部情緒、用戶語音情緒和用戶文字情緒中有兩個是第二情緒、另一個是第三情緒，且所述第二情緒為“憤怒”、“幸福”或“悲傷”中的一種，則將所述第二情緒作為所述用戶情緒；或者，

若用戶面部情緒、用戶語音情緒和用戶文字情緒中有兩個是第二情緒、另一個是第三情緒，且所述第二情緒為“中性”，則將所述第三情緒作為所述用戶情緒；或者，

若用戶面部情緒、用戶語音情緒和用戶文字情緒均不相同，且所述用戶面部情緒不是“中性”，則將所述用戶面部情緒作為所述用戶情緒；或者，

若用戶面部情緒、用戶語音情緒和用戶文字情緒均不相同，且所述用戶面部情緒為“中性”，則比較所述用戶語音情緒和用戶文字情緒的分值大小，若所述用戶語音情緒和用戶文字情緒的分值大小相等，則將所述用戶語音情緒作為所述用戶情緒；若所述用戶語音情緒和用戶文字情緒的分值大小不同，將分值大的情緒作為所述用戶情緒。