[發明專利]一種人機交互方法、系統及存儲介質

在審

• 申請號: 202110679528.6
• 申請日: 2021-06-18
• 公開（公告）號: CN113434647A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 簡仁賢;李冠興
• 申請（專利權）人: 竹間智能科技（上海）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/338;G06K9/00
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 王海文

本發明實施例公開了一種人機交互方法、系統及存儲介質，方法包括：獲取用戶的人臉圖像和語音輸入；對所述人臉圖像和語音輸入分別進行處理，以獲取用戶面部情緒、用戶語音情緒、用戶文字情緒和語意意圖；根據所述用戶面部情緒、用戶語音情緒、用戶文字情緒確認用戶情緒；根據所述用戶情緒和語意意圖生成回復文本。實施本申請的人機交互方法，機器人在與用戶進行對話交流時，利用不同的模態組合進行互動，多方面考慮了用戶面部情緒、用戶語音情緒、用戶文字情緒，最終確認出用戶在進行當前對話時的用戶情緒，根據用戶情緒生成有情感的回覆文本對用戶進行答復，進而從整體上提高人機互動的自然度與真實度，提高用戶體驗度。

技術領域

本發明涉及計算機軟件技術領域，具體涉及一種人機交互方法、系統及存儲介質。

背景技術

在現有的人工智能對話系統中，利用語料庫以及模板來判斷用戶的對話內容，并生成回復文本進行回答。但對話系統該在與用戶進行對話的過程中，沒有結合用戶表達的情緒來調整回答策略，給出符合用戶當前情緒的回答。

在人與人的自然對話上，情緒是一個重要因素，人類會根據對方表達時的情緒來調整自己的回答策略，達到溝通的效果。

因此，現有技術中的缺陷是，在人工智能對話過程中，機器人不能結合用戶情緒與用戶進行交互，使機器人不能根據用戶情緒給出符合該情緒下的回答，容易造成機器人與用戶交流不自然，使用戶體驗度低。

發明內容

針對現有技術中的技術缺陷，本發明實施例的目的在于提供一種人機交互方法、系統及存儲介質，以解決背景技術中所提出的技術問題。

為實現上述目的，第一方面，本發明實施例提供了一種人機交互方法，包括：

獲取用戶的人臉圖像和語音輸入；

對所述人臉圖像和語音輸入分別進行處理，以獲取用戶面部情緒、用戶語音情緒、用戶文字情緒和語意意圖；

根據所述用戶面部情緒、用戶語音情緒、用戶文字情緒確認用戶情緒；

根據所述用戶情緒和語意意圖生成回復文本。

可選的，所述對所述人臉圖像和語音輸入分別進行處理，以獲取用戶面部情緒、用戶語音情緒、用戶文字情緒和語意意圖，具體包括：

調用預設的面部情緒識別模型對所述人臉圖像進行處理，獲取所述用戶面部情緒；

調用預設的語音特征提取模型提取所述語音輸入的語音特征；

調用預設的語音情緒識別模型對所述語音特征進行處理，獲取所述用戶語音情緒；

調用預設的語音識別模型將所述語音輸入轉換為文本文字；

調用預設的文字情緒識別模型對所述文本文字進行處理，獲取所述用戶文字情緒；

調用預設的自然語言理解模型對所述文本文字進行處理，獲取所述語意意圖。

可選的，所述調用預設的面部情緒識別模型對所述人臉圖像進行處理，獲取所述用戶面部情緒，具體包括：

所述面部情緒識別模型對所述人臉圖像進行處理，對預設的各種面部情緒進行打分，其中，預設的面部情緒包括“中性”、“幸福”、“悲傷”、“驚訝”、“恐懼”、“厭惡”、“憤怒”、“輕蔑”、“困惑”；

將分值最高的面部情緒作為所述用戶面部情緒。

可選的，所述調用預設的語音情緒識別模型對所述語音特征進行處理，獲取所述用戶語音情緒，具體包括：

所述語音情緒識別模型對所述語音特征進行處理，對預設的各種語音情緒進行打分，其中，預設的語音情緒包括：“中性”、“憤怒”；

將分值最高的語音情緒作為所述用戶語音情緒。