[發明專利]一種基于神經網絡的意圖識別方法及裝置、終端設備

在審

• 申請號: 201910335859.0
• 申請日: 2019-04-25
• 公開（公告）號: CN111931510A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李選洪
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G10L15/26;G06N3/04
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

1.一種基于神經網絡的意圖識別方法，其特征在于，包括：

采集用戶語音信息；

將所述語音信息轉換為第一文本信息；

將所述第一文本信息輸入語義殘缺識別模型，判定出所述第一文本信息是否語義殘缺；

當識別出所述第一文本信息的語義殘缺時，采集用戶指示圖像；

將所述指示圖像輸入到圖片理解模型中，輸出所述指示圖像對應的描述信息；

根據所述描述信息填充所述第一文本信息，獲得第二文本信息；

將所述第二文本信息輸入所述語義殘缺識別模型，判定所述第二文本信息的語義是否殘缺；

當所述第二文本信息的語義不殘缺時，根據所述第二文本信息獲得所述用戶真實意圖。

2.根據權利要求1所述的一種基于神經網絡的意圖識別方法，其特征在于，還包括：

當判定所述第二文本信息的語義殘缺時，采集所述指示圖像的上下文信息；

根據所述指示圖像的上下文信息，結合所述第二文本信息，獲得所述用戶真實意圖。

3.根據權利要求1所述的一種基于神經網絡的意圖識別方法，其特征在于，還包括：

當判定所述第二文本信息的語義殘缺時，采集所述用戶當前的學習情境信息；

根據所述用戶當前的學習情境信息，結合所述第二文本信息，獲得所述用戶真實意圖。

4.根據權利要求1所述的一種基于神經網絡的意圖識別方法，其特征在于，在采集用戶語音之前還包括：

利用神經網絡技術，通過標記過的語義殘缺訓練樣本進行自學習，獲得語義殘缺識別模型；

利用神經網絡技術，通過標記過的圖像描述訓練樣本進行自學習，獲得圖像理解模型。

5.根據權利要求1-4任一項所述的一種基于神經網絡的意圖識別方法，其特征在于，將所述指示圖像輸入到圖片理解模型中，輸出所述指示圖像對應的描述信息包括：

通過深度卷積網絡獲得所述指示圖像的高層語義信息；

遞歸神經網絡將所述指示圖像的高層語義信息轉換為所述指示圖像自然語言描述。

6.一種基于神經網絡的意圖識別裝置，其特征在于，包括：

語音采集模塊，用于采集用戶語音信息；

語音轉換模塊，用于將所述語音信息轉換為第一文本信息；

殘缺識別模塊，用于將所述第一文本信息輸入語義殘缺識別模型，識別出所述第一文本信息是否語義殘缺；

圖像采集模塊，用于當識別出所述第一文本信息的語義殘缺時，采集用戶指示圖像；

圖像理解模塊，用于將所述指示圖像輸入到圖片理解模型中，輸出所述指示圖像對應的描述信息；

信息填充模塊，用于根據所述描述信息填充所述第一文本信息，獲得第二文本信息；

所述殘缺識別模塊，還用于將所述第二文本信息輸入所述語義殘缺識別模型，判定所述第二文本信息的語義是否殘缺；

意圖理解模塊，用于當所述第二文本信息的語義不殘缺時，根據所述第二文本信息獲得所述用戶真實意圖。

7.根據權利要求6所述的一種基于神經網絡的意圖識別裝置，其特征在于，還包括：

信息采集模塊，用于當判定所述第二文本信息的語義殘缺時，采集所述指示圖像的上下文信息和/或所述用戶當前的學習情境信息；

所述意圖理解模塊，還用于根據所述指示圖像的上下文信息，結合所述第二文本信息和/或所述用戶當前的學習情境信息，獲得所述用戶真實意圖。

8.根據權利要求6所述的一種基于神經網絡的意圖識別裝置，其特征在于，還包括：

殘缺識別學習模塊，用于利用神經網絡技術，通過標記過的語義殘缺訓練樣本進行自學習，獲得語義殘缺識別模型；

圖像理解學習模塊，用于利用神經網絡技術，通過標記過的圖像描述訓練樣本進行自學習，獲得圖像理解模型。