[發明專利]一種基于神經網絡的意圖識別方法及裝置、終端設備

在審

• 申請號: 201910335859.0
• 申請日: 2019-04-25
• 公開（公告）號: CN111931510A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李選洪
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G10L15/26;G06N3/04
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明公開了基于神經網絡的意圖識別方法及裝置、終端設備；其中意圖識別方法包括：采集用戶語音信息；將語音信息轉換為第一文本信息；將第一文本信息輸入語義殘缺識別模型，判定出第一文本信息是否語義殘缺；當識別出第一文本信息的語義殘缺時，采集用戶指示圖像；將指示圖像輸入到圖片理解模型中，輸出指示圖像對應的描述信息；根據描述信息填充第一文本信息，獲得第二文本信息；將第二文本信息輸入語義殘缺識別模型，判定第二文本信息的語義是否殘缺；當第二文本信息的語義不殘缺時，根據第二文本信息獲得用戶真實意圖。通過本發明，即使用戶語音無法表達完整意圖，也可以基于神經網絡技術，獲取意圖相關方面的信息，從而獲得用戶真實意圖。

技術領域

本發明涉及意圖識別領域，尤其涉及一種基于神經網絡的意圖識別方法及裝置、終端設備。

背景技術

隨著互聯網的快速發展，各種智能產品在人們的生活中發揮著越來越重要的作用，人們也越來越習慣地使用智能終端完成各種需求。而且隨著人工智能相關技術的日益成熟，各類終端的智能化程度也越來越高。語音交互作為智能終端中人機交互主流的交流應用之一，也是越來越受到用戶的青睞。

目前，市場上很多適合中小學生學習使用的終端設備，比如學習機、家教機等，這些終端設備基于用戶輸入的語音進行識別，然后給予相應的回饋。因此用戶通過智能語音設備所輸入的語音的準確性嚴重影響著智能終端所作出的反饋。而對于低年級的小孩而言，低年級小學生的作業會涉及到很多圖片形式的題目，例如：看圖寫字、看圖說話等。低年級小學生可能無法用完整的語音來表述該圖片信息，表達其真實意圖，從而使終端設備的使用受到限制。

發明內容

本發明提供一種基于神經網絡的意圖識別方法及裝置、終端設備，用以解決實際操作中單通過語音信息無法完整獲知用戶真實意圖的技術問題。具體的，本發明的技術方案如下：

第一方面，本發明公開了一種基于神經網絡的意圖識別方法，包括：采集用戶語音信息；將所述語音信息轉換為第一文本信息；將所述第一文本信息輸入語義殘缺識別模型，判定出所述第一文本信息是否語義殘缺；當識別出所述第一文本信息的語義殘缺時，采集用戶指示圖像；將所述指示圖像輸入到圖片理解模型中，輸出所述指示圖像對應的描述信息；根據所述描述信息填充所述第一文本信息，獲得第二文本信息；將所述第二文本信息輸入所述語義殘缺識別模型，判定所述第二文本信息的語義是否殘缺；當所述第二文本信息的語義不殘缺時，根據所述第二文本信息獲得所述用戶真實意圖。

優選的，所述基于神經網絡的意圖識別方法還包括：當判定所述第二文本信息的語義殘缺時，采集所述指示圖像的上下文信息；根據所述指示圖像的上下文信息，結合所述第二文本信息，獲得所述用戶真實意圖。

優選的，所述基于神經網絡的意圖識別方法還包括：當判定所述第二文本信息的語義殘缺時，采集所述用戶當前的學習情境信息；根據所述用戶當前的學習情境信息，結合所述第二文本信息，獲得所述用戶真實意圖。

優選地，在采集用戶語音之前還包括：利用神經網絡技術，通過標記過的語義殘缺訓練樣本進行自學習，獲得語義殘缺識別模型；利用神經網絡技術，通過標記過的圖像描述訓練樣本進行自學習，獲得圖像理解模型。

優選地，將所述指示圖像輸入到圖片理解模型中，輸出所述指示圖像對應的描述信息包括：通過深度卷積網絡獲得所述指示圖像的高層語義信息；遞歸神經網絡將所述指示圖像的高層語義信息轉換為所述指示圖像自然語言描述。