[發明專利]一種基于深層卷積神經網絡的自然語言問答方法

有效

• 申請號: 201710841026.2
• 申請日: 2017-09-18
• 公開（公告）號: CN107832326B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 來雨軒;馮巖松;賈愛霞;趙東巖
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06F40/284;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明公開一種基于深層卷積神經網絡的自然語言問答方法。該方法包括以下步驟：1)將自然語言問題和數據庫信息集中的信息表示成具有序列結構的向量，并形成向量矩陣；2)采用深層卷積神經網絡對向量矩陣進行處理，提取對應的深層語義特征；3)根據深層語義特征計算自然語言問題與數據庫信息集中的信息的語義相關度；4)根據計算得出的語義相關度選擇數據庫信息集中的信息，生成自然語言問題的回答。本發明可以更好地提取深層概括的語義特征，精準定位支持數據信息，從而可以取得更好的自然語言問答效果。

技術領域

本發明涉及一種利用深層卷積神經網絡提取自然語言問題與候選信息的語義特征，以增強相關度計算的效果，從而提高自然語言問答準確性的方法，屬于自然語言問答領域。

背景技術

隨著信息技術和互聯網的發展，信息過載越來越嚴重，如何有效地理解用戶的需求，跨越查詢到已有信息之間的不一致性鴻溝，從而有效地從大量的信息中獲取用戶所需，便成為一項非常重要的問題。

用戶的查詢通常表現為一個使用自然語言表達問題。而提供回答信息的資源數據庫的表現形式可以有很多種，可以是由形如(主體，謂詞，客體)的三元組構成結構化知識庫，比如(中國，首都，北京)這條三元組就蘊含了“中國的首都是北京”這條知識；也可以是由大量普通自然語言句子構成的文本集，語料可能來自百科全書、新聞、社交媒體等多種平臺及其組合，比如“我來到中國的首都——北京——讀大學。”同樣也蘊含了中國的首都是北京這條知識；同樣的，資源數據庫也可以是由多條多種形式的信息的組合構成的。自然語言問答中一個重要的過程就是評價資源數據庫中的信息與用戶查詢的問題之間的語義相關度，從而選取最有效的信息來幫助回答用戶問題。

自然語言問題通常具有靈活多變的特點，而資源數據庫中信息的組織形式也很復雜，有效地提取特征以計算候選信息與自然語言問題之間的語義相關程度就成為了一項富有挑戰性的任務。卷積神經網絡可以自動組織臨近詞間的結構，提取文本的整體語義特征，抽象概括語義信息。而深層卷積神經網絡具有更深的層數與更復雜的結構，可以以較少的參數整體處理較大的輸入窗口內的語義并將其建模成更深層更抽象的特征表示，有助于更好地處理自然語言問題與候選信息組織形式的復雜性及其間表述不一致等問題，更好地在統一的特征空間中表達問題與候選信息的語義，從而更好地計算其間的語義相關度，以提高自然語言問答的準確性。

發明內容

本發明的目的是提供一個更好地提取自然語言問題與候選信息的語義特征以輔助計算其間的語義相關性從而提升自然語言問答準確率的一種方法。即對于自然語言問題q及數據庫信息集D＝{D_i}。使用深度神經網絡的方法提取出其對應的特征向量：和并據此計算出問題q與每條數據庫信息D_i之間的相似度S＝{S_qi}，并以此為依據選擇與問題最相關的若干條信息，并據此生成問題的回答。

為了達到上述目的，本發明的技術方案為：

一種基于深層卷積神經網絡的自然語言問答方法，包括以下步驟：

1)將自然語言問題和數據庫信息集中的信息表示成具有序列結構的向量，并形成向量矩陣；

2)采用深層卷積神經網絡對向量矩陣進行處理，提取對應的深層語義特征；

3)根據深層語義特征計算自然語言問題與數據庫信息集中的信息的語義相關度；

4)根據計算得出的語義相關度選擇數據庫信息集中的信息，生成自然語言問題的回答。

其中，步驟1)所述數據庫信息集是原始數據庫信息集，或者是經過信息篩選得到的縮小范圍后的候選信息集。

下面進一步說明本發明方法的具體步驟：

(1)對每個問題q與全體數據庫信息集D，通過一些諸如檢索等低開銷手段縮小有效信息的范圍并對篩選后的結果進行初步的排序，得到縮小范圍的候選信息集