[發明專利]一種基于卷積神經網絡的文檔自動問答系統的構建方法

有效

• 申請號: 201711309921.6
• 申請日: 2017-12-11
• 公開（公告）號: CN108052588B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 吳明暉;范旭民;金蒼宏;朱凡微;趙品通;方格格
• 申請（專利權）人: 浙江大學城市學院
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/335;G06N3/04
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

1.一種基于卷積神經網絡的文檔自動問答系統的構建方法，其特征在于，包括以下步驟：

步驟1，構建主題文檔庫；根據不同的應用場景來建立主題文檔庫，所述主題文檔庫中包括k個主題文檔，針對k類問題；每個主題文檔對應一個問題類型，是一個問題類型的備選答案集合；

步驟2，構造詞向量模型；獲取語料，利用word2vec工具對語料進行訓練，得到詞向量模型，一個單詞對應所述詞向量模型中的一個詞向量，L為詞向量的維度，所述詞向量可以表示單詞之間在多維空間中的距離，所述詞向量模型能夠準確的表現單詞之間的語義相似度；

步驟3，主題匹配；接收用戶提出的第一問題，根據步驟1中構建的主題文檔庫，對所述第一問題進行分類，找出所述第一問題對應的第一主題文檔，所述第一主題文檔中有n₁個備選答案；

步驟4，構造詞向量矩陣；將第一問題劃分為m個單詞，根據步驟2中的詞向量模型，構造第一問題矩陣A；根據步驟3中的主題匹配得到的第一主題文檔，將第一主題文檔中的備選答案劃分為m個單詞，根據步驟2中的詞向量模型，構造n₁個第一答案矩陣Q，每個備選答案對應一個第一答案矩陣；構造n₁個詞向量矩陣M，其中M＝A，Q；

步驟5，基于卷積神經網絡的語義模型進行語義匹配；所述卷積神經網絡的語義模型分為三層；

第一層為卷積神經網絡層，所述卷積神經網絡層的輸入為詞向量矩陣M，所述卷積神經網絡層的卷積核的寬度為所述詞向量的維度，所述卷積核的數量為n₂；將詞向量矩陣M輸入到卷積神經網絡層，得到n₂維的問題特征向量和n₂維的答案特征向量；取n₃種高度的卷積核，得到n₃個問題特征向量和答案特征向量；將n₃個問題特征向量組合成問題特征矩陣，將n₃個答案特征向量組合成答案特征矩陣；

第二層為注意力層，所述注意力層用于對所述問題特征向量和答案特征向量進行加權；所述注意力層的輸入為問題特征矩陣和答案特征矩陣，輸出為問題句向量和答案句向量；

第三層為全連接層，所述全連接層用于計算問題句向量和答案句向量之間的語義匹配度，所述語義匹配度用語義匹配度分數值來表示；

步驟6，答案選擇過程；根據步驟5，根據n₁個詞向量矩陣M，計算出n₁個語義匹配度分數值，根據所述語義匹配度分數值選擇出匹配答案；

注意力層的輸入為問題特征矩陣A_c和答案特征矩陣Q_c，輸出為問題句向量a和答案句向量b；注意力層的加權公式為：G＝softmax(tanh(IW+b)e)，i＝GI； 其中，I為4×100的輸入特征矩陣，W為100×100的加權矩陣，b、e為100維的加權向量，softmax為歸一化函數，G為加權權值向量，i為輸出的句向量；W，b，e初始均為隨機值，在網絡訓練過程中，由Adam隨機優化方法得到優化；經過softmax函數歸一化后得到的4維向量G中的值相加為1；將問題特征矩陣A_c和答案特征矩陣Q_c代入上述公式，輸出為100維的問題句向量a和答案句向量b。

2.根據權利要求1所述的基于卷積神經網絡的文檔自動問答系統的構建方法，其特征在于，對所述第一問題和第一答案進行的分詞過程采用了基于N-gram模型的分詞方法。

3.根據權利要求1或2所述的基于卷積神經網絡的文檔自動問答系統的構建方法，其特征在于，所述步驟6包括，將n₁個語義匹配度分數值進行排列，選取最大的語義匹配度分數值所對應的備選答案為匹配答案。

4.根據權利要求1或2所述的基于卷積神經網絡的文檔自動問答系統的構建方法，其特征在于，所述步驟6包括，將n₁個語義匹配度分數值進行排列，設定第一閾值，選取大于第一閾值的語義匹配度分數值所對應的備選答案的答案集合為匹配答案。