[發明專利]一種基于知識增強圖卷積網絡的答案選擇方法及系統

在審

• 申請號: 202211464352.3
• 申請日: 2022-11-22
• 公開（公告）號: CN116028604A
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 陳羽中;鄭超凡;徐俊杰;李煒煒
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F16/35;G06F40/211;G06F40/289;G06F40/30;G06N3/0464;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊;薛金才

1.一種基于知識增強圖卷積網絡的答案選擇方法，其特征在于，包括以下步驟：

步驟A：在問答平臺中收集用戶的問題以及回答記錄，并標注每一個問題-答案對的真實標簽，以此構建訓練集DS；

步驟B：使用訓練數據集DS以及知識圖譜ConceptNet，訓練基于知識增強的圖卷積神經網絡的深度學習網絡模型M，通過此模型來分析給定問題，相對應候選答案的正確性；

步驟C：將用戶的問題輸入到訓練好的深度學習網絡模型M中，輸出匹配的答案。

2.根據權利要求1所述的一種基于知識增強圖卷積網絡的答案選擇方法，其特征在于，所述步驟B具體包括以下步驟：

步驟B1：對訓練數據集DS中的所有訓練樣本進行初始編碼，從而得到問題、答案文本內容的初始特征E^q、E^a，問答對全局語義特征序列E^cls，問題-答案對的句法結構依賴鄰接矩陣A，同時從知識圖譜ConceptNet對問題、答案文本進行文本-知識匹配以及多跳知識節點擴展查詢，將文本匹配的知識節點和擴展節點相連接，得到知識擴展序列，并將知識擴展序列中的每一個知識節點信息映射為連續的低維向量，最終形成問題和答案的知識擴展序列特征C^q、C^a；

步驟B2：將問題、答案文本內容的初始特征E^q、E^a進行連接，得到問題-答案的文本特征E^qa，通過對E^qa進行掩碼計算，得到問題-答案邊權重矩陣M_a，將M_a與句法結構依賴鄰接矩陣A相乘，得到帶有具有邊關聯權重的句法結構依賴鄰接矩陣

步驟B3：將步驟B2得到的問題-答案的文本特征E^qa和具有邊關聯權重的句法結構依賴鄰接矩陣輸入到一個K層圖卷積網絡中，通過圖節點之間句法結構依賴關系引導節點信息傳播，學習到問題-答案文本原始的結構信息特征然后對問題-答案的文本特征E^qa和問題-答案文本原始的結構信息特征采用注意力的方式進行語義增強，保證節點語義信息的準確度，得到問題-答案的語義結構信息特征

步驟B4：將步驟B1得到的問題、答案文本內容的初始特征E^q、E^a和問題、答案的知識擴展序列特征C^q、C^a，輸入到兩個基于文本語義指導的注意力計算機制，獲得問題q和答案a的語義引導知識特征然后將語義引導知識特征輸入到兩個多頭自注意力機制中，得到自注意力知識表征將語義引導知識表征和自注意力知識特征輸入到兩個前饋神經網絡層中，得到知識的上下文特征H^q、H^a；將知識的上下文特征H^q、H^a利用一個門控機制進行過濾融合，獲得問題-答案的知識上下文特征H^qa；

步驟B5：將問題-答案的知識上下文特征H^qa和問題-答案的語義結構信息特征利用注意力計算的方式進行融合，獲得知識增強的問題-答案的語義結構信息特征然后將步驟B1得到的局語義特征矩陣E^cls，輸入到一個多尺寸的卷積神經網絡之中，得到多粒度的全局語義特征

步驟B6：將知識增強的問題-答案的語義結構信息特征輸入到一個BiGRU網絡之中，并對BiGRU的隱藏狀態輸出的序列進行平均池化操作，得到問題-答案的聚合特征將問題-答案的聚合特征和多粒度的全局語義特征進行拼接，得到最終的問答特征E^final；隨后將E^final輸入到一個線性分類層并使用softmax函數進行歸一化處理，生成問題-答案之間的相關性分數f(q，a)∈[0，1]；然后根據目標損失函數loss，通過反向傳播方法計算深度學習網絡模型中各參數的梯度，并利用隨機梯度下降方法更新各參數；

步驟B7：當深度學習網絡模型每次迭代產生的損失值變化小于所給定閾值，或者達到最大迭代次數，終止深度學習網絡模型的訓練過程。