[發(fā)明專利]一種基于知識增強圖卷積網(wǎng)絡(luò)的答案選擇方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211464352.3
• 申請日: 2022-11-22
• 公開（公告）號: CN116028604A
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計）人: 陳羽中;鄭超凡;徐俊杰;李煒煒
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F16/35;G06F40/211;G06F40/289;G06F40/30;G06N3/0464;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 蔡學(xué)俊;薛金才

本發(fā)明提供了一種基于知識增強圖卷積網(wǎng)絡(luò)的答案選擇方法及系統(tǒng)，包括以下步驟：步驟A：在問答平臺中收集用戶的問題以及回答記錄，并標注每一個問題?答案對的真實標簽，以此構(gòu)建訓(xùn)練集DS；步驟B：使用訓(xùn)練數(shù)據(jù)集DS以及知識圖譜ConceptNet，訓(xùn)練基于知識增強的圖卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)模型M，通過此模型來分析給定問題，相對應(yīng)候選答案的正確性；步驟C：將用戶的問題輸入到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)模型M中，輸出匹配的答案；應(yīng)用本技術(shù)方案有利于提高答案選擇的準確性。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理技術(shù)領(lǐng)域，特別是一種基于知識增強圖卷積網(wǎng)絡(luò)的答案選擇方法及系統(tǒng)。

背景技術(shù)

答案選擇(Answer?Selection)答案選擇是問答領(lǐng)域的一個重要子任務(wù)，在信息檢索(IR)和自然語言處理(NLP)的眾多應(yīng)用中發(fā)揮這十分重要的作用。隨著互聯(lián)網(wǎng)的迅速發(fā)展，互聯(lián)網(wǎng)相繼涌現(xiàn)了大量的問答社區(qū)，如：知乎，Quora，StackOverflow，等，人們熱衷于在問答社區(qū)中提出問題，獲取答案。在用戶的長期廣泛參與下，互聯(lián)網(wǎng)上產(chǎn)生了海量問題-答案數(shù)據(jù)對，伴隨著信息量的激增，通過人力的手段對于問答系統(tǒng)中的信息進行過濾和甄別變得難以為繼；同時由于問答系統(tǒng)中網(wǎng)絡(luò)信息的劇增，在問答系統(tǒng)中當前用戶提出的問題常常被不斷涌現(xiàn)的新問題所淹沒，沒有辦法得到一個快速的響應(yīng)。因此，迫切需要一種能夠有效進行答案選擇的自動化方法，判斷問題和眾多候選答案之間的匹配關(guān)系，從中選擇出最佳答案并將其盡可能的排在答案列表前列。

隨著深度學(xué)習(xí)方法研究的不斷深入，許多研究人員也將深度學(xué)習(xí)模型應(yīng)用到答案選擇領(lǐng)域中。基于基于深度學(xué)習(xí)的問答匹配模型通常基于融合注意力機制的卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、圖神經(jīng)網(wǎng)絡(luò)(GNN)或預(yù)訓(xùn)練語言模型。采用CNN獲得問題、答案文本的局部語義信息。RNN可以構(gòu)建文本序列的語義依賴關(guān)系。注意力機制使得模型能夠更加關(guān)注問答對中關(guān)鍵語義部分。根據(jù)不同單詞之間的文本關(guān)系例如句法關(guān)系將問答對抽象成圖數(shù)據(jù)結(jié)構(gòu)，GNN則可以根據(jù)不同單詞之間的文本關(guān)系將問答對抽象成圖數(shù)據(jù)結(jié)構(gòu)，對圖節(jié)點間的依賴關(guān)系進行建模。預(yù)訓(xùn)練語言模型的出現(xiàn)極大推動自然語言處理領(lǐng)域的發(fā)展。預(yù)訓(xùn)練語言模型可以從海量的無標注文本中學(xué)習(xí)到潛在的語義信息。一些研究學(xué)者開展將預(yù)訓(xùn)練語言模型應(yīng)用于答案選擇任務(wù)的研究工作。Devlin等人提出一個基于Transformer架構(gòu)訓(xùn)練自然語言處理的通用模型BERT，并將其應(yīng)用于答案選擇任務(wù)。但是現(xiàn)有不論是采用神經(jīng)網(wǎng)絡(luò)還是基于預(yù)訓(xùn)練語言模型的答案選擇模型主要專注于獲得問題、答案文本中單詞之間的上下文語義關(guān)聯(lián)信息的特征表示，未充分考慮從語法結(jié)構(gòu)的角度挖掘問題與答案之間的依賴信息，限制了模型對文本語義信息的理解。

此外，一些研究工作將知識圖譜引入答案選擇任務(wù)，也取得了一定進展。知識圖譜中的事實背景包含大量實體信息，在問答匹配的過程中能夠提供有效的常識性推理信息，提高答案選擇的準確度。Li和Wu等人提出詞網(wǎng)增強層次模型，利用WordNet中同義詞集和上位詞來增強問答句中的詞嵌入表示，并設(shè)計了兩個基于同義詞集和上位詞的關(guān)系分數(shù)的注意力機制，從而捕獲更加豐富的問答交互信息，但是，現(xiàn)有的一些答案選擇模型雖引入了知識圖譜，但是知識實體之間缺少上下文語義關(guān)聯(lián)且未有效引導(dǎo)實體信息幫助模型學(xué)習(xí)不同語境下的正確語義表示，限制了答案選擇模型性能的提升。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于知識增強圖卷積網(wǎng)絡(luò)的答案選擇方法及系統(tǒng)，有利于提高選擇正確答案的準確性。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種基于知識增強圖卷積網(wǎng)絡(luò)的答案選擇方法，包括以下步驟：

步驟A：在問答平臺中收集用戶的問題以及回答記錄，并標注每一個問題-答案對的真實標簽，以此構(gòu)建訓(xùn)練集DS；

步驟B：使用訓(xùn)練數(shù)據(jù)集DS以及知識圖譜ConceptNet，訓(xùn)練基于知識增強的圖卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)模型M，通過此模型來分析給定問題，相對應(yīng)候選答案的正確性；

步驟C：將用戶的問題輸入到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)模型M中，輸出匹配的答案。