[發(fā)明專利]一種問答匹配注意力處理方法、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010107570.6
• 申請日: 2020-02-21
• 公開（公告）號: CN111488438B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 趙洪科;張兮;王濤;成一航
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06N3/08;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 張建中

本發(fā)明公開了一種問答匹配注意力處理方法，該方法為：建立一個多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型；多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型包括主任務(wù)和輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型；主任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案特征向量及注意力特征向量，輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案的外部化程度特征向量；輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型附加到主任務(wù)神經(jīng)網(wǎng)絡(luò)模型上；獲取訓(xùn)練樣本，并對問答匹配的樣本標(biāo)記答案的外部化程度；將處理后的樣本輸入多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行綜合損失訓(xùn)練，對多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的共享參數(shù)進(jìn)行優(yōu)化。本發(fā)明還公開了一種實(shí)施本發(fā)明的方法的計(jì)算機(jī)設(shè)備及存儲介質(zhì)。本發(fā)明能夠?qū)Ｗ⒂谕獠炕卣鳎苊鈫栴}和答案之間的相關(guān)信息丟失，增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的可解釋性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)和文本數(shù)據(jù)挖掘技術(shù)領(lǐng)域，尤其涉及一種問答匹配注意力處理方法、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，近年來，社區(qū)問答平臺(Community Question Answering,CQA)(例如Quora，知乎)因?yàn)槠淠軌蛱峁┍葌鹘y(tǒng)搜索引擎更豐富的信息而迅速的發(fā)展。其中對于如何保證CQA中答案質(zhì)量的研究是非常重要的一個研究方向。對此，為了保證答案質(zhì)量，很多學(xué)者進(jìn)行了大量的研究工作，例如專家發(fā)現(xiàn)，信息檢索，問答匹配等等。目前，在問答匹配的研究中，大部分研究都假定問答和答案的文本相似程度可以用來判定問題和答案是否匹配，并且大部分研究都是對問題和答案分別處理并提取特征向量的，這種分別處理的方式導(dǎo)致問題和答案之間有很多相關(guān)信息被忽略了。因此，為了避免問題和答案之間的相關(guān)信息丟失和增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的可解釋性，注意力網(wǎng)絡(luò)被引入到了問答匹配中。目前，在問答匹配中大部分的注意力模型都是用一些初級文本特征來構(gòu)建注意力的，比如說給那些在問題和答案中都出現(xiàn)的元素以更高的權(quán)重等。這種方式可能了很多在CQA中很重要的高級特征，比如說可讀性，可理解性，語言邏輯等等。

發(fā)明內(nèi)容

本發(fā)明為解決公知技術(shù)中存在的技術(shù)問題而提供一種問答匹配注意力處理方法、計(jì)算機(jī)設(shè)備及存儲介質(zhì)。旨在結(jié)合適合CQA場景的理論來提高問答匹配中注意模型的準(zhǔn)確性和可解釋性。

本發(fā)明為解決公知技術(shù)中存在的技術(shù)問題所采取的技術(shù)方案是：一種問答匹配注意力處理方法，建立一個多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型；所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型包括主任務(wù)神經(jīng)網(wǎng)絡(luò)模型和輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型；所述主任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案特征向量及注意力特征向量，所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案的外部化程度特征向量；所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型附加到所述主任務(wù)神經(jīng)網(wǎng)絡(luò)模型上；獲取訓(xùn)練樣本，并對問答匹配的樣本標(biāo)記答案的外部化程度；將處理后的樣本輸入所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行綜合損失訓(xùn)練，對所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的共享參數(shù)進(jìn)行優(yōu)化。

進(jìn)一步地，所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型具有單獨(dú)的池化層、連接層和輸出層。

進(jìn)一步地，該方法包括如下具體步驟：

步驟一、獲取問題文本和回答文本的樣本集，對樣本集中的問題文本和回答文本進(jìn)行分詞處理，得到語料分詞數(shù)據(jù)；對得到的語料分詞數(shù)據(jù)進(jìn)行嵌入處理，得到問題的嵌入矩陣,用E^q表示,以及答案的嵌入矩陣，用E^a表示；

步驟二，設(shè)第一注意力矩陣表示E^q的第i個單詞向量和E^a中的第j個單詞向量的相似性，第一注意力矩陣用A¹表示；構(gòu)造兩個可訓(xùn)練矩陣和其中M^q用于將A¹轉(zhuǎn)換為與E^q大小相同的矩陣I^q，M^a用于將A¹的轉(zhuǎn)置矩陣轉(zhuǎn)換為與E^a大小相同的矩陣I^a；l_a表示答案文本的最大字符串?dāng)?shù)量；l_q表示問題文本的最大字符串?dāng)?shù)量；d表示詞向量維度；轉(zhuǎn)換公式如下：

I^q＝A¹·M^q；