[發(fā)明專利]一種問(wèn)答匹配注意力處理方法、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010107570.6
• 申請(qǐng)日: 2020-02-21
• 公開(kāi)（公告）號(hào): CN111488438B
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 趙洪科;張兮;王濤;成一航
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06N3/08;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 張建中

1.一種問(wèn)答匹配注意力處理方法，其特征在于，建立一個(gè)多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型；所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型包括主任務(wù)神經(jīng)網(wǎng)絡(luò)模型和輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型；所述主任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案特征矩陣及注意力特征矩陣，所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型用于提取答案的外部化程度特征矩陣；所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型附加到所述主任務(wù)神經(jīng)網(wǎng)絡(luò)模型上；獲取訓(xùn)練樣本，并對(duì)問(wèn)答匹配的樣本標(biāo)記答案的外部化程度；將處理后的樣本輸入所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行綜合損失訓(xùn)練，對(duì)所述多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的共享參數(shù)進(jìn)行優(yōu)化；

該方法包括如下具體步驟：

步驟一、獲取問(wèn)題文本和回答文本的樣本集，對(duì)樣本集中的問(wèn)題文本和回答文本進(jìn)行分詞處理，得到語(yǔ)料分詞數(shù)據(jù)；對(duì)得到的語(yǔ)料分詞數(shù)據(jù)進(jìn)行嵌入處理，得到問(wèn)題的嵌入矩陣,用E^q表示,以及答案的嵌入矩陣，用E^a表示；

步驟二，設(shè)第一注意力矩陣表示E^q的第i個(gè)單詞向量和E^a中的第j個(gè)單詞向量的相似性，第一注意力矩陣用A¹表示；構(gòu)造兩個(gè)可訓(xùn)練矩陣和其中M^q用于將A¹轉(zhuǎn)換為與E^q大小相同的矩陣I^q，M^a用于將A¹的轉(zhuǎn)置矩陣轉(zhuǎn)換為與E^a大小相同的矩陣I^a；l_a表示答案文本的最大字符串?dāng)?shù)量；l_q表示問(wèn)題文本的最大字符串?dāng)?shù)量；d表示詞向量維度；轉(zhuǎn)換公式如下：

I^q＝A¹·M^q；

I^a＝(A¹)^T·M^a；

步驟三，得到E^q、I^q、E^a、I^a之后，將復(fù)合輸入詞向量矩陣[E^q；I^q]輸入至主任務(wù)神經(jīng)網(wǎng)絡(luò)模型中，獲得初級(jí)問(wèn)題特征向量矩陣，用F^q表示；將復(fù)合輸入詞向量矩陣[E^a；I^a]分別輸入至主任務(wù)神經(jīng)網(wǎng)絡(luò)模型和輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型中，由主任務(wù)神經(jīng)網(wǎng)絡(luò)模型獲取初級(jí)答案特征向量矩陣，用F^a表示，由輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型獲取初級(jí)外部化程度特征向量矩陣，用F^e表示；

步驟四，設(shè)第二注意力矩陣表示F^q和F^a間的相似性，第二注意力矩陣用A²表示；將F^e合并到第二注意力矩陣中得到第三注意力矩陣，第三注意力矩陣用A³表示；

步驟五，得到第三注意力矩陣A³后，通過(guò)分別求和第三注意力矩陣A³的行和列，計(jì)算出問(wèn)題的合并權(quán)重，用W^q表示，以及答案的合并權(quán)重，用W^a表示；然后通過(guò)加權(quán)全部池化的方式，用W^q和W^a代入F^q、F^a及F^e，得到二級(jí)問(wèn)題特征向量矩陣、二級(jí)答案特征向量矩陣及二級(jí)外部化程度特征向量矩陣；二級(jí)問(wèn)題特征向量矩陣用V^q表示，二級(jí)答案特征向量矩陣用V^a表示，二級(jí)外部化程度特征向量矩陣用V^e表示；

步驟六，將V^q、V^a同時(shí)輸入到主任務(wù)神經(jīng)網(wǎng)絡(luò)模型的兩層全連接層中；將V^e輸入到輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型的兩層連接層中，得到由主任務(wù)神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)和輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)組成的總損失函數(shù)；

步驟七、將總損失函數(shù)作為目標(biāo)函數(shù)，使用批次梯度下降法優(yōu)化所有可訓(xùn)練參數(shù)。

2.根據(jù)權(quán)利要求1所述的問(wèn)答匹配注意力處理方法，其特征在于，所述輔助任務(wù)神經(jīng)網(wǎng)絡(luò)模型具有單獨(dú)的池化層、連接層和輸出層。