[發(fā)明專(zhuān)利]基于符號(hào)化知識(shí)與神經(jīng)網(wǎng)絡(luò)的問(wèn)答模型的實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010826838.1
• 申請(qǐng)日: 2020-08-17
• 公開(kāi)（公告）號(hào): CN112035629B
• 公開(kāi)（公告）日: 2023-02-17
• 發(fā)明（設(shè)計(jì)）人: 何鉞;吳昊;黃河燕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京理工大學(xué)
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F16/33;G06F16/35;G06F40/126;G06F40/216;G06N3/042;G06N3/045;G06N3/084
• 代理公司: 北京云嘉湃富知識(shí)產(chǎn)權(quán)代理有限公司 11678
• 代理人: 程凌軍

1.一種基于符號(hào)化知識(shí)與神經(jīng)網(wǎng)絡(luò)的問(wèn)答模型的實(shí)現(xiàn)方法，其特征在于：包括以下內(nèi)容：

步驟1：構(gòu)建符號(hào)化知識(shí)庫(kù)；

步驟2：構(gòu)建問(wèn)題q-上下文c的輸入序列input，傳入BERT模型，獲得編碼好的向量序列H，其中hidden_size是模型的超參數(shù)；

步驟3：將h_i傳入一個(gè)全連接層，分別獲得所述input中每個(gè)位置作為答案開(kāi)始位置與結(jié)束位置的分對(duì)數(shù)值logit，其中是所述H的第i行向量，1≤i≤|input|，令logit_s,i表示所述input的第i個(gè)位置是答案開(kāi)始位置的logit，logit_e,i表示所述input的第i個(gè)位置是答案結(jié)束位置的logit；

步驟4：根據(jù)logit判斷所述問(wèn)題q是否可以通過(guò)所述上下文c解答，若不可被解答，則返回空作為結(jié)果，模型訓(xùn)練過(guò)程還需要根據(jù)訓(xùn)練樣本q-c對(duì)應(yīng)的標(biāo)注答案計(jì)算損失函數(shù)Loss₀并反向更新步驟2-4神經(jīng)網(wǎng)絡(luò)參數(shù)，然后結(jié)束流程；否則繼續(xù)步驟5；

步驟5：使用所述符號(hào)化知識(shí)庫(kù)中的第k條知識(shí)分別對(duì)所述問(wèn)題q和上下文c進(jìn)行匹配生成符號(hào)化知識(shí)的特征信息m_k、n_k，k為自然數(shù)，且1≤k≤z，z為所述符號(hào)化知識(shí)庫(kù)中知識(shí)的條數(shù)；

步驟6：使用注意力機(jī)制及所述符號(hào)化知識(shí)的特征信息，計(jì)算符號(hào)化知識(shí)判斷輸入序列某一位置是否被答案“覆蓋”的分對(duì)數(shù)logit′_i；

步驟7：根據(jù)所述logit和所述logit′_i預(yù)測(cè)答案并輸出，模型訓(xùn)練過(guò)程還需要根據(jù)訓(xùn)練樣本q-c對(duì)應(yīng)的標(biāo)注答案和預(yù)測(cè)答案計(jì)算損失函數(shù)Loss₃并反向更新步驟2-7神經(jīng)網(wǎng)絡(luò)參數(shù)；具體步驟為：首先分別計(jì)算輸入序列中第i個(gè)位置是答案開(kāi)始、結(jié)束位置的分對(duì)數(shù)logit′_s,i、logit′_e,i，具體計(jì)算方式如下：

logit′_s,i＝logits_,i+αlogit′_i

logit′_e,i＝logit_e,i+αlogit′_i

其中，為logit′_i的權(quán)重，是一個(gè)超參數(shù)；

然后預(yù)測(cè)答案在輸入序列中的開(kāi)始位置與結(jié)束位置

s.t.i≤j

n+3≤in+3+m

n+3≤jn+3+m

得到開(kāi)始與結(jié)束位置后，抽取輸入序列中第到第個(gè)單詞作為答案文段輸出；

模型訓(xùn)練過(guò)程還需要計(jì)算損失函數(shù)Loss₃，其由兩部分構(gòu)成：Loss₁、Loss₂；其中Loss₁由預(yù)測(cè)結(jié)果與樣本標(biāo)注答案的交叉熵構(gòu)成，其計(jì)算方式如下：

p′_s＝softmax(logit′_s)

p′_e＝softmax(logit′_e)

其中分別為訓(xùn)練樣本標(biāo)注的正確答案在所述input中的開(kāi)始與結(jié)束位置，其均為正整數(shù)，滿(mǎn)足若該樣本被標(biāo)注為問(wèn)題不能被解答，則令

Loss₂是針對(duì)logit′_i構(gòu)建的損失函數(shù)，由二分類(lèi)交叉熵構(gòu)成：首先構(gòu)造當(dāng)輸入序列的第i個(gè)位置被樣本標(biāo)注的答案“覆蓋”時(shí)，label_i＝1；否則label_i＝0；此時(shí)輸入序列中的每個(gè)位置都可以依據(jù)是否被樣本標(biāo)注的答案“覆蓋”被分為兩類(lèi)，并使用二分類(lèi)交叉熵計(jì)算Loss₂：

最后兩者相加作為最終的損失函數(shù)Loss₃并依據(jù)Loss₃進(jìn)行反向傳播來(lái)更新步驟2-7中涉及的模型參數(shù)，有：

Loss₃＝Loss₁+βLoss₂

其中為超參數(shù)，為L(zhǎng)oss₂的權(quán)重。