[發(fā)明專利]一種文本檢索方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111609947.9
• 申請(qǐng)日: 2021-12-27
• 公開(kāi)（公告）號(hào): CN114003698B
• 公開(kāi)（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 郭湘;黃鵬;江嶺
• 申請(qǐng)（專利權(quán)）人: 成都曉多科技有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06K9/62
• 代理公司: 成都睿道專利代理事務(wù)所(普通合伙) 51217
• 代理人: 薛波

1.一種文本檢索方法，其特征在于，包括如下步驟：

S1.利用Bert結(jié)構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型作為編碼器，通過(guò)編碼器對(duì)一批標(biāo)注過(guò)后的相似句進(jìn)行自注意力和局部掩碼處理，具體包括：將一批經(jīng)過(guò)標(biāo)注處理的相似句輸入Bert中，利用注意力層進(jìn)行局部掩碼；

S2.對(duì)網(wǎng)絡(luò)最后一層的最終編碼進(jìn)行最大池化和平均池化并對(duì)兩個(gè)結(jié)果進(jìn)行拼接，通過(guò)softmax函數(shù)以及交叉熵計(jì)算編碼器的損失函數(shù)，根據(jù)損失函數(shù)指導(dǎo)編碼器的訓(xùn)練；

S3.給定輸入，通過(guò)數(shù)據(jù)增強(qiáng)的方式構(gòu)造正樣本，將以及輸入編碼器進(jìn)行擬合訓(xùn)練，得到兩個(gè)表示向量和；

S4.分別計(jì)算所述表示向量與批內(nèi)其他向量的相似度，以該相似度作為檢索匹配分?jǐn)?shù)對(duì)候選文本進(jìn)行排序，通過(guò)softmax函數(shù)以及交叉熵計(jì)算模型的最終損失函數(shù)，根據(jù)最終損失函數(shù)指導(dǎo)網(wǎng)絡(luò)參數(shù)的迭代訓(xùn)練；

S5.基于訓(xùn)練好的模型進(jìn)行文本檢索。

2.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述預(yù)訓(xùn)練語(yǔ)言模型采用Bert、Roberta或tiny_bert其中之一。

3.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述將一批經(jīng)過(guò)標(biāo)注處理的相似句輸入Bert中，利用注意力層進(jìn)行局部掩碼，表達(dá)式如下：

上式中，，其中分別表示的向量序列，表示網(wǎng)絡(luò)層，表示上一層的輸出，表示可訓(xùn)練的參數(shù)，表示的向量?jī)蓛勺鰞?nèi)積，表示編碼的維度數(shù)量，表示歸一化函數(shù)，表示是否進(jìn)行，指矩陣，V_l表示在網(wǎng)絡(luò)層l進(jìn)行attention操作時(shí)，輸入的V。

4.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述對(duì)網(wǎng)絡(luò)最后一層的最終編碼進(jìn)行最大池化和平均池化并對(duì)兩個(gè)結(jié)果進(jìn)行拼接的表達(dá)式如下：

上式中，表示權(quán)重參數(shù)，表示網(wǎng)絡(luò)最后一層的最終編碼，表示最大池化操作，表示平均池化操作；

所述通過(guò)softmax函數(shù)以及交叉熵計(jì)算編碼器的損失函數(shù)的表達(dá)式如下：

上式中，表示交叉熵?fù)p失函數(shù)，表示相似句子對(duì)對(duì)應(yīng)的真實(shí)標(biāo)簽。

5.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述數(shù)據(jù)增強(qiáng)的方式包括但不限于同義詞替換、句子截?cái)唷⒎聪蚍g、增加標(biāo)點(diǎn)符號(hào)、刪除不重要的單詞和語(yǔ)序重排其中的一種。

6.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述通過(guò)數(shù)據(jù)增強(qiáng)的方式采用同義詞替換，其中，所述通過(guò)數(shù)據(jù)增強(qiáng)的方式構(gòu)造正樣本包括：

對(duì)進(jìn)行切詞，并從中挑選出現(xiàn)在同義詞數(shù)據(jù)集中的詞組成集；

生成一個(gè)小于集長(zhǎng)度的隨機(jī)數(shù)，利用均勻分布從集中進(jìn)行同義詞替換，表達(dá)式如下：

上式中，表示集的長(zhǎng)度。

7.如權(quán)利要求1所述的文本檢索方法，其特征在于，所述通過(guò)softmax函數(shù)以及交叉熵計(jì)算模型的最終損失函數(shù)，所得到的最終損失函數(shù)表示為：

上式中，表示指標(biāo)，僅當(dāng)i = j時(shí)等于1，表示批內(nèi)句子總數(shù)，表示溫度超參，表示余弦相似度，表示余弦相似度，表示余弦相似度，表示正樣本的表示向量，表示負(fù)樣本的表示向量，表示模型的訓(xùn)練參數(shù)。