[發(fā)明專(zhuān)利]文本處理模型的訓(xùn)練方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010465386.9
• 申請(qǐng)日: 2020-05-28
• 公開(kāi)（公告）號(hào): CN111709234B
• 公開(kāi)（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 陳亮宇;劉家辰;肖欣延
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F40/247;G06F40/211;G06F40/242;G06F16/35;G06F18/214;G06F18/24
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 戎鄭華

1.一種文本處理模型的訓(xùn)練方法，包括：

獲取原語(yǔ)句集，其中，所述原語(yǔ)句集中包括多個(gè)原語(yǔ)句；

對(duì)每個(gè)所述原語(yǔ)句進(jìn)行分詞處理，以確定每個(gè)所述原語(yǔ)句中包含的各個(gè)詞條；

將每個(gè)所述原語(yǔ)句包含的各個(gè)詞條中的至少一個(gè)詞條替換為同義詞，以生成與所述多個(gè)原語(yǔ)句分別對(duì)應(yīng)的多個(gè)替換語(yǔ)句；以及

利用所述多個(gè)原語(yǔ)句及對(duì)應(yīng)的所述多個(gè)替換語(yǔ)句，對(duì)初始文本處理模型進(jìn)行訓(xùn)練；

其中，所述利用所述多個(gè)原語(yǔ)句及對(duì)應(yīng)的所述多個(gè)替換語(yǔ)句，對(duì)初始文本處理模型進(jìn)行訓(xùn)練，包括：

利用所述初始文本處理模型對(duì)每個(gè)所述替換語(yǔ)句進(jìn)行處理，以生成每個(gè)所述替換語(yǔ)句中每個(gè)分詞的預(yù)測(cè)類(lèi)別標(biāo)簽及預(yù)測(cè)替換詞；

根據(jù)每個(gè)所述原語(yǔ)句與對(duì)應(yīng)的替換語(yǔ)句的差異、及所述對(duì)應(yīng)的替換語(yǔ)句中每個(gè)分詞的預(yù)測(cè)類(lèi)別標(biāo)簽及預(yù)測(cè)替換詞，確定所述初始文本處理模型的損失值；以及

根據(jù)所述損失值，對(duì)所述初始文本處理模型進(jìn)行修正。

2.如權(quán)利要求1所述的方法，其中，所述將每個(gè)所述原語(yǔ)句包含的各個(gè)詞條中的至少一個(gè)詞條替換為同義詞，以生成與所述多個(gè)原語(yǔ)句對(duì)應(yīng)的多個(gè)替換語(yǔ)句，包括：

獲取每個(gè)所述原語(yǔ)句中每個(gè)所述詞條的詞性；

根據(jù)每個(gè)所述詞條的詞性確定每個(gè)所述原語(yǔ)句包含的多個(gè)候選詞條；

將每個(gè)所述原語(yǔ)句中包含的所述多個(gè)候選詞條中的至少一個(gè)詞條替換為同義詞，以生成與所述多個(gè)原語(yǔ)句對(duì)應(yīng)的多個(gè)替換語(yǔ)句。

3.如權(quán)利要求1所述的方法，其中，所述將每個(gè)所述原語(yǔ)句包含的各個(gè)詞條中的至少一個(gè)詞條替換為同義詞，包括：

根據(jù)每個(gè)所述原語(yǔ)句包含的詞條數(shù)量，確定每個(gè)所述原語(yǔ)句對(duì)應(yīng)的待替換詞條的數(shù)量N，其中，N為正整數(shù)；

將每個(gè)所述原語(yǔ)句中的N個(gè)詞條分別替換為對(duì)應(yīng)的同義詞，以生成與所述多個(gè)原語(yǔ)句對(duì)應(yīng)的多個(gè)第一替換語(yǔ)句。

4.如權(quán)利要求1所述的方法，其中，所述將每個(gè)所述原語(yǔ)句包含的各個(gè)詞條中的至少一個(gè)詞條替換為同義詞，包括：

獲取每個(gè)所述原語(yǔ)句中的詞條數(shù)量M，其中，M為正整數(shù)；

如果所述原語(yǔ)句集中的任一原語(yǔ)句包含的詞條數(shù)量M大于閾值，則分別將所述任一原語(yǔ)句中的i個(gè)詞條分別替換為同義詞，以生成與所述任一原語(yǔ)句對(duì)應(yīng)的第二替換語(yǔ)句，并將所述任一原語(yǔ)句中的j個(gè)詞條分別替換為同義詞，以生成與所述任一原語(yǔ)句對(duì)應(yīng)的第三替換語(yǔ)句，其中，所述i個(gè)詞條與所述j個(gè)詞條不同。

5.如權(quán)利要求1所述的方法，其中，如果所述原語(yǔ)句集中任一原語(yǔ)句的任一待替換詞條包括Y個(gè)同義詞，則所述將每個(gè)所述原語(yǔ)句包含的各個(gè)詞條中的至少一個(gè)詞條替換為同義詞，以生成與所述多個(gè)原語(yǔ)句分別對(duì)應(yīng)的多個(gè)替換語(yǔ)句，包括：

將所述任一原語(yǔ)句中的所述任一待替換詞條分別替換為所述Y個(gè)同義詞中的一個(gè)，以生成與所述任一原語(yǔ)句對(duì)應(yīng)的Y個(gè)第四替換語(yǔ)句。

6.如權(quán)利要求1-5任一所述的方法，其中，所述根據(jù)每個(gè)所述原語(yǔ)句與對(duì)應(yīng)的替換語(yǔ)句的差異、及所述對(duì)應(yīng)的替換語(yǔ)句中每個(gè)分詞的預(yù)測(cè)類(lèi)別標(biāo)簽及預(yù)測(cè)替換詞，確定所述初始文本處理模型的損失值，包括：

根據(jù)每個(gè)所述原語(yǔ)句與對(duì)應(yīng)的替換語(yǔ)句的差異，確定所述對(duì)應(yīng)的替換語(yǔ)句中每個(gè)分詞的實(shí)際類(lèi)別標(biāo)簽及目標(biāo)替換詞；

根據(jù)所述每個(gè)分詞的實(shí)際類(lèi)別標(biāo)簽與所述預(yù)測(cè)類(lèi)別標(biāo)簽的差異，確定第一損失值；

根據(jù)所述目標(biāo)替換詞與所述預(yù)測(cè)替換詞的差異，確定第二損失值；

根據(jù)所述第一損失值及所述第二損失值，確定所述初始文本處理模型的損失值。

7.如權(quán)利要求6所述的方法，其中，所述初始文本處理模型，包括分別與特征處理層連接的標(biāo)簽預(yù)測(cè)層及替換詞預(yù)測(cè)層，所述根據(jù)所述損失值，對(duì)所述初始文本處理模型進(jìn)行修正，包括：

根據(jù)所述第一損失值，對(duì)所述初始文本處理模型的標(biāo)簽預(yù)測(cè)層及所述特征處理層進(jìn)行修正；

根據(jù)所述第二損失值，對(duì)所述初始文本處理模型的替換詞預(yù)測(cè)層及所述特征處理層進(jìn)行修正。