[發(fā)明專利]一種文本處理方法、裝置、設(shè)備及介質(zhì)、程序產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202110506873.X
• 申請(qǐng)日: 2021-05-10
• 公開（公告）號(hào): CN113221545B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 林雨;吳培昊;馬澤君
• 申請(qǐng)（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F40/253
• 分類號(hào): G06F40/253;G06F40/216;G06F40/284
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11304
• 代理人: 姚瑩麗

1.一種文本處理方法，其特征在于，所述方法包括：

獲取待處理文本中原語(yǔ)句對(duì)應(yīng)的多個(gè)候選修改句；

根據(jù)所述原語(yǔ)句以及所述多個(gè)候選修改句，通過(guò)評(píng)估模型獲得所述多個(gè)候選修改句的第一評(píng)分，所述評(píng)估模型為雙向預(yù)訓(xùn)練模型通過(guò)文本糾錯(cuò)語(yǔ)料遷移學(xué)習(xí)得到；

根據(jù)所述第一評(píng)分從所述多個(gè)候選修改句中確定所述原語(yǔ)句的目標(biāo)修改句；

所述方法還包括：

獲取所述目標(biāo)修改句的至少一個(gè)修改語(yǔ)塊；

將所述至少一個(gè)修改語(yǔ)塊對(duì)應(yīng)的原語(yǔ)句中的原語(yǔ)塊的部分輸入所述評(píng)估模型，預(yù)測(cè)修改詞和/或插入詞；

根據(jù)所述修改詞和/或所述插入詞，接受或拒絕所述修改語(yǔ)塊對(duì)所述原語(yǔ)塊的修改。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述修改詞和/或所述插入詞的置信度，所述置信度基于概率確定；

根據(jù)所述置信度對(duì)所述修改詞和/或所述插入詞進(jìn)行過(guò)濾。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括:

在預(yù)測(cè)所述修改詞時(shí)，增加所述修改詞與原語(yǔ)塊中對(duì)應(yīng)的詞一致的概率偏置；和/或，

在預(yù)測(cè)所述插入詞時(shí)，增加所述插入詞為零插入位置的概率偏置。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

通過(guò)生成模型獲得所述多個(gè)候選修改句的第二評(píng)分；

所述根據(jù)所述第一評(píng)分從所述多個(gè)候選修改句中確定所述原語(yǔ)句的目標(biāo)修改句，包括:

根據(jù)所述第一評(píng)分和所述第二評(píng)分從所述多個(gè)候選修改句中確定所述原語(yǔ)句的目標(biāo)修改句。

5.一種文本處理方法，其特征在于，所述方法包括：

接收用戶輸入的待處理文本；

根據(jù)所述待處理文本生成文本處理請(qǐng)求，向服務(wù)器發(fā)送所述文本處理請(qǐng)求；

接收根據(jù)多個(gè)候選修改句的第一評(píng)分確定的所述待處理文本中原語(yǔ)句的目標(biāo)修改句；所述第一評(píng)分根據(jù)所述原語(yǔ)句和所述多個(gè)候選修改句通過(guò)評(píng)估模型得到；所述評(píng)估模型為雙向預(yù)訓(xùn)練模型通過(guò)文本糾錯(cuò)語(yǔ)料遷移學(xué)習(xí)得到；向所述用戶呈現(xiàn)所述目標(biāo)修改句；其中，所述服務(wù)器在基于所述文本處理請(qǐng)求返回所述目標(biāo)修改句之前，還執(zhí)行了如下操作：獲取所述目標(biāo)修改句的至少一個(gè)修改語(yǔ)塊；將所述至少一個(gè)修改語(yǔ)塊對(duì)應(yīng)的原語(yǔ)句中的原語(yǔ)塊的部分輸入所述評(píng)估模型，預(yù)測(cè)修改詞和/或插入詞；根據(jù)所述修改詞和/或所述插入詞，接受或拒絕所述修改語(yǔ)塊對(duì)所述原語(yǔ)塊的修改。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述接收根據(jù)多個(gè)候選修改句的第一評(píng)分確定的所述待處理文本中原語(yǔ)句的目標(biāo)修改句，包括：

接收根據(jù)多個(gè)候選修改句的第一評(píng)分和所述多個(gè)候選修改句的第二評(píng)分確定的所述待處理文本中原語(yǔ)句的目標(biāo)修改句；所述多個(gè)候選修改句的第二評(píng)分通過(guò)生成模型獲得。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述向所述用戶呈現(xiàn)所述目標(biāo)修改句，包括：

通過(guò)設(shè)定樣式，向用戶呈現(xiàn)目標(biāo)修改句。

8.一種文本處理裝置，其特征在于，包括：

獲取模塊，用于獲取待處理文本中原語(yǔ)句對(duì)應(yīng)的多個(gè)候選修改句；

評(píng)分模塊，用于根據(jù)所述原語(yǔ)句以及所述多個(gè)候選修改句，通過(guò)評(píng)估模型獲得所述多個(gè)候選修改句的第一評(píng)分，所述評(píng)估模型為雙向預(yù)訓(xùn)練模型通過(guò)文本糾錯(cuò)語(yǔ)料遷移學(xué)習(xí)得到；

篩選模塊，用于根據(jù)所述第一評(píng)分從所述多個(gè)候選修改句中確定所述原語(yǔ)句的目標(biāo)修改句；

所述裝置還包括：預(yù)測(cè)模塊和修訂模塊；

所述獲取模塊，還用于獲取所述目標(biāo)修改句的至少一個(gè)修改語(yǔ)塊；所述預(yù)測(cè)模塊，用于將所述至少一個(gè)修改語(yǔ)塊對(duì)應(yīng)的原語(yǔ)句中的原語(yǔ)塊的部分輸入所述評(píng)估模型，預(yù)測(cè)修改詞和/或插入詞；所述修訂模塊，用于根據(jù)所述修改詞和/或所述插入詞，接受或拒絕所述修改語(yǔ)塊對(duì)所述原語(yǔ)塊的修改。