[發(fā)明專利]文本糾錯方法、裝置、計算機設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011468344.7
• 申請日: 2020-12-14
• 公開（公告）號: CN112232059B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 陳孝良;蘇少煒;岳曉宇;常樂
• 申請（專利權(quán)）人: 北京聲智科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/295;G06F40/30
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責任公司 11138
• 代理人: 孔德月

1.一種文本糾錯方法，其特征在于，所述方法包括：

獲取待糾錯語句；

在所述待糾錯語句中確定至少一個第一實體，在知識庫中確定第二實體集合，所述第二實體集合包括與所述第一實體分別對應的第二實體，所述知識庫包括多個實體之間的關(guān)系信息；

基于所述第二實體的類型和所述待糾錯語句生成候選語句；

通過語言模型在所述候選語句中確定出目標語句，所述語言模型是通過由實體的類型組成的樣本語句對神經(jīng)網(wǎng)絡(luò)進行訓練得到的；

根據(jù)所述目標語句，以及所述目標語句對應的所述第二實體，確定所述待糾錯語句對應的正確語句。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述待糾錯語句中確定第一實體，在所述知識庫中確定第二實體集合，包括：

將所述待糾錯語句劃分為多個字段；

根據(jù)所述字段與所述知識庫中的實體之間的相似度，在所述多個字段中確定出所述第一實體，在所述知識庫中確定與所述第一實體相對應的第二實體，將與所述第一實體相對應的第二實體添加至所述第二實體集合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述字段與所述知識庫中的實體之間的相似度，在所述多個字段中確定出所述第一實體，在所述知識庫中確定與所述第一實體相對應的第二實體，包括：

對于每一所述字段，計算所述字段與所述知識庫中的實體之間的相似度；

若所述字段與所述知識庫中的候選實體之間的相似度大于第一閾值，則將所述字段確定為所述第一實體，將所述知識庫中的候選實體確定為所述第二實體。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對于每一所述字段，計算所述字段與所述知識庫中的實體之間的相似度，包括：

通過所述字段的字音、字形與所述知識庫中的實體的字音、字形，計算所述字段和所述知識庫中的實體之間的相似度。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述字段與所述知識庫中的實體之間的相似度，在所述多個字段中確定出所述第一實體，在所述知識庫中確定與所述第一實體相對應的第二實體之后，包括：

在所述知識庫中確定與多個所述第二實體中的目標實體存在直接關(guān)聯(lián)關(guān)系的候選實體；

若所述候選實體，與所述第二實體中除所述目標實體之外的其它實體之間的相似度大于第二閾值，則將所述候選實體添加至所述第二實體集合。

6.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于，所述基于所述第二實體的類型和所述待糾錯語句生成候選語句，包括：

通過所述第二實體的類型替換所述待糾錯語句中與所述第二實體對應的第一實體，得到所述候選語句。

7.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于，當所述目標語句存在多個時，所述根據(jù)所述目標語句，以及所述目標語句對應的所述第二實體，確定所述待糾錯語句對應的正確語句，包括：

將所述目標語句中的所述第二實體的類型替換為所述第二實體；

確定實體關(guān)聯(lián)分數(shù)最大的所述目標語句；

根據(jù)所述實體關(guān)聯(lián)分數(shù)最大的所述目標語句，以及所述實體關(guān)聯(lián)分數(shù)最大的所述目標語句對應的所述第二實體，確定所述正確語句。

8.根據(jù)權(quán)利要求1至5任一項所述的方法，其特征在于，所述語言模型的訓練過程如下：

獲取訓練語句，所述訓練語句被標注有第一分數(shù)，所述訓練語句中的實體通過實體類型來替代；

通過所述訓練語句對所述神經(jīng)網(wǎng)絡(luò)進行訓練，輸出第二分數(shù)；

基于所述第一分數(shù)和所述第二分數(shù)確定損失函數(shù)；

根據(jù)所述損失函數(shù)調(diào)節(jié)所述神經(jīng)網(wǎng)絡(luò)的參數(shù)，得到所述語言模型。