[發(fā)明專利]文本糾錯方法、裝置、計算機設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011468344.7
• 申請日: 2020-12-14
• 公開（公告）號: CN112232059B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 陳孝良;蘇少煒;岳曉宇;常樂
• 申請（專利權(quán)）人: 北京聲智科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/295;G06F40/30
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責任公司 11138
• 代理人: 孔德月

本申請實施例提供一種文本糾錯方法、裝置、計算機設(shè)備及存儲介質(zhì)。該方法包括：獲取待糾錯語句；在待糾錯語句中確定第一實體，在知識庫中確定與第一實體相對應(yīng)的第二實體；基于第二實體的類型和待糾錯語句生成候選語句；通過語言模型在候選語句中確定出目標語句；根據(jù)目標語句，以及目標語句對應(yīng)的第二實體，確定待糾錯語句對應(yīng)的正確語句。本申請實施例提供的技術(shù)方案，通過利用外部知識提供的信息對文本中出現(xiàn)的知識型錯誤（待糾錯語句中存在字音、字形、缺字等錯誤但語義依然合理時）進行糾錯，一方面減小糾錯算法對大規(guī)模數(shù)據(jù)的依賴，一方面提高糾錯能力以及糾錯成功率。

技術(shù)領(lǐng)域

本申請實施例涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種文本糾錯方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，終端在接收用戶輸入的語句，以及將語音信號轉(zhuǎn)換成語句的過程中通常會出現(xiàn)錯誤語句，需要對上述錯誤語句進行糾錯。

在自然語言處理領(lǐng)域，通過大規(guī)模預(yù)料訓(xùn)練得到語言模型，錯誤語句被輸入至該語言模型后，由語言模型輸出正確語句。然而，語言模型通常能糾正形近或音似的錯別字、多字和缺字造成的錯誤語句，也即語言模型能很好糾正文本中導(dǎo)致文本無意義的錯誤。示例性地，語言模型將“天氣轉(zhuǎn)涼，請注意預(yù)防感帽”糾錯結(jié)果為“天氣轉(zhuǎn)涼，請注意預(yù)防感冒”。

若錯誤文本具有合理的語義，此時語言模型無法進行糾正，導(dǎo)致文本糾錯的成功率較低。

發(fā)明內(nèi)容

本申請實施例提供一種文本糾錯方法、裝置、計算機設(shè)備及存儲介質(zhì)。所述技術(shù)方案包括如下幾方面。

一方面，本申請實施例一種文本糾錯方法，所述方法包括：

獲取待糾錯語句；

在所述待糾錯語句中確定至少一個第一實體，在所述知識庫中確定第二實體集合，所述第二實體集合包括與所述第一實體分別對應(yīng)的第二實體，所述知識庫包括多個實體之間的關(guān)系信息；

基于所述第二實體的類型和所述待糾錯語句生成候選語句；

通過語言模型在所述候選語句中確定出目標語句，所述語言模型是通過由實體的類型組成的樣本語句對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練得到的；

根據(jù)所述目標語句，以及所述目標語句對應(yīng)的所述第二實體，確定所述待糾錯語句對應(yīng)的正確語句。

另一方面，本申請實施例提供一種文本糾錯裝置，所述裝置包括：

語句獲取模塊，用于獲取待糾錯語句；

第一確定模塊，用于在所述待糾錯語句中確定至少一個第一實體，在所述知識庫中確定第二實體集合，所述第二實體集合包括與所述第一實體分別對應(yīng)的第二實體，所述知識庫包括多個實體之間的關(guān)系信息；

語句生成模塊，用于基于所述第二實體的類型和所述待糾錯語句生成候選語句；

第二確定模塊，用于通過語言模型在所述候選語句中確定出目標語句，所述語言模型是通過由實體的類型組成的樣本語句對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練得到的；

文本糾錯模塊，用于根據(jù)所述目標語句，以及所述目標語句對應(yīng)的所述第二實體，確定所述待糾錯語句對應(yīng)的正確語句。

又一方面，本申請實施例提供了一種計算機設(shè)備，所述計算機設(shè)備包括處理器和存儲器，所述存儲器存儲有計算機程序，所述計算機程序由所述處理器加載并執(zhí)行以實現(xiàn)如一方面所述的文本糾錯方法。

又一方面，本申請實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機程序，所述計算機程序由處理器加載并執(zhí)行以實現(xiàn)如一方面所述的文本糾錯方法。