[發明專利]標準文本糾錯方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110588256.9
• 申請日: 2021-05-28
• 公開（公告）號: CN113033185B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 郝文建;張明英;高艷炫;王立璽;胡晨;張浩
• 申請（專利權）人: 中國電子技術標準化研究院;北京賽西科技發展有限責任公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/289;G06F40/216;G06F40/242
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張雅娜

本發明提供一種標準文本糾錯方法、裝置、電子設備和存儲介質，其中方法包括：確定待糾錯標準文本及其領域；所述待糾錯標準文本是對標準文件進行光學字符識別得到的；基于所述待糾錯標準文本的領域對應的詞典，順序確定所述待糾錯標準文本中的錯誤文本；所述錯誤文本為所述待糾錯標準文本中未在所述詞典中出現的分詞或詞序列；基于所述待糾錯標準文本的領域對應的詞典，以及所述錯誤文本的前一分詞和后一分詞，對所述錯誤文本進行糾錯；其中，所述詞典是基于所述領域中的樣本標準文本建立的，所述詞典中包括所述樣本標準文本中出現的分詞、包含所述分詞的詞組，以及所述詞組出現的頻率。本發明提高了標準文件的數字化結果的準確性。

技術領域

本發明涉及自然語言處理技術領域，尤其涉及一種標準文本糾錯方法、裝置、電子設備和存儲介質。

背景技術

隨著標準化建設的普及和產業高質量發展，越來越多的企業事業單位用戶參與和使用標準，對應標準的編寫和應用的需求不斷增多。在使用標準文本的過程中，對應標準的內容理解、解讀、使用，往往需要大量的時間和精力對標準宣貫內容進行學習。

在對標準文件進行數字化的過程中，有些特殊字符很難通過機器識別或識別錯誤，因而往往有許多文字性錯誤需要糾正。因此，針對標準文件中的錯誤詞匯，需要一種準確的糾錯方式進行自動糾錯。

發明內容

本發明提供一種標準文本糾錯方法、裝置、電子設備和存儲介質，用以解決現有技術中存在大量文字性錯誤的缺陷。

本發明提供一種標準文本糾錯方法，包括：

確定待糾錯標準文本及其領域；所述待糾錯標準文本是對標準文件進行光學字符識別得到的；

基于所述待糾錯標準文本的領域對應的詞典，順序確定所述待糾錯標準文本中的錯誤文本；所述錯誤文本為所述待糾錯標準文本中未在所述詞典中出現的分詞或詞序列；

基于所述待糾錯標準文本的領域對應的詞典，以及所述錯誤文本的前一分詞和后一分詞，對所述錯誤文本進行糾錯；

其中，所述詞典是基于所述領域中的樣本標準文本建立的，所述詞典中包括所述樣本標準文本中出現的分詞、包含所述分詞的詞組，以及所述詞組出現的頻率。

根據本發明提供一種的標準文本糾錯方法，所述基于所述待糾錯標準文本的領域對應的詞典，以及所述錯誤文本的前一分詞和后一分詞，對所述錯誤文本進行糾錯，具體包括：

基于所述錯誤文本及其前一分詞和后一分詞，確定多個候選詞組序列；

基于各個候選詞組序列中各詞組在所述領域出現的概率，確定各個候選詞組序列在所述領域出現的概率；

基于各個候選詞組序列在所述領域出現的概率，確定所述錯誤文本的糾錯文本；

其中，當所述錯誤文本僅包括一個分詞時，所述候選詞組序列由前置詞組和后置詞組構成；否則，所述候選詞組序列由所述前置詞組、若干中間詞組以及所述后置詞組構成；

所述前置詞組中所述前一分詞在前，所述后置詞組中所述后一分詞在后，所述中間詞組的數量與所述錯誤文本中所有相鄰分詞組成的詞組數量相同，并且所述候選詞組序列中每兩個相鄰詞組的首尾分詞相同。

根據本發明提供的一種標準文本糾錯方法，任一候選詞組序列中的任一詞組在所述領域出現的概率是基于如下步驟確定的：

確定所述任一詞組在所述領域以及所有領域出現的頻率；

基于所述任一詞組在所述領域出現的頻率以及在所有領域出現的頻率之間的比值，確定所述任一詞組在所述領域出現的概率；

其中，若所述任一詞組不存在于所述詞典，則將所述詞典中包含所述任一詞組中任一分詞的所有詞組在所述領域出現的最低概率作為所述任一詞組在所述領域出現的概率。