[發明專利]文本糾錯方法、裝置及存儲介質

在審

• 申請號: 202110939673.3
• 申請日: 2021-08-16
• 公開（公告）號: CN113468871A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 李羅政;張丹
• 申請（專利權）人: 北京北大方正電子有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/216;G06N20/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉丹;黃健

1.一種文本糾錯方法，其特征在于，包括：

對待糾錯文本進行狀態建模，得到狀態圖，所述狀態圖包含多個狀態集以及相鄰狀態集中狀態間的距離，所述狀態集中的狀態包含一包含于所述對待糾錯文本中的目標字或所述目標字對應的易混淆字；

對所述狀態圖中至少一目標路徑進行搜索，將位于所述目標路徑上的狀態作為糾錯結果，得到至少一糾錯結果，所述目標路徑為路徑距離小于距離閾值的路徑；

根據所述至少一糾錯結果，確定所述待糾錯文本是否存在錯誤；

若所述待糾錯文本存在錯誤，則根據各所述糾錯結果對所述待糾錯文本的已修改字數，對所述待糾錯文本進行糾錯。

2.根據權利要求1所述的文本糾錯方法，其特征在于，所述根據各所述糾錯結果對所述待糾錯文本的已修改字數，對所述待糾錯文本進行糾錯，包括：

確定所述至少一糾錯結果中對應路徑距離最小的糾錯結果為目標糾錯結果：

基于所述目標糾錯結果，按照從左至右的順序遍歷替換所述待糾錯文本中的錯字；

在遍歷過程中，確定所述目標糾錯結果對所述待糾錯文本的已修改字數；

將所述已修改字數以及所述目標糾錯結果對應的路徑距離代入預設的維特比算法，得到更新后的路徑距離；

若所述更新后的路徑距離大于所述至少一糾錯結果中其他糾錯結果對應的路徑距離，則重新確定目標糾錯結果，執行所述基于所述目標糾錯結果，按照從左至右的順序遍歷替換所述待糾錯文本中的錯字；

若所述更新后的路徑距離小于所述至少一糾錯結果中其他糾錯結果對應的路徑距離，且所述已修改字數等于預設值，則觸發早停機制，所述早停機制是停止對所述待糾錯文本中當前替換位置之后部分進行從左到右方向的糾錯，并對所述待糾錯文本中當前替換位置之后部分進行從右到左方向的糾錯。

3.根據權利要求2所述的文本糾錯方法，其特征在于，還包括：

若遍歷結束時，所述更新后的路徑距離小于所述至少一糾錯結果中其他糾錯結果對應的路徑距離，且所述已修改字數小于預設值，則完成對所述待糾錯文本的糾錯。

4.根據權利要求3所述的文本糾錯方法，其特征在于，所述預設的維特比算法具體為：

其中，d(S，X_n，i)表示從所述狀態圖的起點到第n步中第i個狀態的節點的距離；d(X_n，i，X_n-1，j)表示從第n-1步中第j個狀態的節點到第n步中第i個狀態的節點的距離；s_n-1表示第n-1步中易混淆字的個數，n為大于或等于2的正整數；re＝(k/a)²，k表示所述已修改字數，a表示可調參數。

5.根據權利要求4所述的文本糾錯方法，其特征在于，所述對所述狀態圖中至少一目標路徑進行搜索，將位于所述目標路徑上的狀態作為糾錯結果，得到至少一糾錯結果，包括：

采用所述預設的維特比算法對所述狀態圖中至少一目標路徑進行搜索，將位于所述目標路徑上的狀態作為糾錯結果，得到至少一糾錯結果。

6.根據權利要求1至5中任一項所述的文本糾錯方法，其特征在于，所述對待糾錯文本進行狀態建模，得到狀態圖，包括：

基于混淆集對所述待糾錯文本進行狀態建模，得到初始狀態圖，所述混淆集包含使用頻率大于使用頻率閾值的漢字以及所述漢字的易混淆字；

采用漢語語言模型確定所述初始狀態圖中狀態間的距離，得到狀態圖。

7.根據權利要求1至5中任一項所述的文本糾錯方法，其特征在于，所述根據所述至少一糾錯結果，確定所述待糾錯文本是否存在錯誤，包括：

確定所述待糾錯文本是否包含于所述至少一糾錯結果中；

若所述待糾錯文本不包含于所述至少一糾錯結果中，則確定所述待糾錯文本存在錯誤；

若所述待糾錯文本包含于所述至少一糾錯結果中，則確定所述待糾錯文本不存在錯誤。