[發明專利]文本糾錯方法、裝置及存儲介質

在審

• 申請號: 202110939673.3
• 申請日: 2021-08-16
• 公開（公告）號: CN113468871A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 李羅政;張丹
• 申請（專利權）人: 北京北大方正電子有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/216;G06N20/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉丹;黃健

本申請提供一種文本糾錯方法、裝置及存儲介質，該方法包括：對待糾錯文本進行狀態建模，得到狀態圖，狀態圖包含多個狀態集以及相鄰狀態集中狀態間的距離，狀態集中的狀態包含一包含于對待糾錯文本中的目標字或所述目標字對應的易混淆字；對狀態圖中至少一目標路徑進行搜索，將位于目標路徑上的狀態作為糾錯結果，得到至少一糾錯結果，目標路徑為路徑距離小于距離閾值的路徑；根據至少一糾錯結果，確定待糾錯文本是否存在錯誤；若待糾錯文本存在錯誤，則根據各糾錯結果對待糾錯文本的已修改字數，對待糾錯文本進行糾錯，以提高文本糾錯的準確率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種文本糾錯方法、裝置及存儲介質。

背景技術

隨著自然語言技術的發展，中文文本糾錯技術也日趨成熟，逐步在各行各業中推廣應用。現有的基于深度學習的有監督學習技術，已經可以在數據量充足的情況下，在特定錯誤的糾正上取得較好的水平。但是，工業應用場景中經常面臨標注數據缺乏的低資源場景，因此，在低資源場景下如何進行高效、準確的文本糾錯，仍是一個難題。

目前，對于文本糾錯任務而言，通過利用語言模型、易錯字集合和經典維特比算法對原始文本進行逐字重新解碼，確定最優路徑，進而實現無監督的文本糾錯。但通過經典維特比算法進行無監督的文本糾錯，可能存在糾錯結果不準確的問題，進而導致誤報較多。

發明內容

為了解決上述問題，本申請提供了一種文本糾錯方法、裝置及存儲介質。

第一方面，本申請提供了一種文本糾錯方法，包括：

對待糾錯文本進行狀態建模，得到狀態圖，狀態圖包含多個狀態集以及相鄰狀態集中狀態間的距離，狀態集中的狀態包含一包含于對待糾錯文本中的目標字或目標字對應的易混淆字；

對狀態圖中至少一目標路徑進行搜索，將位于目標路徑上的狀態作為糾錯結果，得到至少一糾錯結果，目標路徑為路徑距離小于距離閾值的路徑；

根據至少一糾錯結果，確定待糾錯文本是否存在錯誤；

若待糾錯文本存在錯誤，則根據各糾錯結果對待糾錯文本的已修改字數，對待糾錯文本進行糾錯。

一種可能的實施方式中，根據各糾錯結果對待糾錯文本的已修改字數，對待糾錯文本進行糾錯，包括：確定至少一糾錯結果中對應路徑距離最小的糾錯結果為目標糾錯結果：基于目標糾錯結果，按照從左至右的順序遍歷替換待糾錯文本中的錯字；在遍歷過程中，確定目標糾錯結果對待糾錯文本的已修改字數；將已修改字數以及目標糾錯結果對應的路徑距離代入預設的維特比算法，得到更新后的路徑距離；若更新后的路徑距離大于至少一糾錯結果中其他糾錯結果對應的路徑距離，則重新確定目標糾錯結果，執行基于目標糾錯結果，按照從左至右的順序遍歷替換待糾錯文本中的錯字；若更新后的路徑距離小于至少一糾錯結果中其他糾錯結果對應的路徑距離，且已修改字數等于預設值，則觸發早停機制，早停機制是停止對待糾錯文本中當前替換位置之后部分進行從左到右方向的糾錯，并對待糾錯文本中當前替換位置之后部分進行從右到左方向的糾錯。

一種可能的實施方式中，還包括：若遍歷結束時，更新后的路徑距離小于至少一糾錯結果中其他糾錯結果對應的路徑距離，且已修改字數小于預設值，則完成對待糾錯文本的糾錯。

一種可能的實施方式中，預設的維特比算法具體為：

其中，d(S，X_n，i)表示從狀態圖的起點到第n步中第i個狀態的節點的距離；d(X_n，i，X_n-1，j)表示從第n-1步中第j個狀態的節點到第n步中第i個狀態的節點的距離；s_n-1表示第n-1步中易混淆字的個數，n為大于或等于2的正整數；re＝(k/a)²，k表示已修改字數，a表示可調參數。