[發明專利]文本糾錯語料生成方法、裝置、設備及存儲介質

在審

• 申請號: 202211412212.1
• 申請日: 2022-11-11
• 公開（公告）號: CN115688767A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王亭;李志飛
• 申請（專利權）人: 出門問問創新科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06N3/02
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 周偉

本公開提供了一種文本糾錯語料生成方法、裝置、設備及存儲介質，通過將原始語料進行預處理，得到待處理語料，獲取所述待處理語料的實體信息，并根據所述待處理語料的實體信息確定所述待處理語料的多個錯誤位置，根據錯誤類型共存策略，在所述待處理語料的多個錯誤位置設置錯誤文本，以生成初步文本糾錯語料，通過語言困惑模型過濾所述初步文本糾錯語料，得到目標文本糾錯語料，本公開可以更加高效、便捷的獲得多樣化本文本糾錯語料，以滿足各種類型的供后續文本糾錯模型訓練使用。

技術領域

本公開涉及文本糾錯技術領域，尤其涉及一種文本糾錯語料生成方法、裝置、設備及存儲介質。

背景技術

文本糾錯技術是有益于多個領域的一項重要技術，能夠極大地減少文本撰寫者的工作量，尤其對于如法律法規、政府發文、新聞編輯等需要優質文本質量的領域而言更是如此。

而目前深度學習領域對于文本糾錯模型的效果主要取決于文本糾錯數據的數量和質量，而這里文本糾錯數據通常是通過常規的人工標注手段得到的數據，不僅工作量較大，還無法在短時間內得到較為優質的大數據量糾錯文本語料，因此現有技術中的文本糾錯語料質量較差，多樣性也差。

發明內容

本公開提供了一種文本糾錯語料生成方法、裝置、設備及存儲介質，以至少解決現有技術中存在的以上技術問題。

根據本公開的第一方面，提供了一種文本糾錯語料生成的方法，其特征在于，所述方法包括：

將原始語料進行預處理，得到待處理語料；

獲取所述待處理語料的實體信息，并根據所述待處理語料的實體信息確定所述待處理語料的多個錯誤位置；

根據錯誤類型共存策略，在所述待處理語料的多個錯誤位置設置錯誤文本，以生成初步文本糾錯語料；

通過語言困惑模型過濾所述初步文本糾錯語料，得到目標文本糾錯語料。

在一可實施方式中，所述獲取所述待處理語料的實體信息，并根據所述待處理語料的實體信息確定所述待處理語料的多個錯誤位置，包括：

獲取所述待處理語料的實體詞以及所述實體詞的實體位置；

以詞粒度作為分割單位，將所述待處理語料輸入分詞模型進行分割，得到具有分詞結構的待處理語料；

設定預設錯誤頻次，以避開所述實體詞以及所述實體詞的實體位置為原則，在所述具有分詞結構的待處理語料中確定多個錯誤位置。

在一可實施方式中，所述錯誤類型包括：音相似錯誤類型、形相似錯誤類型、顛倒錯誤類型、多字錯誤類型以及少字錯誤類型，相應的，所述根據錯誤類型共存策略，在所述待處理語料的多個錯誤位置設置錯誤文本，以生成初步文本糾錯語料，包括：

在基于同一句待處理語料中音相似錯誤和形相似錯誤不共存的前提下，按照預設錯誤類型比例，在所述待處理語料的多個錯誤位置設置相應的錯誤類型文本，以生成初步文本糾錯語料；其中，所述音相似錯誤類型包括：“的地得”錯誤類型。

在一可實施方式中，在所述待處理語料的多個錯誤位置設置相應的錯誤類型文本，包括：

若所述錯誤類型為音相似錯誤類型，則基于音相似混淆數據集，在所述待處理語料的當前錯誤位置設置具有音相似錯誤類型的錯誤文本，其中，所述音相似混淆數據集為具有拼音內部的聲母、韻母、以及聲調相似讀音的混淆數據集；或者，

若所述錯誤類型為形相似錯誤類型，則基于形相似混淆數據集，在所述待處理語料的當前錯誤位置設置具有形相似錯誤類型的錯誤文本，其中，所述形相似混淆數據集為具有形相近或者混淆字詞的混淆數據集；或者，

若所述錯誤類型為顛倒錯誤類型，則通過設置鄰詞顛倒與單字顛倒的預設顛倒比例，以及預設顛倒詞范圍長度，在所述待處理語料的當前錯誤位置設置具有顛倒錯誤類型的錯誤文本；或者，