[發明專利]一種高準確性的中文拼寫檢查方法、系統及介質

在審

• 申請號: 202210573678.3
• 申請日: 2022-05-25
• 公開（公告）號: CN115169328A
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 王重陽
• 申請（專利權）人: 蘇州摩多多信息科技有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/232;G06F40/289
• 代理公司: 蘇州思睿晶華知識產權代理事務所(普通合伙) 32403
• 代理人: 吳碧駿

本發明公開了一種高準確性的中文拼寫檢查方法、系統及介質，所述方法包括以下步驟：獲取待使用語料，配置待使用替換表，基于待使用語料生成待使用近音錯誤樣本和待使用近形錯誤樣本；基于待使用語料訓練待使用決策模型，基于待使用近音錯誤樣本和待使用近形錯誤樣本訓練待使用檢查模型；基于待使用替換表以及訓練后的待使用決策模型和待使用檢查模型對獲取的待檢查文本進行文本檢查糾錯操作；本發明能夠高效的生成高質量和高真實性的訓練樣本，且可以通過自主設置訓練的檢錯模型以及后處理決策模型，對中文文本進行檢錯，并在檢錯之后進行高質量的錯誤糾正判斷，進一步降低模型的誤糾率，提高糾正質量，開辟了中文拼寫檢錯的新方法途徑。

技術領域

本發明涉及智能糾錯技術領域，特別是涉及一種高準確性的中文拼寫檢查方法、系統及介質。

背景技術

隨互聯網的飛速發展，在線輸入成為了各個終端和應用的必備功能，而由于在線輸入大多為人工進行輸入，難免會出現輸入錯誤的情況；在一些非正式場景下，一般錯別字并不會影響既定信息的表達含義，但對于搜索場景而言，輸入錯誤會導致搜索結果與用戶需求不匹配，對于政府公告、外交發言等比較嚴謹的場景，輸入錯誤則可能導致嚴重政治事故；目前，對于在線輸入大多采用拼寫輸入，那么拼寫輸入錯誤的糾錯處理，則是當前時代的剛需。

現有技術中，基于人工智能的學習模型進行拼寫輸入糾錯，其中涉及到樣本的配置、錯誤的檢測以及錯誤的糾正等技術方向；

對于樣本的配置，目前的樣本配置方法采用隨機生成或人工標注的方式，這種方式真實性差，樣本質量差，且人工成本高；

對于錯誤的檢測和糾正，采用模型進行多段式處理或采用seq2seq模型進行糾錯處理；對于多段式處理的方式，一方面會固化模型，另一方面會使模型中的各個處理階段形成強依賴，難以進行系統化的知識共享，且多段式處理的模型需要較強的工程支撐，使用成本高；對于seq2seq模型，一方面其對于樣本的質量要求極高，故導致其誤糾率較高，局限性較大，另一方面其需要較高的算力支撐，故其使用成本也相對較高；

綜上所述，基于現有技術中所存在的問題，需要研發一種即能夠高效生成高質量和高真實性的樣本，且又擁有強大召回能力和低誤糾率的中文拼寫檢查糾錯方法。

發明內容

本發明的目的是，研發一種即能夠高效生成高質量和高真實性的樣本，且又擁有強大召回能力和低誤糾率的中文拼寫檢查糾錯方法，進而彌補現有技術的不足，解決現有技術中所存在的問題。

為實現上述目的，本發明采用的一個技術方案是：提供一種高準確性的中文拼寫檢查方法，包括以下步驟：

語料獲取步驟：

篩選目的網站，從所述目的網站中進行數據爬取，得到第一語料；配置第一開源項目；設置清洗特征數據、符號保留切割邏輯、切割標志符和長度區間；基于所述第一開源項目、所述清洗特征數據、所述符號保留切割邏輯、所述切割標志符和所述長度區間對所述第一語料執行語料清洗操作，得到待使用語料；

替換表配置步驟：

設置第一詞頻值、第二詞頻值和第一字頻值；配置前后鼻音消歧邏輯、復合詞切詞邏輯、第二開源項目、第一簡繁詞表和若干第一近音樣本詞；基于所述待使用語料、所述第一詞頻值、所述第二詞頻值和所述第一字頻值執行替換字詞表生成操作，得到待替換字詞表；基于所述前后鼻音消歧邏輯、所述復合詞切詞邏輯、所述第二開源項目和若干所述第一近音樣本詞執行近音近形表生成操作，得到近音近形表；設置所述第一簡繁詞表為中文繁體詞表，整合所述待替換字詞表、所述近音近形表和所述中文繁體詞表，得待使用替換表；

錯誤樣本生成步驟：