[發明專利]一種中文文本糾錯方法及系統

有效

• 申請號: 202011021044.4
• 申請日: 2020-09-25
• 公開（公告）號: CN112149406B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 錢寶生;楊軍;曾擂;王濱;干家東
• 申請（專利權）人: 中國電子科技集團公司第十五研究所
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/205;G06F40/289;G06F17/18;G06N3/045;G06N3/0442;G06N3/084;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 崔玥

1.一種中文文本糾錯方法，其特征在于，包括：

獲取待糾錯文本；

根據統計語言N-gram模型確定所述待糾錯文本中的錯誤詞語以及錯誤詞語位置；

基于所述錯誤詞語以及所述錯誤詞語位置，利用雙向長短期記憶LSTM模型確定第一候選語句集合；

將所述待糾錯文本轉換成拼音序列；

基于所述拼音序列，利用所述N-gram模型確定第二候選語句；

對比所述第一候選語句集合內所有的第一候選語句的困惑度以及所述第二候選語句的困惑度，確定困惑度最低的語句為糾錯后的文本。

2.根據權利要求1所述的中文文本糾錯方法，其特征在于，所述根據統計語言N-gram模型確定所述待糾錯文本中的錯誤詞語以及錯誤詞語位置，之前還包括：

采集原始網頁，并對所述原始網頁進行預處理，確定中文文本語料庫，形成語料庫詞典；

利用分詞器對所述語料庫詞典中的文本進行分詞處理，確定多個分詞后的文本；

統計所有所述分詞后的文本的個數以及任意兩個詞的共現頻率；

根據所述共現頻率構建N-gram模型。

3.根據權利要求2所述的中文文本糾錯方法，其特征在于，所述基于所述錯誤詞語以及所述錯誤詞語位置，利用雙向長短期記憶LSTM模型確定第一候選語句集合，具體包括：

利用詞向量工具，將所述分詞后的文本轉換為詞向量矩陣；

將所述詞向量矩陣作為LSTM模型的輸入，利用前向傳播算法和延時反向傳播算法對LSTM模型進行訓練，構建訓練好后的LSTM模型；

將所述語料庫詞典中的字逐個代入所述待糾錯文本中的錯誤詞語位置，確定代入后的文本；

將所述代入后的文本輸入至所述訓練好后的LSTM模型，輸出所述語料庫詞典中每個字在所述錯誤詞語位置處的出現概率，并按照所述出現概率從小到大的順序對所述代入后的文本進行排序，確定第一候選語句列表；

基于所述錯誤詞語，根據所述第一候選語句列表確定第一候選語句集合。

4.根據權利要求3所述的中文文本糾錯方法，其特征在于，所述基于所述錯誤詞語，根據所述第一候選語句列表確定第一候選語句集合，具體包括：

判斷所述錯誤詞語是否存在于所述第一候選語句列表中，得到第一判斷結果；

若所述第一判斷表示為所述錯誤詞語存在于所述第一候選語句列表中，確定所述待糾錯文本正確；

若所述第一判斷表示為所述錯誤詞語不存在于所述第一候選語句列表中，從所述第一候選語句集合中篩選出與所述錯誤詞語的同音字和近音字，并根據所述同音字和所述近音字確定第二候選語句列表；

將所述第二候選語句列表中的字逐個代入所述待糾錯文本中的錯誤詞語位置，確定第一候選語句集合。

5.根據權利要求2所述的中文文本糾錯方法，其特征在于，所述基于所述拼音序列，利用所述N-gram模型確定第二候選語句，具體包括：

基于所述拼音序列，將所述語料庫詞典中的文本，按照拼音在所述待糾錯文本的位置，構建多條候選語句；

利用所述N-gram模型確定所述多條候選語句的概率，并將概率最大的候選語句作為所述第二候選語句。

6.一種中文文本糾錯系統，其特征在于，包括：

待糾錯文本獲取模塊，用于獲取待糾錯文本；

錯誤詞語以及錯誤詞語位置確定模塊，用于根據統計語言N-gram模型確定所述待糾錯文本中的錯誤詞語以及錯誤詞語位置；

第一候選語句集合確定模塊，用于基于所述錯誤詞語以及所述錯誤詞語位置，利用雙向長短期記憶LSTM模型確定第一候選語句集合；

拼音序列轉換模塊，用于將所述待糾錯文本轉換成拼音序列；

第二候選語句確定模塊，用于基于所述拼音序列，利用所述N-gram模型確定第二候選語句；

糾錯后的文本確定模塊，用于對比所述第一候選語句集合內所有的第一候選語句的困惑度以及所述第二候選語句的困惑度，確定困惑度最低的語句為糾錯后的文本。