[發明專利]基于深度學習模型的文本糾錯方法及系統

有效

• 申請號: 202010110922.3
• 申請日: 2020-02-21
• 公開（公告）號: CN111339758B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 蔣倩雯;沈藝;許加書;張森;張兵兵
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/242;G06F16/31
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 盛安平

1.一種基于深度學習模型的文本糾錯方法，其特征在于，包括步驟：

利用錯誤定位模型判斷用戶輸入的語句是否存在錯誤字，同時獲取所述錯誤字的位置索引；

將不存在錯誤字的語句直接輸出，同時輸出判斷結果；或者，

將存在錯誤字的語句輸入錯誤糾正模型以得到修改后的語句，同時獲取被修改字的位置索引，判斷被修改字的位置索引與錯誤字的位置索引是否一致，如果一致，輸出修改后的語句，如果不一致，輸出修改前的語句；

其中，所述錯誤定位模型采用bilstm+crf模型；所述錯誤糾正模型采用seq2seq模型；

判斷用戶輸入的語句是否存在錯誤字同時獲取所述錯誤字的位置索引的方法包括：

接收用戶輸入的語句，并將所述語句轉換為字索引；

將轉換為字索引的語句輸入訓練完成的bilstm+crf模型；

利用bilstm+crf模型判斷所述語句是否存在錯誤字，同時獲取所述錯誤字的位置索引。

2.根據權利要求1所述的基于深度學習模型的文本糾錯方法，其特征在于，所述bilstm+crf模型的訓練方法包括：

構建用于訓練bilstm+crf模型的第一訓練語料庫；

將第一訓練語料庫中的每條語句及其錯誤位置索引對應地輸入至bilstm+crf模型中；

采用預設的錯誤查全率和錯誤查準率對bilstm+crf模型進行評價，直至bilstm+crf模型的錯誤查全率和錯誤查準率都達到合格閾值。

3.根據權利要求2所述的基于深度學習模型的文本糾錯方法，其特征在于，所述預設的錯誤查準率為錯誤位置判斷正確的語句數量與所有判斷含有錯誤位置的語句數量之比；

所述預設的錯誤查全率為所有判斷含有錯誤的語句數量與所有實際含有錯誤的語句數量之比。

4.根據權利要求1所述的基于深度學習模型的文本糾錯方法，其特征在于，如果bilstm+crf模型判斷用戶輸入的語句存在錯誤字，則

將語句輸入訓練完成的seq2seq模型以得到修改后的語句；

對比修改后語句與用戶輸入語句，以獲取被修改字的位置索引；

判斷被修改字的位置索引與錯誤字的位置索引是否一致，如果一致，輸出修改后的語句，如果不一致，輸出修改前的語句。

5.根據權利要求1或4所述的基于深度學習模型的文本糾錯方法，其特征在于，訓練seq2seq模型的方法包括：

構建用于訓練seq2seq模型的第二訓練語料庫；

將第二訓練語料庫中的每一條待修改語句及正確語句一一對應地輸入至seq2seq模型中；

采用預設的修改正確率和修改查全率對seq2seq模型進行評價，直至seq2seq模型的修改正確率和修改查全率都達到合格閾值。

6.根據權利要求5所述的基于深度學習模型的文本糾錯方法，其特征在于，所述修改正確率為修改正確的語句數量與所有修改的語句數量之比；

所述修改查全率為所有修改的語句數量與所有含有錯誤的語句數量之比。