[發(fā)明專利]基于深度學(xué)習(xí)模型的文本糾錯方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010110922.3
• 申請日: 2020-02-21
• 公開（公告）號: CN111339758B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 蔣倩雯;沈藝;許加書;張森;張兵兵
• 申請（專利權(quán)）人: 蘇寧云計算有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/242;G06F16/31
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 盛安平

1.一種基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，包括步驟：

利用錯誤定位模型判斷用戶輸入的語句是否存在錯誤字，同時獲取所述錯誤字的位置索引；

將不存在錯誤字的語句直接輸出，同時輸出判斷結(jié)果；或者，

將存在錯誤字的語句輸入錯誤糾正模型以得到修改后的語句，同時獲取被修改字的位置索引，判斷被修改字的位置索引與錯誤字的位置索引是否一致，如果一致，輸出修改后的語句，如果不一致，輸出修改前的語句；

其中，所述錯誤定位模型采用bilstm+crf模型；所述錯誤糾正模型采用seq2seq模型；

判斷用戶輸入的語句是否存在錯誤字同時獲取所述錯誤字的位置索引的方法包括：

接收用戶輸入的語句，并將所述語句轉(zhuǎn)換為字索引；

將轉(zhuǎn)換為字索引的語句輸入訓(xùn)練完成的bilstm+crf模型；

利用bilstm+crf模型判斷所述語句是否存在錯誤字，同時獲取所述錯誤字的位置索引。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，所述bilstm+crf模型的訓(xùn)練方法包括：

構(gòu)建用于訓(xùn)練bilstm+crf模型的第一訓(xùn)練語料庫；

將第一訓(xùn)練語料庫中的每條語句及其錯誤位置索引對應(yīng)地輸入至bilstm+crf模型中；

采用預(yù)設(shè)的錯誤查全率和錯誤查準(zhǔn)率對bilstm+crf模型進(jìn)行評價，直至bilstm+crf模型的錯誤查全率和錯誤查準(zhǔn)率都達(dá)到合格閾值。

3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，所述預(yù)設(shè)的錯誤查準(zhǔn)率為錯誤位置判斷正確的語句數(shù)量與所有判斷含有錯誤位置的語句數(shù)量之比；

所述預(yù)設(shè)的錯誤查全率為所有判斷含有錯誤的語句數(shù)量與所有實際含有錯誤的語句數(shù)量之比。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，如果bilstm+crf模型判斷用戶輸入的語句存在錯誤字，則

將語句輸入訓(xùn)練完成的seq2seq模型以得到修改后的語句；

對比修改后語句與用戶輸入語句，以獲取被修改字的位置索引；

判斷被修改字的位置索引與錯誤字的位置索引是否一致，如果一致，輸出修改后的語句，如果不一致，輸出修改前的語句。

5.根據(jù)權(quán)利要求1或4所述的基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，訓(xùn)練seq2seq模型的方法包括：

構(gòu)建用于訓(xùn)練seq2seq模型的第二訓(xùn)練語料庫；

將第二訓(xùn)練語料庫中的每一條待修改語句及正確語句一一對應(yīng)地輸入至seq2seq模型中；

采用預(yù)設(shè)的修改正確率和修改查全率對seq2seq模型進(jìn)行評價，直至seq2seq模型的修改正確率和修改查全率都達(dá)到合格閾值。

6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)模型的文本糾錯方法，其特征在于，所述修改正確率為修改正確的語句數(shù)量與所有修改的語句數(shù)量之比；

所述修改查全率為所有修改的語句數(shù)量與所有含有錯誤的語句數(shù)量之比。