[發明專利]中文交互式問答文本中錯別字的識別和糾錯的方法及裝置

在審

• 申請號: 201710947261.8
• 申請日: 2017-10-12
• 公開（公告）號: CN107729316A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 傅強
• 申請（專利權）人: 福建富士通信息軟件有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙)35212
• 代理人: 宋連梅

1.中文交互式問答文本中錯別字的識別和糾錯的方法，其特征在于：包括準備過程和識別糾錯過程；

所述準備過程包括生成局部錯誤模型、全局錯誤模型、漢語轉拼音詞典、拼音轉漢語詞典以及形近詞詞典；

所述識別糾錯過程包括下述步驟：

局部錯誤判斷步驟，讀取中文問答文本，進行分詞，依據所述局部錯誤模型讀取每個詞與前后詞的概率，若該概率小于閥值則認為存在局部錯誤，同時判斷各個詞是否是單字成詞，如果是并且該單字成詞概率小于閥值則存在局部錯誤；

全局錯誤判斷步驟，讀取中文問答文本，根據現有的分詞和句法依存分析技術進行分析，建立詞語配對關系，依據所述全局錯誤模型判別各個配對的概率，如果概率小于閥值則存在全局錯誤；

糾錯改寫步驟，如果所述局部錯誤判斷步驟或所述全局錯誤判斷步驟得到的結果是存在錯誤，則進行(1)或(2)：

(1)將出錯的文本轉換為拼音，并依據所述漢語轉拼音詞典或拼音轉漢語詞典得到拼音對應的高頻詞，對出錯的文本進行改寫；

(2)將出錯的文本轉換為五筆編碼，依據所述形近詞詞典得到五筆編碼對應的高頻詞，對出錯的文本進行改寫；

輸出文本步驟，如果糾錯改寫失敗，給出錯誤提示，輸出原文本；如果不存在錯誤或糾錯改寫成功，輸出正確文本；

其中，所述局部錯誤判斷步驟和全局錯誤判斷步驟不分先后。

2.根據權利要求1所述的中文交互式問答文本中錯別字的識別和糾錯的方法，其特征在于：所述局部錯誤模型是根據大規模訓練文本，對文本中的每句話分詞，計算每個詞與前后詞同時出現的概率，寫入模型文件，同時計算單字成詞的概率，寫入模型文件得到。

3.根據權利要求1所述的中文交互式問答文本中錯別字的識別和糾錯的方法，其特征在于：所述全局錯誤模型是根據大規模訓練文本，進行分詞，句法依存分析，并根據該句法依存分析的結果建立詞語配對關系，計算每個配對關系出現的概率，寫入模型文件得到。

4.根據權利要求1所述的中文交互式問答文本中錯別字的識別和糾錯的方法，其特征在于：所述拼音轉漢語詞典是對大規模訓練文本的每句話進行分詞，將每個詞轉換為對應拼音，累計每個詞的頻率，將詞、詞的拼音及詞的頻率匯總得到。

5.根據權利要求1所述的中文交互式問答文本中錯別字的識別和糾錯的方法，其特征在于：所述形近詞詞典是對大規模訓練文本的每句話進行分詞，將每個詞轉換為對應的五筆編碼，累計每個詞的頻率，將詞、詞的五筆編碼及詞的頻率匯總得到。

6.中文交互式問答文本中錯別字的識別和糾錯的裝置，其特征在于：包括：

局部錯誤識別模塊，用于生成局部錯誤模型，識別局部錯誤。

全局錯誤識別模塊，用于生成全局錯誤模型，識別全局錯誤。

音近詞糾錯模塊，用于生成漢語轉拼音詞典、拼音轉漢語詞典，對音近詞進行糾錯。

形近詞糾錯模塊，用于生成形近詞詞典，對形近詞進行糾錯

且所述識別和糾錯的過程：

所述局部錯誤識別模塊讀取中文問答文本，進行分詞，依據所述局部錯誤模型讀取每個詞與前后詞的概率，若該概率小于閥值則認為存在局部錯誤，同時判斷各個詞是否是單字成詞，如果是并且該單字成詞概率小于閥值則存在局部錯誤；

所述全局錯誤識別模塊讀取中文問答文本，根據現有的分詞和句法依存分析技術進行分析，建立詞語配對關系，依據所述全局錯誤模型判別各個配對的概率，如果概率小于閥值則存在全局錯誤；

如果存在局部錯誤或全局錯誤，所述音近詞糾錯模塊則進行(1)或(2)：

(1)將出錯的文本轉換為拼音，并依據所述漢語轉拼音詞典或拼音轉漢語詞典得到拼音對應的高頻詞，對出錯的文本進行改寫；

(2)將出錯的文本轉換為五筆編碼，依據所述形近詞詞典得到五筆編碼對應的高頻詞，對出錯的文本進行改寫；

如果糾錯改寫失敗，給出錯誤提示，輸出原文本；如果不存在錯誤或糾錯改寫成功，輸出正確文本。

7.根據權利要求6所述的中文交互式問答文本中錯別字的識別和糾錯的裝置，其特征在于：所述局部錯誤識別模塊是根據大規模訓練文本，對文本中的每句話分詞，計算每個詞與前后詞同時出現的概率，寫入模型文件，同時計算單字成詞的概率，寫入模型文件得到所述局部錯誤模型。