[發(fā)明專利]中文錯(cuò)字檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810942637.0
• 申請(qǐng)日: 2018-08-17
• 公開（公告）號(hào): CN109213998B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 夏天;劉智美;龔永罡
• 申請(qǐng)（專利權(quán)）人: 上海蜜度信息技術(shù)有限公司
• 主分類號(hào): G06F40/232
• 分類號(hào): G06F40/232;G06F40/284;G06F40/216
• 代理公司: 北京華清迪源知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 丁彥峰

1.一種中文錯(cuò)字檢測(cè)方法，其特征在于，包括：

步驟S1：獲取待檢測(cè)文本；

預(yù)處理過程，對(duì)GB18030中定義的漢字，機(jī)器統(tǒng)計(jì)其同音字；同時(shí)考慮鍵盤上字母布局，統(tǒng)計(jì)每個(gè)字的近音字；對(duì)GB18030中定義的漢字，機(jī)器統(tǒng)計(jì)其形近字；按漢字字頻排序，形成每個(gè)漢字的“單字混淆集”；通過爬蟲抓取、網(wǎng)頁文章自動(dòng)抽取技術(shù)，建立文章素材庫，使用中文分詞技術(shù)對(duì)素材庫中文章進(jìn)行分詞；

統(tǒng)計(jì)詞與詞之間的二元配對(duì)關(guān)系bigram、三元配對(duì)關(guān)系trigram，建立bigram語言模型以及trigram語言模型；對(duì)素材庫中所有文章的所有分詞結(jié)果，按同音詞、音近詞進(jìn)行統(tǒng)計(jì)，以詞的拼音為主鍵、詞的序列為值，建立同音詞倒排索引，得到同音庫；對(duì)素材庫的文章進(jìn)行依存語法分析，存放到依存樹統(tǒng)計(jì)庫中；利用預(yù)處理得到的結(jié)果對(duì)待檢測(cè)文本進(jìn)行錯(cuò)字檢測(cè)；

步驟S2：對(duì)所述待檢測(cè)文本進(jìn)行分詞處理，得到分詞數(shù)組T＝[t₁，t₂，t₃，......，t_n]，令i＝1；

步驟S3：根據(jù)預(yù)先建立的bigram語言模型以及trigram語言模型獲取t_it_i+1在所述bigram語言模型中的頻次以及t_it_i+1t_i+2在所述trigram語言模型中的頻次，若t_it_i+1在所述bigram語言模型中的頻次小于第一閾值且t_it_i+1t_i+2在所述trigram語言模型中的頻次小于第二閾值，則對(duì)t_i進(jìn)行錯(cuò)誤檢測(cè)處理；

所述錯(cuò)誤檢測(cè)處理包括：

步驟A：判斷t_i+1與t_i是否相同，若相同，則根據(jù)t_it_i+1在所述bigram語言模型中的頻次以及t_i+1的詞性對(duì)t_i+1執(zhí)行標(biāo)記刪除操作；

步驟B：對(duì)t_i進(jìn)行局部重搭配操作，并根據(jù)所述bigram語言模型以及所述trigram語言模型比較重搭配前與重搭配后的合理度；

步驟C：若t_i、t_i+1的結(jié)合或者t_i、t_i+1、t_i+2的結(jié)合為4個(gè)字，則對(duì)所結(jié)合的4個(gè)字進(jìn)行字或詞的替換，并判斷替換后的四個(gè)字是否為四字成語；

步驟D：根據(jù)預(yù)設(shè)的稀有姓氏表判斷t_i中是否存在稀有姓氏，若存在，則采用不識(shí)別姓名模式的分詞算法對(duì)所述待檢測(cè)文本再次進(jìn)行分詞處理，并對(duì)得到的分詞數(shù)組進(jìn)行錯(cuò)誤檢測(cè)流程；

步驟S4：執(zhí)行i＝i+1，若i≤n-2，重復(fù)執(zhí)行步驟S3，若i＞n-2，執(zhí)行步驟S5；

步驟S5：根據(jù)所述錯(cuò)誤檢測(cè)處理的結(jié)果生成修改建議列表。

2.根據(jù)權(quán)利要求1所述的中文錯(cuò)字檢測(cè)方法，其特征在于，所述步驟S5包括：

按照預(yù)設(shè)的誤報(bào)處理規(guī)則判斷所述錯(cuò)誤檢測(cè)處理得到的錯(cuò)詞的候選詞是否為誤報(bào)；

去除誤報(bào)的候選詞，在所述修改建議列表中將剩余的候選詞標(biāo)記為錯(cuò)詞的推薦詞。