[發(fā)明專(zhuān)利]一種文本文檔亂碼檢測(cè)及修復(fù)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310404131.1
• 申請(qǐng)日: 2013-09-06
• 公開(kāi)（公告）號(hào): CN104424010B
• 公開(kāi)（公告）日: 2017-11-28
• 發(fā)明（設(shè)計(jì)）人: 童征宇;丁力;張鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北大方正集團(tuán)有限公司;北京方正阿帕比技術(shù)有限公司;方正信息產(chǎn)業(yè)控股有限公司
• 主分類(lèi)號(hào): G06F9/45
• 分類(lèi)號(hào): G06F9/45
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司11250
• 代理人: 寇海俠

技術(shù)領(lǐng)域

本發(fā)明涉及一種亂碼檢測(cè)及修復(fù)方法和系統(tǒng)，具體是一種文本文檔亂碼檢測(cè)及修復(fù)方法和系統(tǒng)，屬于文字處理相關(guān)技術(shù)領(lǐng)域。

背景技術(shù)

亂碼(比如網(wǎng)頁(yè)亂碼、文檔亂碼等)是經(jīng)常困擾終端設(shè)備用戶閱讀的一個(gè)問(wèn)題，影響了用戶的閱讀體驗(yàn)。造成亂碼的原因是由于終端設(shè)備系統(tǒng)缺少對(duì)某種字符的支持而產(chǎn)生不能正常閱讀的混亂字符。

目前，常用的亂碼恢復(fù)方法有兩種，一是在計(jì)算機(jī)控制面板上手動(dòng)調(diào)整地區(qū)及語(yǔ)言選項(xiàng)的設(shè)置；二是下載亂碼解析器，利用該亂碼解析器對(duì)亂碼進(jìn)行解析，來(lái)解決亂碼問(wèn)題。但是這兩種亂碼恢復(fù)方法都存在如下問(wèn)題，一是都需要用戶手動(dòng)操作進(jìn)行恢復(fù)，增加了重復(fù)性勞動(dòng)，大大降低了工作效率；二是由于不同的操作系統(tǒng)對(duì)應(yīng)于不同的地區(qū)及語(yǔ)言選項(xiàng)，大大限制了亂碼恢復(fù)的范圍，致使有些亂碼不能恢復(fù)，因此不能滿足所有用戶的需求。

為了克服上述亂碼恢復(fù)方法的缺陷，出現(xiàn)了一種通過(guò)轉(zhuǎn)換編碼格式進(jìn)行亂碼恢復(fù)的方法，該方法為通過(guò)終端設(shè)備的地區(qū)及語(yǔ)言選項(xiàng)中的文字編碼格式，生成地區(qū)與編碼格式對(duì)應(yīng)表，當(dāng)讀取文本文檔時(shí)，先解析所述文本文檔的文字編碼格式并根據(jù)解析得到的編碼格式在所述地區(qū)與編碼格式對(duì)應(yīng)表中進(jìn)行查詢，若查詢失敗，則說(shuō)明編碼格式不匹配，產(chǎn)生亂碼，之后按照所述地區(qū)與編碼格式對(duì)應(yīng)表中的編碼格式對(duì)所述文本文檔進(jìn)行編碼格式轉(zhuǎn)換，嘗試對(duì)亂碼進(jìn)行修復(fù)。但是，亂碼產(chǎn)生的原因不只一種，用戶閱讀文本文檔時(shí)，經(jīng)常出現(xiàn)文本文檔編碼格式匹配，但部分文字仍然出現(xiàn)亂碼的情況。出現(xiàn)這種現(xiàn)象的主要原因就是文本文檔在傳輸或編輯的過(guò)程中受到破壞，造成文檔中的一些字節(jié)丟失，因此就會(huì)出現(xiàn)一些混亂不能正確顯示的字符，這在一定程度上破壞了文檔的完整性。因此，針對(duì)這種亂碼出現(xiàn)的情況，如果僅僅通過(guò)轉(zhuǎn)換編碼格式來(lái)進(jìn)行亂碼修復(fù)，并不能達(dá)到預(yù)期的效果。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是現(xiàn)有技術(shù)中僅僅通過(guò)轉(zhuǎn)換編碼格式來(lái)進(jìn)行亂碼修復(fù)，但這種方法對(duì)于文本文檔受到破壞而產(chǎn)生的亂碼無(wú)法進(jìn)行有效修復(fù)，從而提供一種能夠?qū)ξ谋疚臋n受到破壞而產(chǎn)生的亂碼進(jìn)行有效修復(fù)，進(jìn)而提升用戶閱讀體驗(yàn)的文本文檔亂碼檢測(cè)及修復(fù)方法和系統(tǒng)。

為解決上述技術(shù)問(wèn)題，本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明所述一種文本文檔亂碼檢測(cè)及修復(fù)方法，包括如下步驟：

建立編碼區(qū)間庫(kù)步驟，所述編碼區(qū)間庫(kù)中包括文本文檔編碼格式下所有字符編碼構(gòu)成的編碼區(qū)間；

確定字符編碼的步驟：根據(jù)文本文檔的編碼格式，獲取文本文檔中每一個(gè)字符的編碼；

亂碼確定步驟，比較每一個(gè)所述編碼是否在所述編碼區(qū)間內(nèi)，將不在所述編碼區(qū)間內(nèi)的編碼判斷為亂碼，第一個(gè)亂碼和最后一個(gè)亂碼之間的編碼構(gòu)成亂碼區(qū)間；

亂碼修復(fù)步驟，刪減所述亂碼區(qū)間中導(dǎo)致亂碼產(chǎn)生的若干字節(jié)，對(duì)文本文檔進(jìn)行修復(fù)。

上述的文本文檔亂碼檢測(cè)及修復(fù)方法，所述確定字符編碼的步驟進(jìn)一步包括：

確定字節(jié)數(shù)步驟，根據(jù)文本文檔的編碼格式確定每個(gè)字符的編碼對(duì)應(yīng)的字節(jié)數(shù)；

獲取編碼步驟，按照與所述字節(jié)數(shù)數(shù)量相等的連續(xù)字節(jié)構(gòu)成一個(gè)字符的編碼的標(biāo)準(zhǔn)，依次獲取文本文檔中每一個(gè)字符的編碼。

上述的文本文檔亂碼檢測(cè)及修復(fù)方法，所述亂碼修復(fù)步驟進(jìn)一步包括：

逐字節(jié)刪減步驟，逐一刪減所述亂碼區(qū)間中導(dǎo)致亂碼產(chǎn)生的字節(jié)，形成新的亂碼區(qū)間；

第二比較判斷步驟，判斷所述新的亂碼區(qū)間中的編碼是否均在所述編碼區(qū)間內(nèi)，若是則修復(fù)完成，否則返回至所述逐字節(jié)刪減步驟，直到修復(fù)完成。

上述的文本文檔亂碼檢測(cè)及修復(fù)方法，所述逐字節(jié)刪減步驟中，刪減的字節(jié)總數(shù)小于字符的編碼對(duì)應(yīng)的字節(jié)數(shù)。

上述的文本文檔亂碼檢測(cè)及修復(fù)方法，若所述文本文檔編碼格式下字符的編碼對(duì)應(yīng)的字節(jié)數(shù)為固定值M，其中M為大于或等于2的整數(shù)，所述亂碼修復(fù)步驟進(jìn)一步包括：

獲取所述亂碼區(qū)間包括的字節(jié)總數(shù)Z的步驟；

確定刪減字節(jié)數(shù)步驟，確定刪減字節(jié)數(shù)S＝MOD(Z/M)；

字節(jié)刪減步驟，刪減所述亂碼區(qū)間中導(dǎo)致亂碼產(chǎn)生的S個(gè)連續(xù)的字節(jié)，對(duì)所述文本文檔進(jìn)行修復(fù)。

上述的文本文檔亂碼檢測(cè)及修復(fù)方法，還包括如下步驟：

建立字典庫(kù)的步驟，所述字典庫(kù)中包含不同語(yǔ)言下的常用詞語(yǔ)；

解碼步驟，將所述亂碼修復(fù)步驟得到的文本文檔的字符編碼進(jìn)行解碼，獲得字符；

分詞步驟，對(duì)解碼后的所述文本文檔進(jìn)行分詞操作，得到若干亂碼區(qū)間詞語(yǔ)及若干非亂碼區(qū)間詞語(yǔ)；

設(shè)定閾值T_th的步驟；