[發(fā)明專利]一種文檔檢測的方法、服務(wù)器及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711468430.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108021951A
• 公開（公告）日: 2018-05-11
• 發(fā)明（設(shè)計）人: 宋鵬舉
• 申請（專利權(quán)）人: 北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 張然

本發(fā)明公開了一種文檔檢測的方法、服務(wù)器及計算機可讀存儲介質(zhì)，本發(fā)明通過構(gòu)建預(yù)設(shè)文檔的指紋庫，再根據(jù)指紋庫中的特征數(shù)據(jù)，對待檢測文檔進行相似度檢測和文檔重復(fù)度檢測，以實現(xiàn)對待檢測文檔的相似度檢測和文檔重復(fù)度檢測，從而有效解決了現(xiàn)有技術(shù)中對文檔檢測不準確的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別是涉及一種文檔檢測的方法、服務(wù)器及計算機可讀存儲介質(zhì)。

背景技術(shù)

文檔類數(shù)據(jù)是企業(yè)單位中常見的數(shù)據(jù)類型，對于企業(yè)單位，有很多重要的數(shù)據(jù)是以文檔類數(shù)據(jù)的形式存在，對重要文檔類數(shù)據(jù)的內(nèi)容有效保護，是企業(yè)安全中的重要組成部分。

現(xiàn)有技術(shù)包括兩種方向，一種是文檔相似程度的檢測方式，該種檢測方法不能有效檢測文本塊的重復(fù)內(nèi)容，另一種是相同內(nèi)容塊的長度的檢測方式，該種檢測方法不能有效檢測文檔的相似程度，也就是說，現(xiàn)有技術(shù)都不能很準確的對文檔進行檢測。

發(fā)明內(nèi)容

本發(fā)明提供了一種文檔檢測的方法、服務(wù)器及計算機可讀存儲介質(zhì)，以解決現(xiàn)有技術(shù)中對文檔檢測不準確的問題。

一方面，本發(fā)明提供了一種文檔檢測的方法，該方法包括：構(gòu)建預(yù)設(shè)文檔的指紋庫，所述指紋庫用于存儲所述預(yù)設(shè)文檔的特征數(shù)據(jù)；根據(jù)所述指紋庫中的特征數(shù)據(jù)，對待檢測文檔進行相似度檢測和文檔重復(fù)度檢測。

進一步地，所述構(gòu)建預(yù)設(shè)文檔的指紋庫，具體包括：抽取預(yù)設(shè)文檔中的內(nèi)容，采用局部敏感哈希算法生成所述預(yù)設(shè)文檔的特征詞和特征字，并獲取所述預(yù)設(shè)文檔中的語句塊，將所述特征詞、所述特征字和所述語句塊存入指紋庫。

進一步地，根據(jù)所述指紋庫中的特征數(shù)據(jù)，對待檢測文檔進行相似度檢測和文檔重復(fù)度檢測，具體包括：根據(jù)所述指紋庫和待檢文檔的特征數(shù)據(jù)，對待檢文檔和預(yù)設(shè)文檔進行相似度檢測，并對待檢文檔和預(yù)設(shè)文檔進行文檔重復(fù)度檢測。

進一步地，該方法還包括：抽取所述待檢文檔的特征數(shù)據(jù)。

進一步地，所述抽取所述待檢文檔的特征數(shù)據(jù)，具體包括：采用局部敏感哈希算法抽取所述待檢文檔的特征詞和特征字，并獲取所述預(yù)設(shè)文檔中的語句塊。

進一步地，所述對待檢文檔和預(yù)設(shè)文檔進行文檔重復(fù)度檢測，具體包括：

判斷待檢文檔中是否存在預(yù)設(shè)文檔中的語句塊，如果是，則記錄待檢文檔存在所述語句塊的個數(shù)，否則，則判定待檢文檔與所述預(yù)設(shè)文檔不存在重復(fù)。

進一步地，判斷待檢文檔中是否存在預(yù)設(shè)文檔中的語句塊，具體包括：判斷待檢文檔中是否存在，與預(yù)設(shè)文檔中的語句塊意思相同，且與所述語句塊的字數(shù)的差值在預(yù)設(shè)字數(shù)范圍內(nèi)的語句塊，如果是，則確定待檢文檔存在所述語句塊。

進一步地，所述特征數(shù)據(jù)包括以下中的一種或多種：特征字、特征詞和語句塊。

另一方面，本發(fā)明還提供一種服務(wù)器，所述服務(wù)器包括處理器、存儲器及通信總線；

所述通信總線用于實現(xiàn)處理器和存儲器之間的連接通信；

所述處理器用于執(zhí)行存儲器中存儲的計算機指令，以實現(xiàn)上述任一種所述的文檔檢測的方法。

再一方面，本發(fā)明還提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有一個或者多個程序，一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)本發(fā)明提供的任一種所述的文檔檢測的方法。

本發(fā)明有益效果如下：

本發(fā)明通過構(gòu)建預(yù)設(shè)文檔的指紋庫，再根據(jù)指紋庫中的特征數(shù)據(jù)，對待檢測文檔進行相似度檢測和文檔重復(fù)度檢測，以實現(xiàn)對待檢測文檔的相似度檢測和文檔重復(fù)度檢測，從而有效解決了現(xiàn)有技術(shù)中對文檔檢測不準確的問題。

附圖說明

圖1是本發(fā)明實施例的一種文檔檢測的方法的流程示意圖；