[發明專利]文檔檢測方法及裝置

有效

• 申請號: 201210340026.1
• 申請日: 2011-03-31
• 公開（公告）號: CN102915295A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 周紓;李彥宏;徐興軍;張雯
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 倪志華

技術領域

本發明涉及一種文檔檢測方法及裝置，尤其是指一種用于比對長文檔相似度的文檔檢測方法及裝置。

背景技術

通常地，用于文檔相似度的文檔檢測方法是通過文檔的標題、作者、字詞信息進行確認。然而，這樣的做法具有以下缺陷：首先，通過文檔的標題、作者、字詞信息查詢，容易產生遺漏，例如，將該文檔的標題、作者信息修改或刪除，或者將文檔切分為多個部分，以使得通過字詞信息無法準確的查詢或比對其他文檔；其次，如果待查詢的文檔篇幅較長，如一部長篇小說，則通過字詞信息進行查詢，查詢效率較低、服務器或計算機處理壓力較大，影響服務器或計算機的正常工作效率。

發明內容

本發明的目的在于提供一種經過改進的文檔檢測方法。

本發明的另一目的在于一種經過改進的文檔檢測裝置，所述的裝置應用所述的經過改進的文檔檢測方法。

相應地，本發明的一種實施方式的文檔檢測方法，包括：

S1、獲取與文檔相應地段落特征信息；

S2、將所述文檔的段落特征信息與至少一個已有文檔的段落特征信息進行比對；

S3、根據所述比對結果判斷是否具有與所述文檔相似的已有文檔；

其中，所述獲取與文檔相應地段落特征信息包括：

S100、對文檔中每一個段落進行切詞，得到該段落的詞和詞頻的二元組列表；

S101、對所述列表中的二元組進行初始權重向量計算；

S102、將所述二元組通過哈希算法進行計算，得到預設特征位的哈希字符串；

S103、將所述哈希字符串映射至所述權重向量中；

S104、計算權重向量對應位的值，獲得段落特征信息。

作為本發明的進一步改進，所述段落特征信息為預設特征位的段落簽名。

作為本發明的進一步改進，所述S103步驟具體包括：

判斷所述哈希字符串中的每一位是0還是1，若是0的話，則在映射至所述權重向量相應位時，對該位進行減權；若是1的話，則在映射至所述權重向量相應位時，對該位進行加權。

作為本發明的進一步改進，所述S104步驟具體包括：

判斷所述權重向量對應位的值是否大于0；若大于0，則將所述權重向量對應位的值設為1，若小于等于0，則將該權重向量對應位的值設為0。

作為本發明的進一步改進，當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值大于等于設定的第二閾值時，判定所述文檔與已有文檔相似；當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值小于設定的第二閾值時，則判定所述文檔與已有文檔不相似。

作為本發明的進一步改進，當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值大于等于設定的第二閾值時，且所述文檔的總段落簽名與所述已有文檔的總段落簽名計算結果小于第一閾值，判定所述文檔與已有文檔相似；當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值小于設定的第二閾值時，則判定所述文檔與已有文檔不相似。

作為本發明的進一步改進，所述相似段落是通過以下步驟得到的：

通過算法將所述文檔得到預設特征位的段落簽名與已有文檔的預設特征位的段落簽名進行計算，若計算結果大于預定的第一閾值，則所述段落不相似；若計算結果小于等于預定的第一閾值，則所述段落相似。

作為本發明的進一步改進，所述“通過算法將所述文檔得到預設特征位的段落簽名與已有文檔的預設特征位的段落簽名進行計算”是通過漢明碼距離計算所述文檔的段落簽名與所述已有文檔的段落簽名的距離。

作為本發明的進一步改進，將與已有文檔相似的所述文檔的版權屬性定義為盜版文檔。

作為本發明的進一步改進，將與已有文檔相似的所述文檔的版權屬性定義為疑似盜版文檔。

作為本發明的進一步改進，審核所述疑似盜版文檔，若審核確認所述疑似盜版文檔為盜版文檔，則發送反饋信息；若審核確認所述疑似盜版文檔為非盜版文檔，則在線發布所述非盜版文檔。

作為本發明的進一步改進，將與所述文檔相似的一個或多個所述已有文檔的版權屬性定義為盜版文檔。

作為本發明的進一步改進，將與所述文檔相似的一個或多個所述已有文檔的屬性定義為疑似盜版文檔。

作為本發明的進一步改進，審核所述疑似盜版文檔，若審核確認所述疑似盜版文檔為盜版文檔，則刪除所述盜版文檔；若審核確認所述疑似盜版文檔為非盜版文檔，則保留所述非盜版文檔。