[發明專利]文檔檢測方法及裝置

有效

• 申請號: 201210340026.1
• 申請日: 2011-03-31
• 公開（公告）號: CN102915295A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 周紓;李彥宏;徐興軍;張雯
• 申請（專利權）人: 百度在線網絡技術(北京)有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06F17/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 倪志華

1.一種文檔檢測方法，其特征在于，所述文檔檢測方法包括以下步驟：

S1、獲取與文檔相應地段落特征信息；

S2、將所述文檔的段落特征信息與至少一個已有文檔的段落特征信息進行比對；

S3、根據所述比對結果判斷是否具有與所述文檔相似的已有文檔；

其中，所述獲取與文檔相應地段落特征信息包括：

S100、對文檔中每一個段落進行切詞，得到該段落的詞和詞頻的二元組列表；

S101、對所述列表中的二元組進行初始權重向量計算；

S102、將所述二元組通過哈希算法進行計算，得到預設特征位的哈希字符串；

S103、將所述哈希字符串映射至所述權重向量中；

S104、計算權重向量對應位的值，獲得段落特征信息。

2.根據權利要求1所述的文檔檢測方法，其特征在于，所述段落特征信息為預設特征位的段落簽名。

3.根據權利要求2所述的文檔檢測方法，其特征在于，所述S103步驟具體包括：

判斷所述哈希字符串中的每一位是0還是1，若是0的話，則在映射至所述權重向量相應位時，對該位進行減權；若是1的話，則在映射至所述權重向量相應位時，對該位進行加權。

4.根據權利要求3所述的文檔檢測方法，其特征在于，所述S104步驟具體包括：

判斷所述權重向量對應位的值是否大于0；若大于0，則將所述權重向量對應位的值設為1，若小于等于0，則將該權重向量對應位的值設為0。

5.根據權利要求2所述的文檔檢測方法，其特征在于，當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值大于等于設定的第二閾值時，判定所述文檔與已有文檔相似；當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值小于設定的第二閾值時，則判定所述文檔與已有文檔不相似。

6.根據權利要求2所述的文檔檢測方法，其特征在于，當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值大于等于設定的第二閾值時，且所述文檔的總段落簽名與所述已有文檔的總段落簽名計算結果小于第一閾值，判定所述文檔與已有文檔相似；當所述文檔與所述已有文檔的相似段落數與所述文檔的總段落數的比值小于設定的第二閾值時，則判定所述文檔與已有文檔不相似。

7.根據權利要求5或6所述的文檔檢測方法，其特征在于，所述相似段落是通過以下步驟得到的：

通過算法將所述文檔得到預設特征位的段落簽名與已有文檔的預設特征位的段落簽名進行計算，若計算結果大于預定的第一閾值，則所述段落不相似；若計算結果小于等于預定的第一閾值，則所述段落相似。

8.根據權利要求7所述的文檔檢測方法，其特征在于，所述“通過算法將所述文檔得到預設特征位的段落簽名與已有文檔的預設特征位的段落簽名進行計算”是通過漢明碼距離計算所述文檔的段落簽名與所述已有文檔的段落簽名的距離。

9.根據權利要求5或6所述的文檔檢測方法，其特征在于，將與已有文檔相似的所述文檔的版權屬性定義為盜版文檔。

10.根據權利要求5或6所述的文檔檢測方法，其特征在于，將與已有文檔相似的所述文檔的版權屬性定義為疑似盜版文檔。

11.根據權利要求10所述的文檔檢測方法，其特征在于，審核所述疑似盜版文檔，若審核確認所述疑似盜版文檔為盜版文檔，則發送反饋信息；若審核確認所述疑似盜版文檔為非盜版文檔，則在線發布所述非盜版文檔。

12.根據權利要去5或6所述的文檔檢測方法，其特征在于，將與所述文檔相似的一個或多個所述已有文檔的版權屬性定義為盜版文檔。

13.根據權利要求5或6所述的文檔檢測方法，其特征在于，將與所述文檔相似的一個或多個所述已有文檔的屬性定義為疑似盜版文檔。

14.根據權利要求13所述的文檔檢測方法，其特征在于，審核所述疑似盜版文檔，若審核確認所述疑似盜版文檔為盜版文檔，則刪除所述盜版文檔；若審核確認所述疑似盜版文檔為非盜版文檔，則保留所述非盜版文檔。

15.根據權利要求14所述的文檔檢測方法，其特征在于，將所述非盜版文檔的版權屬性標記為已驗證，和/或將所述非盜版文檔復制/移動至已驗證版權數據庫。