[發(fā)明專利]一種基于文檔簽名技術的相似文檔識別裝置及方法

無效

• 申請?zhí)枺?/td>: 201210278405.2
• 申請日: 2012-08-07
• 公開（公告）號: CN102831198A
• 公開（公告）日: 2012-12-19
• 發(fā)明（設計）人: 溫赟;楊青
• 申請（專利權）人: 人民搜索網(wǎng)絡股份公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 劉淑敏

1.一種基于文檔簽名技術的相似文檔識別裝置，其特征在于，主要包括內容提取模塊，特征抽取模塊，文檔簽名計算模塊，文檔簽名索引模塊以及相似文檔查找模塊；其中：

內容提取模塊，用于抽取目標文檔的文檔標題、正文的文字內容，得到正文內容；

特征抽取模塊，用于將所述正文內容轉換為對應的<token,?weight>二元組集合的特征表示形式，并傳遞給所述文檔簽名計算模塊；

文檔簽名計算模塊，用于將原始token轉化為對應的哈希值，并結合當前token對應的權重weight更新文檔簽名值，得到最終的固定長度的文檔簽名值；

文檔簽名索引模塊，用于將上述的文檔簽名將存儲在文檔簽名索引模塊，或直接存儲整個簽名庫集合；以及

相似文檔查找模塊，在已有的文檔簽名索引中查找與其距離小于一定閾值d的文檔簽名，并將返回相似文檔對應的文檔簽名作為目標文檔的最終ID。

2.?根據(jù)權利要求1所述的基于文檔簽名技術的相似文檔識別裝置，其特征在于，所述距離為二進制編碼的海明距離，所述閾值d為3。

3.一種基于文檔簽名技術的相似文檔識別方法，其特征在于，包括：

A、抽取目標文檔的文檔標題、正文的文字內容，得到正文內容的步驟；

B、將所述正文內容轉換為對應的<token,?weight>二元組集合的特征表示形式，并傳遞給所述文檔簽名計算模塊的步驟；

C、將原始token轉化為對應的哈希值，并結合當前token對應的權重weight更新文檔簽名值，得到最終的固定長度的文檔簽名值的步驟；

D、將上述的文檔簽名存儲在文檔簽名索引模塊或直接存儲整個簽名庫集合的步驟；

E、在已有的文檔簽名索引中查找與其距離小于一定閾值d的文檔簽名，并將返回相似文檔對應的文檔簽名作為目標文檔的最終ID的步驟。

4.根據(jù)權利要求3所述的基于文檔簽名技術的相似文檔識別方法，其特征在于，所述步驟A具體為：

A1、解析網(wǎng)頁超文本標記語言HTML源碼，找出包含標題、正文內容信息的文本塊，在此過程中移除無關信息；

A2、在經(jīng)步驟A1處理后得到的文本塊中移除無關信息處理后，在得到的文本段中使用模板匹配法去除噪音信息。

5.根據(jù)權利要求3所述的基于文檔簽名技術的相似文檔識別方法，其特征在于，所述步驟B具體為：

B1、首先對文檔進行分詞處理，得到文本分詞結果的term序列；

B2、對于term序列中連續(xù)的k個term，組成一個特征token，參數(shù)k為2；

B3、對于步驟B2中構造出的每一個token，計算對應的權重weight，取token在文檔內容中出現(xiàn)的次數(shù)tf作為權重指標。

6.根據(jù)權利要求3所述的基于文檔簽名技術的相似文檔識別方法，其特征在于，所述步驟C中文檔簽名計算的過程為：

對于完成步驟B后得到的<token,?weight>集合，將被作為源文檔的特征表示傳遞給文檔簽名計算模塊，該模塊依次將原始token轉化為對應的哈希值，并結合當前token對應的權重weight更新文檔簽名值；當完成特征表示中所有token的處理之后，得到最終的固定長度的文檔簽名值。

7.根據(jù)權利要求6所述的基于文檔簽名技術的相似文檔識別方法，其特征在于，采用64bit的位串表示文檔簽名，總計能夠表示2⁶⁴種狀態(tài)。